触覚データを具身知能の基盤へ：NeoteAI と復旦大学の N0 シリーズ

導入

ロボットがカメラでコップやプラグ、タオルを認識できても、それを安定して持つ、正しく差し込む、きれいに畳むことは別問題だ。具身知能の失敗は、しばしば接触の瞬間に起きる。プラグが端に当たって入らない、ペットボトルを強く握りすぎて潰す、畳んだタオルが離した瞬間に崩れる、といった現象である。

NeoteAI と復旦大学可信具身智能研究院が発表した N0 シリーズの三つの技術報告は、この「最後の 1 センチ」に焦点を当てている。触覚を補助的なセンサーではなく、データ基盤、方策学習、世界モデルの中核要素として扱う点が特徴だ。

主なポイント

• N0-Foundation は触覚データの共通基盤を目指す。 触覚センサーの出力は、ゲル変形画像、静電容量行列、六軸力ベクトルなど多様で、そのままでは統合しにくい。NeoteAI の NeoData は、3 万時間超の視覚・触覚インタラクションデータ、約 140 万の操作セグメント、33 億タイムステップを含む。RGB 画像は 80 億フレーム、触覚画像は 100 億フレームに達し、Franka、Piper、UR5e など 6 種類のロボット本体と 450 の実世界長期タスクを対象にしている。現在、5000 時間分が公開されている。

• NeoForce は触覚の“共通言語”を作る。 この統一表現モデルは、異なるハードウェアの出力から移植可能で時系列構造を持つ触覚特徴を学習する。接触位置、力の大きさ、横方向の引っ張りや滑りを、下流のロボット方策が扱いやすい形にする狙いだ。

• N0-VTLA は現在の触覚ではなく将来の触覚を予測する。 触覚信号は接触時にだけ強く現れるため、単純に視覚 token と結合すると埋もれやすい。また現在の触覚は、すでに起きた接触の反応でもある。N0-VTLA は今後 50 ステップの触覚変化を予測し、動作を先回りして調整する。報告では、プラグ差し込みで成功率 85%（視覚方式は 60%）、鍵の引き抜きで 99%（視覚方式は 35%）とされている。

• 失敗データからも学習する。 N0-VTLA は触覚情報、デプロイ後データ、人間参加型データを用いて進捗評価モデルを学習し、オフライン強化学習と組み合わせる。タオル折り畳み、リュック収納、段ボール折り畳みでは、成功率がそれぞれ 50% から 95%、35% から 80%、20% から 75% に向上したと報告された。

• N0-TWAM は世界モデルに触覚を入れる。 未来の映像だけでなく、触覚と行動も同時に予測するモデルで、動画、触覚、行動の非同期エキスパートを持つ混合エキスパート構成を採用する。総パラメータ数は 72 億。報告によれば、シミュレーション平均成功率は 84.5%、実機 8 タスクの平均成功率は 46.3%だった。

意義と影響

N0 シリーズが示す方向性は、ロボットの認識を「視覚中心」から「視覚と触覚の融合」へ移すことだ。多くの操作失敗は、対象を見間違えたためではなく、力、摩擦、接触、滑りを十分に扱えないために起きる。大規模な触覚データ、統一表現、将来触覚予測は、精密操作の基盤になり得る。

一方で、触覚データの収集コスト、ロボット本体やセンサーをまたぐ汎化、リアルタイム推論の負荷は依然として課題である。それでも、公開データとモデルが広く利用されれば、触覚は具身知能におけるニッチな研究対象から、重要なインフラへ近づく可能性がある。

出典：量子位