TacForcing、実行中の触覚フィードバックでロボット動作を更新

背景

把持、挿入、押し込みなど、接触を伴うロボット操作では、視覚だけでは状態を十分に把握できません。カメラは物体の位置を示せても、接触が安定しているか、力が適切か、エンドエフェクターが予期しない障害物に触れたかまでは判断しにくい場合があります。こうした状況で触覚は重要な手掛かりになりますが、実行中の触覚を視覚言語行動（VLA）モデルにどう反映するかが課題でした。

チャンク型動作が抱える時間差

多くのVLA方策は、実行前に取得した観測をもとに、まとまった動作チャンクを一度に予測します。この方式は推論や制御を効率化しやすい一方、動作開始後に接触状態が大きく変化しても、生成済みの動作が古い観測に基づいたままになる可能性があります。新しい触覚情報が、直ちに次の動作へ反映されないのです。

既存の触覚反応型アプローチでは、別の高周波コントローラーを用いて動作を修正することが一般的です。しかし、この構成は追加モジュール、個別の学習手順、そして上位方策と下位制御器の接続を必要とし、システム全体を複雑にします。

TacForcingの仕組み

TacForcingは別個のリアクティブ制御器を導入するのではなく、標準的なアクションエキスパートをストリーミング動作エキスパートへ置き換えます。動作ブロックを段階的に生成・実行し、まだ実行されていない部分については、実行中に得られた新しい触覚観測を使って更新します。

もう一つの要素が、Execution-Aware Tactile Attention（EATA）です。主な考え方は次の通りです。

• 触覚による条件付けを、実行が近い動作へ重点的に適用する。
• 触覚を取得した時点と、対応する動作を実行する時点のずれを小さくする。
• 直近の接触状態が有効な動作区間へ、モデルの条件付け能力を集中させる。

つまり、触覚信号を単純に入力へ追加するだけでなく、その情報がどの動作区間へ影響すべきかという時間的関係を扱います。

結果と意味

六つのシミュレーションUniVTAC課題と三つの実環境における接触豊富な操作課題で、TacForcingは平均成功率65%と69%をそれぞれ達成し、両方の設定で強力なベースラインを上回りました。提供された素材には課題別の数値やアブレーションの詳細がないため、これらは全体性能の指標として解釈するのが適切です。

本研究の意義は、触覚を低レベル制御器の追加機能として扱うのではなく、動作生成そのもののループへ組み込んだ点にあります。今後、異なる触覚センサーやより複雑な作業へ拡張できれば、生成・実行・修正を一つの方策で扱う設計につながる可能性があります。一方で、実用化には推論遅延、ストリーミング計算コスト、センサー間の転移、コード公開後に確認できる再現性などが残された検証課題です。

出典：Hugging Face Daily Papers