ロボット基盤を手がけるXDOFが公開したEmber-0評価で、GPT-6.2 Astraは双腕ロボットによる16種類の操作課題において、平均成功率41.2%を記録した。2カ月前に同じ課題群でGPT-6 Astraが記録した19.6%と比べると、21.6ポイントの上昇で、従来の2倍を超える。目を引く改善だが、平均成功率はまだ半分に届かず、多くの試行が完全成功には至っていない点も見落とせない。
評価で報告されたポイント
- 課題は多岐にわたる。 Ember-0は、物体の把持、空間推論、双腕の連携、道具の使用、細かな操作、変形する物体の扱いなどを評価する。XDOFによると、各課題を30回ずつ実施し、6台のYAMワークステーションを使って並行評価した。動作の中間段階や把持の失敗、衝突も記録し、ハードウェアや偶然による影響を切り分けようとしている。
- 布やひもの操作に進展。 GPT-6.2 Astraは、ひもを結ぶ課題とTシャツを広げる課題を完了したという。XDOFは、Tシャツを広げる課題について、それ以前に143回の有効な試行を行ったものの、成功したモデルはなかったと説明している。また、トングでパンをつかむ課題の成功率は、GPT-6 Astraの10%からGPT-6.2 Astraの90%に上昇した。個々の数字を見る際は、試行回数も合わせて考慮する必要がある。
- 推論は速くなったが、待ち時間は残る。 平均予測遅延は15秒から10.1秒に短縮したとされる。それでも、周囲の変化に応じて素早く動きを修正するロボットにとって、約10秒の待ち時間は小さくない。触覚フィードバックがなく、次の動作指示を待つ間に微調整できない場合は、失敗からの立て直しも難しくなる。
結び目づくりや衣服の展開が難しいのは、接触や引っ張りによって対象の形が刻々と変わるためだ。ロボットは映像から布の角やしわ、ひもの状態を把握し、両腕の動きを調整しながら次の操作を決めなければならない。把持位置や手順を少し誤るだけで、それまでの作業が無駄になることもある。形が安定した箱やカップの操作とは異なり、状態の追跡、精密な接触制御、複数段階にわたる計画が同時に求められる。
成果の意味と限界
今回の結果は、汎用マルチモーダルモデルが、タスクを説明したり動作を提案したりするだけでなく、実機操作でも前進しつつあることを示す一つの材料だ。複数種類の課題で成績が向上した点は、単発の成功より幅広い改善を示唆する。ただし、公開された数値は一つの評価ベンチマークに基づいており、異なるロボットや環境、未経験の課題でも同様に動けることを証明するものではない。XDOFはEmber-0がモデル性能の飽和に近づく可能性にも触れており、今後はより難しく多様な評価が必要になる。平均成功率41.2%と約10秒の遅延を踏まえると、安定した日常利用までにはなお距離がある。
出典:量子位
コメント
ログイン状態を確認中…
コメントを読み込み中…