EngiWorldが示す、エンジニアリングAIの現在地

導入

画面上のボタンを押し、フォームに入力し、スクリプトを実行する能力は、コンピューター操作エージェントの重要な進歩である。しかし、専門的なエンジニアリングでは、単にUIを扱えるだけでは不十分だ。設計には形状の関係、物理的な制約、製造上の規則、ファイル形式、さらに複数の工程にまたがる依存関係が存在する。EngiWorldは、エージェントがこうした設計ループ全体を扱い、実際に利用できる成果物を作成できるかを測ろうとする。

ベンチマークの特徴

• 6分野を横断: CAD、CAE、CAM、BIM、EDA、3Dビジュアライゼーションを同一の枠組みで評価する。
• 26の専門プラットフォーム: GUIだけでなくCLIも含め、異なるエンジニアリングソフトを使う作業を対象にする。
• 1301件の専門家作成タスク: ソフトウェアの選択からオープンエンドな設計まで、6種類のタスクを用意している。
• 成果物中心の評価: 所定のクリック操作を終えたかどうかではなく、最終および中間成果物を検査する。統一された検証器が、形状の有効性、物理的な実現可能性、ルール遵守を確認し、定量的な課題では仕様の達成度に応じた連続スコアを算出する。

明らかになった課題

7つの先端モデルを評価した結果、最高のEngiScoreは44.3だった。複数のソフトウェアを使う試行で成功した割合は3.6%にすぎない。これは、現在の課題がアプリケーションの画面構成を覚えることだけではないと示している。エージェントには、パラメーターを変更しても設計意図を保ち、ツール間で情報を受け渡し、見かけ上完成しているが不正な成果物を発見する能力が必要になる。

エンジニアリング成果物は相互に結び付いている。もっともらしい形状を作れても、幾何制約に違反する可能性がある。シミュレーションを設定できても、物理的に適切でない場合がある。あるソフトで生成したファイルが、次の製造や文書化の工程で利用できないこともある。成果物そのものを評価することで、UI操作だけを見るベンチマークでは見落とされる失敗を捉えられる。

意義と今後

EngiWorldの重要性は、AIの進歩を「操作できたか」から「仕様をどれだけ満たしたか」へ移した点にある。研究者は、長期計画、ツール利用、検証、アプリケーションをまたぐ状態管理を、共通の基準で改善できる。企業にとっては、現段階でエージェントを設計探索、パラメーター変更、ソフト選択、検査支援に使うことは考えられるが、完全な納品工程を任せられる段階とは言いにくい。

スコアは現実の全ての能力を表すものではなく、タスク範囲やソフトのバージョン、検証規則にも左右される。それでも、ソフトを操作する能力から、信頼できる工学的成果を納品する能力へ進むには、制約推論、長期的な計画、ツール間の記憶、成果物の検証をさらに強化する必要がある。

出典：Hugging Face Daily Papers