SimuVerity、AIエージェントのSimulinkモデルを工学レベルで評価

導入

Simulinkモデルを生成し、ファイルを開いてコンパイルし、シミュレーションを実行できることは重要です。しかし、工学分野で必要なのはそれだけではありません。モデルは要求された機構を表現し、制御と因果関係を保ち、想定された運用範囲で安定して動作し、入力の変化に対して妥当な動的応答を示す必要があります。論文「SimuVerity: Benchmarking Agents for Engineering-Grade Simulink Model Generation」は、既存評価が見落としがちなこの差に焦点を当てています。

コンパイルと構造類似性を超えて

既存のSimulinkベンチマークでは、生成モデルがコンパイルできるか、実行できるか、あるいは参照モデルに似ているかが主な評価対象になりがちです。これらは基本的な利用可能性を調べる指標として有効ですが、工学仕様への適合性を直接示すものではありません。見た目が似ていても出力や内部機構が異なる場合があり、実行できても要求されたシステムを正しく表現しているとは限りません。

SimuVerityは、10の工学分野にまたがる101件の「テキストから実行可能なSimulinkモデル」生成タスクを収録しています。各タスクには、仕様を具体化する実行可能なシステムプロファイルと、4種類のネイティブシミュレーションシナリオが用意されています。モデルファイルの存在だけでなく、実際に動かした結果を評価の根拠にする設計です。

段階的な評価方法

評価器はまず、成果物が提出されているか、モデルがネイティブ環境で実行できるか、工学的な実装として最低限の条件を満たすかを順に確認します。これらの段階を通過したモデルだけが、詳細な多面的スコアリングに進みます。

評価される6つの側面は次の通りです。

• 精度：出力が要求を満たしているか
• 出力品質：得られた信号やシステム挙動が適切か
• 機構の忠実度：内部実装が意図された機構を反映しているか
• 制御と因果の整合性：制御、変数、結果の関係が成立しているか
• 運用領域での頑健性：指定された範囲で安定して動くか
• 動的応答：入力変化に対する時間的な応答が妥当か

この分離は重要です。工学システムには複数の正しい実装方法があり得るため、単一の参照構造との一致だけを評価すると、正当な別解を不当に低く評価する可能性があります。

実験結果が示す課題

SimuVerityでは6つのエージェントシステムが評価され、最も高い総合スコアは42.86でした。結果は、現在のエージェントに少なくとも二つの課題があることを示します。第一に、合格可能な実行モデルを作れないシステムがあります。第二に、基本的な実行性を満たしても、複数の工学要件を同時に満たせないモデルがあります。

また、視覚的なレイアウトと工学的な性能は必ずしも一致しません。比較的高いスコアを得たモデルの中にも、ブロック配置が大きく乱れているものがありました。したがって、整った図をシミュレーションの証拠とみなすべきではありません。一方、レイアウトの乱れだけでモデルの挙動が無効だと判断することも適切ではありません。

意義

SimuVerityの価値はランキングだけではありません。成果物の生成、ネイティブ実行、仕様への適合のどこで失敗したのかを切り分ける診断の枠組みを提供します。制御、物理モデリング、工学自動化でAIエージェントが使われるほど、コンパイル成功は終点ではなく出発点になります。因果関係、機構、運用範囲、動的挙動を検証する評価が必要であり、SimuVerityはそのための体系的な基盤を示しています。

出典：Hugging Face Daily Papers