SimuVerity, 공학 수준의 Simulink 모델 생성 에이전트를 평가하다

들어가며

Simulink 모델을 생성해 파일을 열고 컴파일한 뒤 시뮬레이션할 수 있다는 사실은 중요한 출발점입니다. 그러나 공학 현장에서 요구되는 것은 그 이상입니다. 모델은 의도된 시스템 메커니즘을 정확히 표현해야 하고, 제어 및 인과 관계를 유지해야 하며, 정해진 운용 범위에서 안정적으로 동작하고 입력 변화에 적절한 동적 응답을 보여야 합니다. 「SimuVerity: Benchmarking Agents for Engineering-Grade Simulink Model Generation」은 기존 평가가 놓치기 쉬운 이 간극을 다룹니다.

컴파일 가능성만으로는 부족하다

기존 Simulink 벤치마크는 생성 모델의 컴파일 여부, 실행 여부, 참조 모델과의 구조적 유사성을 주로 확인합니다. 이런 기준은 기본적인 사용 가능성을 측정하는 데는 유용하지만, 공학 명세를 충족했는지를 증명하지는 못합니다. 구조가 비슷해도 출력과 내부 메커니즘이 다를 수 있고, 실행되는 모델이라도 요구된 시스템을 올바르게 구현하지 못할 수 있습니다.

SimuVerity는 10개 공학 분야에 걸친 101개의 텍스트-실행 가능 Simulink 모델 생성 과제를 제안합니다. 각 과제에는 공학 명세를 구체화하는 실행 가능한 시스템 프로파일과 네 종류의 네이티브 시뮬레이션 시나리오가 포함됩니다. 따라서 평가는 모델 파일이 존재하는지에 머무르지 않고, 실제 실행 결과가 요구사항에 부합하는지를 확인합니다.

계층적 평가 구조

평가기는 먼저 세 가지 관문을 통과시킵니다. 요청된 산출물이 제출되었는지, 모델이 네이티브 환경에서 실행되는지, 그리고 공학적 구현으로서 기본 자격을 갖추었는지를 순서대로 확인합니다. 이 단계를 통과한 모델만 상세한 다차원 평가를 받습니다.

후속 평가는 다음 여섯 가지 차원으로 구성됩니다.

• 정확성: 출력이 명시된 요구사항을 충족하는가
• 출력 품질: 신호와 시스템 동작이 기대 수준에 도달하는가
• 메커니즘 충실도: 내부 구현이 목표 시스템의 메커니즘을 반영하는가
• 제어 및 인과 무결성: 제어, 변수, 결과 사이의 관계가 성립하는가
• 운용 영역 강건성: 지정된 운용 범위에서 안정적으로 작동하는가
• 동적 응답: 입력 변화에 대한 시간적 반응이 타당한가

이러한 구분은 공학 문제에 여러 가지 올바른 구현이 존재할 수 있다는 점에서 중요합니다. 하나의 참조 구조와 얼마나 닮았는지만 평가하면 유효한 대안을 놓치거나, 겉보기에는 비슷하지만 동작이 잘못된 모델을 높게 평가할 수 있습니다.

실험 결과가 보여주는 것

SimuVerity는 여섯 개 에이전트 시스템을 평가했으며, 최고 종합 점수는 42.86에 불과했습니다. 이는 현재 시스템의 병목이 하나가 아니라는 점을 보여줍니다. 일부 시스템은 애초에 자격을 갖춘 실행 모델을 만들지 못했고, 다른 시스템은 기본 관문을 통과한 뒤에도 여러 공학 요구사항을 동시에 충족하는 데 어려움을 보였습니다.

시각적 구성과 공학적 성능 사이에도 항상 일치 관계가 있지는 않았습니다. 상대적으로 높은 점수를 받은 모델 중 일부는 블록 배치와 화면 구성이 심각하게 어지러웠습니다. 따라서 깔끔한 도식만으로 시뮬레이션 품질을 판단해서는 안 됩니다. 반대로 레이아웃이 좋지 않다는 이유만으로 모델의 실제 동작이 무효라고 단정하는 것도 적절하지 않습니다.

의미와 영향

SimuVerity의 의미는 단순한 순위표를 제공하는 데 있지 않습니다. 에이전트가 산출물을 만드는 단계에서 실패했는지, 네이티브 실행에 실패했는지, 아니면 실행 후 명세를 만족하지 못했는지를 구분할 수 있는 진단 틀을 제시합니다. 제어 시스템, 물리 모델링, 공학 자동화에 AI 에이전트가 도입될수록 컴파일 성공은 최종 목표가 아니라 출발 조건이 됩니다. 인과 관계, 메커니즘, 운용 범위, 동적 동작을 함께 검증해야 하며, SimuVerity는 이러한 공학 수준 평가를 위한 체계적인 기반을 제공합니다.

출처: Hugging Face Daily Papers