환경 복제 없이 에이전트 테스트 시 확장을 구현하는 AWM

배경

에이전트가 실제 행동을 하기 전에 여러 후보 경로를 생성하고 가장 나은 경로를 선택하는 방식은 테스트 시 확장(TTS)의 핵심 아이디어 중 하나입니다. 하지만 기업용 작업 공간, 클라우드 서비스, 업무 애플리케이션에서는 후보 경로를 모두 병렬 실행하기 어렵습니다. 환경이 여러 작업에 의해 공유되고 지속적으로 유지되기 때문에 복제 비용이 높거나 복제 자체가 불가능할 수 있습니다. 또한 일부 행동은 되돌릴 수 없는 부작용을 만들고, 서로 다른 후보 경로가 상태를 오염시킬 수도 있습니다.

arXiv 논문은 이러한 문제를 해결하기 위해 Agentic World Modeling(AWM)을 제안합니다. AWM은 환경 전체의 복제본을 만드는 대신, 안전한 읽기 전용 인터페이스에서 얻은 증거를 이용해 가상 행동의 결과를 구성합니다.

예측을 증거 수집 과정으로 전환

기존 생성형 월드 모델은 환경 상태를 하나의 프롬프트에 압축한 뒤 다음 관측값을 직접 생성하는 경우가 많습니다. 그러나 부분적으로만 관측 가능한 환경에서는 요약 과정에서 중요한 정보가 빠지거나, 계속 변하는 상태를 충분히 반영하지 못할 수 있습니다.

AWM은 다음 관측값 예측을 여러 차례의 증거 수집 작업으로 다시 정의합니다. 먼저 시뮬레이터가 가정된 행동의 결과를 판단하는 데 필요한 정보를 찾습니다. 이어 안전한 읽기 전용 인터페이스에 질의하고, 실제 상태를 바꾸는 작업은 수행하지 않습니다. 반환된 데이터를 해석한 뒤 필요하면 실행 가능한 계산을 활용해, 해당 가상 행동 이후 에이전트가 보게 될 관측값을 구성합니다.

구성된 관측값은 후보 궤적에 다시 입력됩니다. 이 방식으로 여러 후보 경로를 하나의 실제 환경 위에서 병렬로 탐색할 수 있습니다. 실제 부작용이 있는 행동은 최종 경로가 선택될 때까지 미루는 설계이므로, 환경을 여러 개 복제하지 않고도 후보 비교를 수행할 가능성이 생깁니다.

결과와 한계

논문은 τ-bench, AppWorld, OfficeBench에서 AWM을 평가했습니다. 초록에 따르면 AWM은 단일 시뮬레이션 기준선보다 평균 40.07% 향상됐고, 학습된 월드 모델 기준선보다 평균 12.36% 높은 성능을 보였습니다. 공유되고 쉽게 초기화할 수 없는 환경에서는 한 번에 생성한 상태 요약보다, 실제 환경에서 읽어 온 증거를 활용하는 상호작용형 시뮬레이션이 더 적합할 수 있음을 시사합니다.

다만 AWM이 모든 환경에서 자동으로 정확한 예측을 보장하는 것은 아닙니다. 활용 가능한 읽기 전용 인터페이스가 필요하며, 어떤 정보를 질의할지 선택하고 반환 데이터를 이해한 뒤 가상 관측값을 만드는 능력에도 의존합니다. 제공된 초록에는 벤치마크별 세부 결과, 질의 지연 시간, 권한 및 접근 제어 조건이 제시되지 않았습니다. 실제 도입에서는 이 요소들을 별도로 검증해야 합니다.

의미와 전망

AWM은 월드 모델의 역할을 단순한 수동 예측기에서 질문하고, 증거를 수집하고, 계산을 수행하는 시스템으로 확장합니다. 공유 데이터베이스, 클라우드 서비스, 업무 도구에서 후보 궤적을 더 안전하게 평가하는 설계 방향이 될 수 있습니다.

앞으로는 읽기 전용 경계를 강제하는 방법, 질의 비용과 지연, 후보 간 정보 유출, 시뮬레이션 관측값과 실제 실행 결과 사이의 차이를 관리해야 합니다. 이 문제들을 통제할 수 있다면 에이전트의 테스트 시 확장은 전체 환경을 복제해야 한다는 전제에서 벗어날 수 있습니다.

arXiv