구글, 동적 환경에서 에이전트를 진화시키는 EnvHarness 공개

정적인 벤치마크는 에이전트가 동일한 작업을 해결할 수 있게 된 뒤 새로운 학습 신호를 거의 제공하지 못할 수 있다. 같은 초기 상태와 규칙, 피드백을 반복하면 익숙함은 늘어도 계획 수립, 도구 사용, 상태 이해와 같은 근본적인 약점이 해결된다는 보장은 없다. 구글 연구진이 공개한 EnvHarness는 에이전트 자체뿐 아니라 에이전트가 학습하는 환경도 함께 바꾸자는 접근이다.

기존 환경 위에 놓이는 프로그래밍 계층

EnvHarness는 에이전트와 정적 환경 사이에서 작동하는 래퍼 계층이다. 표준 reset() 및 step() 인터페이스로 기존 환경을 감싸므로 에이전트의 핵심 로직, 원래 작업, 평가 시스템을 다시 작성하지 않고도 상호작용 방식을 조정할 수 있다. 환경에 동적인 변형을 주어 학습 단계에 따라 다른 도전을 제시하는 것이 핵심이다.

프레임워크는 다음 세 가지 구성요소를 조합해 사용한다.

• setup: 에피소드나 작업의 초기 상태를 설정한다.
• rule: 에이전트의 행동에 따라 상태 전이를 제한하거나 변경한다.
• link: 에이전트에 전달되는 관찰 결과를 조정한다.

환경을 새로 만드는 작업은 일반적으로 분야별 파이프라인, 복잡한 작업 로직, 비용이 높거나 불안정한 검증기에 의존한다. EnvHarness는 이런 기반을 전부 교체하기보다 인터페이스 계층에서 적응형 동작을 추가한다. 기존 검증기를 유지할 수 있다는 점도 실제 개발 과정에서 중요한 특징이다.

EnvRigger가 에이전트의 약점을 찾는 방식

EnvHarness에는 EnvRigger라는 자동화 구성요소도 포함된다. EnvRigger는 에이전트의 실행 궤적을 분석해 반복적으로 나타나는 실패나 비효율적인 행동을 식별한다. 이후 해당 약점을 겨냥한 환경 변경을 생성하고, 새로운 상호작용을 통해 그 변경이 유효한지 확인한다. 이 과정을 반복하면 에이전트와 환경이 서로의 변화에 대응하는 공동 진화 구조를 만들 수 있다.

자료에 따르면 연구진은 WebArena, SWE-bench Verified, ALFWorld 등에서 실험했다. EnvHarness를 추가한 뒤 Gemini 3.1 Flash-Lite, Qwen3.6 27B, Gemini 3.5 Flash, Claude Sonnet 4.6의 성능이 보고된 조건에서 2.9~3.7%포인트 향상됐다. 다만 이는 제시된 실험 설정의 결과이므로 모든 모델과 작업에서 동일한 개선을 보장하는 수치로 확대 해석해서는 안 된다.

의미와 과제

기존의 자기개선 방식은 프롬프트 재작성, 새로운 기술 습득, 경험 데이터 확대에 집중하는 경우가 많았다. EnvHarness는 학습 조건 자체를 바꿔 현재 에이전트가 취약한 행동을 환경이 드러내도록 하는 선택지를 추가한다. 인터페이스가 특정 분야에 종속되지 않도록 설계됐기 때문에 웹 조작, 소프트웨어 엔지니어링, 체화형 작업 등으로 같은 아이디어를 적용할 여지도 있다.

그러나 동적인 환경이 곧 유용한 학습 환경을 의미하지는 않는다. 생성된 변형이 실제로 능력을 높이는 도전인지, 단순한 잡음인지 판별해야 하며, 검증기의 허점을 악용하거나 불필요한 상호작용 비용을 늘리는 문제도 관리해야 한다. 그럼에도 EnvHarness는 신뢰할 수 있는 작업과 평가기를 유지하면서 학습 환경을 점진적으로 어렵게 만드는 실용적인 설계 방향을 제시한다.

출처: InfoQ 중국어