The Trinity: 능력 중심으로 재귀적 자기 개선을 수행하는 멀티모달 에이전트

멀티모달 에이전트를 확장하는 일은 단순히 작업 수를 늘리는 것으로 해결되지 않습니다. 서로 다른 모달리티를 포함하면서 실행 결과까지 검증할 수 있는 환경을 만드는 데 큰 비용이 들고, 작업의 다양성과 복잡성이 커질수록 사람이 Agent Harness를 계속 수정하는 방식도 한계에 부딪힙니다. The Trinity는 작업의 겉모습보다 작업 사이에 공유되는 능력을 중심으로 이 문제를 다시 구성합니다.

작업 분류에서 능력 트리로

서로 전혀 달라 보이는 작업도 계획, 상태 추적, 시각적 위치 파악, 도구 사용, 다단계 실행과 같은 같은 기초 능력을 요구할 수 있습니다. The Trinity는 검증된 실행 궤적에서 이런 공통 요구사항을 찾고, 기존 작업 트리를 계층적 능력 트리로 재편합니다. 목표는 특정 벤치마크 하나를 푸는 데 그치지 않고 여러 작업에서 재사용할 수 있는 능력 모듈을 축적하는 것입니다.

프레임워크의 세 역할은 다음과 같습니다.

• Creator: 공유 요구사항을 추상화하고 단순하면서 검증 가능한 시뮬레이션 세계를 만든다.
• Explorer: 해당 세계에서 해결 전략과 모듈 조합을 탐색한다.
• Evolver: 검증된 업데이트를 선별해 이후 반복 과정에 상속한다.

Capability-Driven Real2Sim2Real

핵심 아이디어는 Capability-Driven Real2Sim2Real입니다. 같은 능력 노드에 속한 이질적인 작업을 각각 그대로 복제하는 대신, Creator가 공통 요구사항을 추출해 능력 학습에 적합한 통제 가능한 시뮬레이션 세계를 만듭니다. 에이전트는 이 환경에서 능력을 학습한 뒤 원래 작업에서 평가받으며, 작업의 표면 형식이 달라져도 능력이 전이되는지 확인합니다.

이 방식은 현실 환경의 복잡성을 훈련 단계에 모두 들여오지 않고, 재사용 가능한 능력을 반복적으로 학습하게 합니다. 환경을 벤치마크 이름에 맞춰 만드는 것이 아니라 능력 요구사항에 맞춰 생성한다는 점이 중요한 차이입니다.

Harness 트리와 능력 인식 라우터

Explorer는 선택적 상속을 통해 재사용 가능한 능력 모듈을 점진적으로 발전시킵니다. 그 결과 만들어지는 Harness 트리의 각 가지는 서로 다른 능력에 특화될 수 있으며, 검증된 업데이트는 고정된 구조 안에서 누적됩니다. 또한 Capability-Aware Harness Router는 작업에서 공개된 정보를 활용해 호환되는 모듈 구성을 선택합니다. 모든 작업에 동일한 Harness를 강제하기보다, 작업의 요구에 맞춰 구성을 바꾸는 방식입니다.

논문은 실제 로봇공학을 포함한 18개 미지 벤치마크에서 평균 26점의 향상을 보고합니다. 이는 다양한 모달리티와 환경을 다뤄야 하는 상황에서 능력 중심의 작업 조직이 모듈 재사용을 높일 가능성을 보여줍니다.

다만 이 수치는 신중하게 해석해야 합니다. 제공된 자료에 따르면 평가 과정은 각 벤치마크와 Harness 조합에 대해 5회의 준비 시험을 수행하고, 그 궤적을 스킬로 변환한 뒤 Train과 Unseen 설정을 평가합니다. 따라서 보고된 향상에는 다른 작업에서 얻은 능력의 전이뿐 아니라 대상 벤치마크에 대한 적응도 포함됩니다. 준비 시험을 전혀 하지 않은 비교 결과와 해당 과정의 토큰 또는 계산 비용은 자료에 제시되지 않았습니다.

The Trinity의 의미는 하나의 자기 개선 기법을 추가한 데 있지 않습니다. 실행 궤적에서 공유 능력을 발견하고, 그 능력을 검증 가능한 세계로 옮긴 뒤, Harness 업데이트를 반복적으로 축적하는 폐쇄 루프를 제안했다는 데 있습니다. 향후 전이 효과와 대상 작업 준비 효과를 분리한 평가가 더해진다면 멀티모달 및 임바디드 에이전트의 실제 확장성을 판단하는 데 도움이 될 것입니다.

출처: Hugging Face Daily Papers