HybridAgent, 잠재 공간에서 사고하고 텍스트로 행동하는 에이전트

배경

현재의 대규모 언어 모델 에이전트는 추론과 외부 환경에 대한 행동을 대부분 텍스트로 처리한다. 웹 검색, 코드 실행, API 호출을 하기 전에 모델은 토큰을 하나씩 생성하며 사고 과정을 출력해야 한다. 이 방식은 추적과 디버깅이 쉽다는 장점이 있지만, 긴 작업에서는 문맥 길이와 지연 시간, 추론 비용을 키울 수 있다.

잠재 공간에서 추론하면 내부 계산을 더 압축적으로 수행할 가능성이 있다. 그러나 잠재 상태는 도구를 직접 호출하기 어렵고, 모델이 무엇을 처리했는지 사람이 확인하기도 쉽지 않다. 논문 Hybrid Reasoning Agents는 이 두 접근을 결합한 HybridAgent를 제안한다.

핵심 구조

• 두 모드의 동적 전환: 외부 환경에 즉시 영향을 주지 않는 내부 계산은 잠재 공간에서 수행하고, 검색이나 코드 실행이 필요할 때 텍스트 모드로 전환한다. 두 모드는 별도의 에이전트가 아니라 하나의 생성 흐름 안에서 동작한다.
• HybridLink: 경량 연결 모듈이 텍스트 상태와 잠재 상태 사이의 전환을 조정한다. 이를 통해 기존 언어 모델을 혼합 추론 과정에 연결하는 것을 목표로 한다.
• 연속 작업 메모리: 잠재적 사고, 텍스트 행동, 도구의 관찰 결과를 여러 턴에 걸쳐 유지한다. 모드를 바꿔도 혼합 문맥의 정보가 손실되지 않도록 설계됐다.
• 검토 가능한 추론: 일부 계산을 잠재 공간으로 옮기면서도 추론과 행동에 대한 읽을 수 있는 기록을 남기도록 구성됐다. 따라서 잠재 추론을 완전한 블랙박스로 만들지 않는다는 점을 강조한다.
• 전용 후학습: HybridSFT는 기본 모델이 HybridLink와 도구 통합 생성을 안정적으로 조정하도록 학습한다. 이어 HybridRL은 언제 잠재 공간에서 사고하고 언제 텍스트로 행동할지 학습시킨다.

평가 결과

연구진은 세 가지 모델 규모에서 수학, 과학, 의학, 검색, 에이전트 추론을 포함한 11개 벤치마크를 평가했다. 논문 초록에 따르면, 텍스트 기반 및 잠재 기반 접근을 포함한 최첨단 LLM 에이전트와 에이전트 프레임워크 대비 종합 성능이 10.4% 향상됐다. 토큰 사용량은 35.554.7% 줄었고, 추론 속도는 1.82.6배 빨라졌으며, 비용은 2.7~3.7배 낮아졌다고 보고됐다. 이는 논문이 제시한 종합 수치이며, 실제 개선 폭은 모델 규모와 작업 유형, 도구 구성에 따라 달라질 수 있다.

의미와 남은 과제

HybridAgent의 핵심은 단순히 텍스트 출력을 줄이는 데 있지 않다. 내부 계산과 외부 행동의 역할을 분리해, 환경에 영향을 줄 필요가 없는 사고는 잠재 공간에 두고 검색·코드 실행과 같은 행동만 텍스트 인터페이스로 노출한다. 이 방식은 장기 작업에서 불필요한 토큰을 줄이면서 기존 도구 사용 능력을 유지할 가능성을 보여준다.

다만 모드 전환이 안정적으로 이뤄지는지, 잠재 상태가 이후 행동과 일관되게 연결되는지, 읽을 수 있는 기록이 모델의 내부 계산을 얼마나 충분히 설명하는지는 추가 검증이 필요하다. 공개된 코드와 데이터는 결과를 재현하고 혼합 추론 전략을 연구할 수 있는 기반을 제공한다.

출처: Hugging Face Daily Papers