ActionOPD: 토큰이 아닌 에이전트의 의사결정을 증류하다

들어가며

강력한 언어 모델 에이전트의 능력을 작은 모델로 옮길 때, 교사가 생성한 문장을 그대로 닮게 만드는 것만으로는 충분하지 않다. 도구를 사용하거나 환경과 여러 차례 상호작용하는 에이전트에서는 특정 상태에서 어떤 행동을 선택하는지가 성패를 좌우한다. 어떤 도구를 호출할지, 어떤 인자를 전달할지, 더 많은 정보를 수집할지, 작업을 끝낼지를 결정해야 하기 때문이다. ActionOPD는 이런 의사결정을 개별 토큰보다 중요한 증류 단위로 본다.

토큰 모방의 한계

기존 오프라인 모방 학습은 토큰 단위의 촘촘한 감독을 제공한다. 하지만 학습 데이터의 상태는 주로 교사가 만든 궤적에서 나온다. 학생이 다른 행동을 선택하기 시작하면 학습 과정에서 충분히 보지 못한 상태에 도달할 수 있고, 이때 상태 분포 불일치가 성능을 떨어뜨릴 수 있다.

토큰 수준 온폴리시 증류는 학생이 직접 방문한 상태에서 학습함으로써 이 문제를 완화한다. 그러나 일반적으로 교사의 토큰 확률에 접근해야 하며, 교사와 학생이 호환되는 토크나이저를 사용해야 한다. API로만 접근 가능한 교사나 서로 다른 모델 계열을 조합하는 경우에는 이런 조건이 실용적인 제약이 된다.

ActionOPD는 정렬의 대상을 의미적 행동으로 바꾼다. 학생이 도달한 상태에서 학생과 블랙박스 교사 양쪽의 행동을 샘플링한 뒤, 두 행동이 의미적으로 얼마나 일치하는지를 기준으로 학생 행동에 피드백을 준다. 이후 정책 최적화를 수행하므로, 학생은 교사의 문장 표현이나 추론 서술을 재현하지 않고도 교사와 일관된 결정을 학습할 수 있다.

핵심 내용

• 학생이 만든 상태를 사용: 교사 궤적에만 의존하지 않고 학생이 실제로 경험한 상태에서 학습한다.
• 행동 중심의 감독: 생성된 텍스트의 정확한 토큰열보다 실행 가능한 선택을 맞추는 데 집중한다.
• 블랙박스 교사 지원: 교사의 토큰 확률이 필요 없고, 교사와 학생이 같은 모델 계열이나 토크나이저를 사용할 필요도 없다.
• 에이전트 작업에 적합: 도구 호출, 환경 상호작용, 멀티턴 의사결정에 자연스럽게 적용할 수 있다.

실험과 의미

연구진은 두 명의 교사를 활용해 Qwen3-4B와 Qwen3-8B를 다양하게 구성된 도구 사용 과제로 학습시켰다. 네 개의 분포 외 벤치마크에서 ActionOPD는 평균 3.3~6.9%포인트의 향상을 보였다. 또한 학생 모델의 규모와 교사 모델의 역량이 커질수록 방법이 유리하게 확장되는 경향도 보고됐다.

이 결과는 에이전트 증류에서 무엇을 보존해야 하는지에 대한 관점을 바꾼다. 일반적인 텍스트 생성에서는 토큰 수준 정렬이 여전히 유용할 수 있다. 그러나 환경과 반복적으로 상호작용하는 에이전트에게 교사의 표면적인 표현은 반드시 핵심 지식은 아니다. 학생이 다른 문장과 다른 추론 경로를 사용하더라도 동일하게 효과적인 도구 선택을 할 수 있기 때문이다.

앞으로는 행동의 의미를 어떻게 정의할지, 서로 다른 행동의 유사성을 어떻게 측정할지, 블랙박스 교사 샘플링에서 발생하는 잡음을 어떻게 제어할지가 중요한 과제로 남는다. 그럼에도 ActionOPD가 주는 메시지는 분명하다. 에이전트에게 교사가 말한 내용을 외우게 하기보다, 중요한 상태에서 올바른 선택을 하도록 가르쳐야 한다.

출처: Hugging Face Daily Papers