Axion 1.0: 3단계 학습으로 만든 오픈 에이전트 모델

개요

에이전트 모델은 정답을 생성하는 것만으로 충분하지 않습니다. 목표를 분해하고, 정보를 검색하고, 도구를 호출하며, 여러 단계를 실행한 뒤 환경의 피드백에 맞춰 전략을 수정해야 합니다. Yuqi Jia 연구진이 공개한 Axion 1.0은 이러한 능력을 복잡한 후학습 단계의 조합이 아니라 비교적 단순한 3단계 과정으로 개발하는 방법을 제안합니다.

3단계 학습 과정

전체 파이프라인은 두 번의 경량 지도 미세조정과 이후 강화학습으로 구성됩니다.

• 독립적인 추론부터 학습한다. 첫 단계는 외부 도구 없이 풀 수 있는 과학 문제를 대상으로 합니다. 기본 모델이 스스로 보여준 성공적인 풀이 전략을 참고해 어려운 문제를 만들고, 이를 적대적으로 강화해 추론의 견고성을 높입니다.
• 도구 기반 조사로 확장한다. 두 번째 단계에서는 실제 데이터 소스에서 정보를 찾거나 결정론적 계산을 수행하고, 외부 도구를 사용해야 하는 과제를 도입합니다. 다양한 작업을 확장 가능하게 생성하고 자동으로 검증하는 것이 특징입니다.
• 상호작용을 강화한다. 마지막 단계는 에이전트 궤적을 활용한 강화학습입니다. 이를 통해 긴 추론 과정과 도구 및 환경과의 반복적인 상호작용을 개선하는 것을 목표로 합니다.

공개 자료에 따르면 Axion 1.0은 전용 중간 학습 단계, 직접 선호 최적화(DPO), 온폴리시 증류(OPD)를 사용하지 않습니다. 지도 미세조정 예시는 약 1만8,000개이며, 모델 규모는 35B와 122B로 제시됩니다.

평가와 공개 범위

평가에는 HLE, BioMysteryBench, SEAL-0, HiPhO, 그리고 FrontierScience의 Olympiad 및 Research 분할이 포함됩니다. 35B 재현 체크포인트의 공식 점수는 순서대로 52.8, 35.3, 60.4, 45.9, 85.0, 55.0입니다. 다만 프롬프트와 도구 환경을 포함한 평가 조건이 일치해야 구현 간 결과를 제대로 비교할 수 있습니다.

Axion 1.0은 모델 가중치만 공개하는 프로젝트가 아닙니다. 데이터 구성과 생성, 필터링, 검증, 프롬프트, 학습 코드, 학습 데이터, 35B 재현 모델을 함께 제공합니다. 재현 모델은 Apache 2.0 라이선스로 배포되어 연구자들이 이 접근법을 직접 시험하고 확장할 수 있습니다.

의미와 한계

Axion 1.0의 핵심 의미는 에이전트 능력의 발전 단계를 명확하게 나눈 데 있습니다. 먼저 스스로 문제를 풀고, 다음으로 도구를 사용해 조사하며, 마지막으로 상호작용 속에서 행동을 개선하는 구조입니다. 공개된 파이프라인이 안정적으로 재현된다면 작업 설계, 자동 검증기, 강화학습이 성능에 미치는 영향을 분리해 연구하기 쉬워집니다.

그러나 학습 절차가 간결하다고 해서 구현 비용까지 낮은 것은 아닙니다. 생성된 과제의 품질, 검증기의 범위, 도구 환경의 신뢰성, 장기 궤적 강화학습의 안정성이 모두 결과에 영향을 줄 수 있습니다. 따라서 Axion 1.0은 범용 에이전트 지능의 최종 해답이라기보다, 공개 연구를 위한 재현 가능한 기준선으로 보는 편이 적절합니다.

출처: Hugging Face Daily Papers