NeoHorse-1, 에이전트 라우팅으로 재귀적 자기개선 탐색

들어가며

재귀적 자기개선은 모델이 자신의 약점을 파악하고 그 결과를 다음 학습에 반영하는 과정을 뜻합니다. 그러나 실제 시스템에서는 능력의 부족을 어떻게 측정할지, 그 측정 결과로 어떤 데이터를 다음에 학습할지 정하는 일이 가장 어렵습니다. NeoHorse-1은 이 문제를 에이전트형 후학습의 관점에서 다루며, 추론 시점의 라우팅을 학습을 조정하는 신호로 활용합니다.

핵심 구성

• 이기종 모델 풀을 요구에 맞게 배치합니다. 시스템은 각 사용자 요청에 필요한 능력을 예측하고 적절한 서비스 계층을 선택합니다. 최종 답변만 저장하는 대신 예측된 능력 요구, 라우팅 결과, 이후 상호작용을 함께 기록합니다.
• 에이전트 실행 맥락을 보존합니다. 학습 예시에는 추론 과정, 도구 호출, 하네스 맥락이 교차된 형태로 포함됩니다. 데이터는 구조 검증, 6개 차원의 의미 평가, 하위 장면 수준의 라벨링을 통과해야 합니다.
• 라우팅 신호를 커리큘럼으로 사용합니다. 지도 미세조정은 3단계로 구성되며, 같은 진행 순서를 라우팅 기반 온폴리시 증류에도 적용합니다. 교사 모델은 학생 모델이 직접 생성한 응답을 능력 단계에 맞춰 감독합니다.
• 평가가 다음 학습 배분을 바꿉니다. 능력 기반 데이터 배분은 평가 결과를 다음 학습 혼합 비율로 변환합니다. 즉, 시스템이 현재 무엇을 익혔는지가 다음에 어떤 데이터를 배울지에 영향을 줍니다.

결과와 한계

평가는 하네스 기반 에이전트, 도구 사용, 코딩, 지시 따르기를 포함한 11개 벤치마크에서 진행됐습니다. 논문에 따르면 후학습 후 매크로 평균은 4B 모델에서 58.94에서 64.87로, 9B 모델에서 65.60에서 69.04로 상승했습니다. 후학습된 4B 모델과 9B 기반 모델 사이의 종합 성능 격차도 줄었습니다. 다만 이는 라우팅 중심 후학습의 효과를 보여주는 결과이지, 완전히 자율적인 자기진화가 입증됐다는 뜻은 아닙니다.

의미와 과제

NeoHorse-1은 평가를 학습이 끝난 뒤 확인하는 정적 절차가 아니라, 다음 훈련을 결정하는 동적 신호로 다룬다는 점에서 의미가 있습니다. 에이전트 성능은 언어 생성뿐 아니라 도구를 호출하는 시점, 하네스 규칙 준수, 여러 단계의 상호작용 유지 능력에도 좌우됩니다. 이러한 정보를 보존하면 일반적인 질의응답 데이터보다 실제 에이전트 실행에 가까운 학습 자료를 만들 수 있습니다.

그러나 순환 구조의 품질은 라우팅 예측, 의미 평가, 라벨의 정확도에 의존합니다. 잘못된 능력 판단은 다음 데이터 배분을 왜곡할 수 있고, 증류 과정에서 기존 편향이 이어질 수도 있습니다. 따라서 현재의 NeoHorse-1은 범용 자기개선의 최종 해법보다, 하네스가 매개하는 재귀적 개선을 구체화한 초기 연구로 보는 편이 타당합니다.

출처: Hugging Face Daily Papers