Occamy-1.0, 35B 규모로 협업형 에이전트의 비용 효율 공략

들어가며

실제 업무용 에이전트는 한 번에 그럴듯한 답을 만드는 것만으로 충분하지 않습니다. 자료를 찾고, 도구를 호출하고, 코드를 작성하고, 파일을 다루며, 중간 상태를 유지해야 합니다. 오류가 발생하면 작업을 복구하고 끝까지 마무리해야 합니다. 이런 과정에서 모델 호출이 누적되면 지연 시간과 비용도 함께 증가하므로, 실용적인 에이전트는 최고 수준의 추론 성능뿐 아니라 전체 작업을 얼마나 안정적이고 경제적으로 수행하는지도 중요합니다.

arXiv에 공개된 Occamy-1.0은 이러한 문제를 겨냥한 35B급 모델입니다. 연구팀은 후훈련된 Qwen3.6-35B-A3B 체크포인트를 추가로 훈련해, 단일 응답의 성능을 키우기보다 도구를 사용하는 긴 업무 흐름의 실행 능력을 강화했습니다.

핵심 내용

• 최종 답변보다 실행 과정을 학습. 연구팀은 실행에 기반한 데이터와 환경을 만들고, 여러 하네스에서 재생 가능한 장기 궤적을 수집했습니다. 따라서 학습 과정에서 최종 결과뿐 아니라 도구 상호작용, 상태 변화, 작업 진행과 오류 복구도 다뤄집니다.
• 단계적 후훈련으로 능력을 통합. 논문은 상태 추적, 조정, 복구, 후속 작업 수행처럼 일상적인 업무에서 중요한 상호보완적 능력을 단계적으로 개발하고 결합했다고 설명합니다. 이런 요소는 짧은 질의응답 벤치마크에서는 잘 드러나지 않을 수 있습니다.
• 전체 에피소드의 비용을 중시. 여러 협업형 에이전트 벤치마크에서 Occamy-1.0은 비슷한 규모의 모델 가운데 강한 성능을 보였다고 보고됩니다. 논문이 제시한 평가와 가격 책정 방식에서, 네 개 대표 벤치마크의 종합 결과는 관측된 비용-성능 파레토 프런티어의 저비용 변곡점에 해당했습니다. 일부 과제에서는 훨씬 큰 프런티어 시스템과도 경쟁력을 보였습니다.
• 특정 도구 환경에만 한정되지 않음. 도구 호출, 코딩, 지시 따르기 평가도 추가로 수행해 실행 특화 훈련 이후에도 폭넓은 에이전트 능력이 유지되는지 확인했습니다.
• 연구를 위한 공개. 모델 가중치와 훈련 데이터 일부를 공개해 실용적인 협업형 에이전트와 에이전트 후훈련 연구를 지원할 예정입니다.

의미와 한계

Occamy-1.0은 에이전트 모델의 경쟁 기준이 “가장 뛰어난 단일 답변”에서 “긴 작업을 감당 가능한 비용으로 안정적으로 끝내는 능력”으로 넓어지고 있음을 보여줍니다. 많은 호출을 사용하는 자동화 시스템에서는 어려운 추론 한 단계보다 상태 관리, 도구 사용, 실패 복구, 작업 완료가 실제 도입 성과에 더 직접적인 영향을 줄 수 있습니다. 중간 규모의 오픈 모델을 실행 업무에 맞게 특화하는 방식은 연구 환경이나 기업 내부 자동화에서 현실적인 선택지가 될 가능성이 있습니다.

다만 제공된 자료에는 개별 벤치마크 점수, 지연 시간, 구체적인 가격, 경쟁 모델과의 항목별 비교가 포함되어 있지 않습니다. 따라서 “저비용 변곡점”은 논문이 정한 프로토콜 안에서의 관찰 결과로 이해해야 하며, 모든 배포 환경에 적용되는 보편적 결론은 아닙니다. 가중치와 데이터의 일부 공개만으로는 전체 학습 구성이나 실제 환경에서의 안정성을 판단하기도 어렵습니다. 독립적인 재현과 실제 도구 체인을 활용한 장기 검증이 다음 과제로 남습니다.

arXiv