Iris, SFT와 강화학습의 반복으로 검색 에이전트를 고도화

들어가며

검색 에이전트의 역할은 관련 웹페이지를 하나 찾는 데서 끝나지 않습니다. 복잡한 질문을 나누고, 여러 엔티티와 링크를 따라가며, 필요한 근거를 유지한 채 다음 검색을 결정해야 합니다. 논문 ‘Iris: Climbing to the Search Frontier’는 이런 장기 검색 행동을 학습하기 위해 Iris-mini와 Iris-pro, 그리고 데이터 생성과 훈련 절차를 함께 제시합니다.

Iris의 핵심 접근법

• 웹 링크 구조에서 과제를 역으로 만든다. 연구진은 시드 페이지와 아웃링크를 바탕으로 엔티티 그래프를 만들고 다단계 연결을 설계합니다. 정답이 아닌 엔티티는 설명형 지시어로 바꿔, 고유명사나 문자열 일치만으로 답을 찾기 어렵게 했습니다.
• 검색이 실제로 필요한 문제만 남긴다. 참고 모델이 닫힌 상태에서는 답하지 못하지만, 관련 증거가 제공되면 해결할 수 있는 질문만 채택합니다. 이를 통해 모델의 기억만으로 풀 수 있는 문제와 검색 능력이 필요한 문제를 구분합니다.
• 궤적과 턴을 모두 필터링한다. 생성된 검색 과정은 전체 궤적 수준에서 평가되고, 개별 검색 턴도 별도로 점검됩니다. 이후 지도 미세조정을 진행하고, 실시간 검색 환경에서 강화학습으로 정책을 최적화합니다. 보상 판정기와 관찰 요약기는 훈련 클러스터 내부에서 실행됩니다.
• SFT와 RL을 반복하는 ‘climbing’. 각 강화학습 라운드에서 나온 어렵지만 해결에 성공했고 효율적인 궤적을 다음 SFT 단계로 되돌립니다. 연구진은 이 절차를 ‘SFT-RL climbing’이라고 부릅니다. 목표는 유효한 검색 습관을 보존하면서 학습 가능한 난도를 점진적으로 높이는 것입니다.
• 컨텍스트 관리를 추론 과정에 포함한다. 롤아웃이 지나치게 길어지면 요청 단위로 중단하고, 확정된 접두부에서 다음 단계를 재개합니다. 컨텍스트 관리의 유무를 비교하되 도구, 컨텍스트 한도, 판정기는 동일하게 유지했습니다.

결과와 의미

컨텍스트 관리를 활성화한 조건에서 논문은 Iris-mini가 BrowseComp, BrowseComp-ZH, DeepSearchQA, HLE에서 각각 82.2, 84.8, 86.9, 52.3을 기록했다고 보고합니다. Iris-pro의 해당 점수는 88.6, 85.1, 92.9, 56.4입니다. 모든 결과는 단일 ReAct 에이전트에서 나왔으며, 서브 에이전트나 테스트 시점 검증은 사용하지 않았습니다.

이 연구의 의미는 단순히 더 큰 검색 모델을 제시했다는 데 있지 않습니다. 과제의 난도 조절, 검색 궤적의 품질, 정책 최적화, 추론 시 상태 관리를 하나의 학습 문제로 묶었다는 점이 핵심입니다. 다단계 검색에서는 모델이 관련 지식을 갖고 있어도 불필요한 관찰을 계속 쌓거나 중간 결과를 잃으면 전체 경로가 실패할 수 있습니다. 따라서 어떤 정보를 남기고, 어떻게 요약하며, 중단 후 어디서 재개할지는 모델 규모만큼 중요한 요소가 될 수 있습니다.

다만 제공된 자료만으로는 검색 도구가 바뀌었을 때의 적응성, 실제 지연 시간과 운영 비용까지 평가하기 어렵습니다. 연구팀이 모델 가중치와 데이터 구축·훈련·평가의 전체 레시피를 공개할 예정인 만큼, 후속 재현 연구를 통해 보고된 성능과 실용성을 더 면밀히 확인할 필요가 있습니다.

출처: Hugging Face Daily Papers