LongZero, 외부 데이터 없이 LLM의 장문맥 추론 강화

장문맥 추론은 모델이 많은 토큰을 읽을 수 있는지에만 달려 있지 않습니다. 여러 문서에 흩어진 정보를 연결하고, 여러 단계의 추론을 수행하며, 검색을 반복하는 동안 필요한 단서를 유지해야 합니다. 강화학습은 이런 행동을 강화하는 효과적인 방법이지만, 길고 다양하며 어렵고 자동으로 검증할 수 있는 학습 과제가 꾸준히 필요합니다. 사람의 주석은 비용이 높고, 자연적으로 수집되는 장문맥 과제는 충분하지 않습니다. 기존 합성 방식도 외부 코퍼스나 더 강력한 교사 모델에 의존하는 경우가 많아, 학습 대상 모델이 강해질수록 데이터 확보가 어려워집니다.

LongZero는 외부 데이터 없이 모델이 스스로 학습 과제를 만드는 방식으로 이 문제에 접근합니다. 핵심은 처음부터 완성된 장문맥 질의응답 예시를 생성하도록 요구하지 않는 것입니다. 먼저 모델이 질문, 답변, 그리고 답변을 뒷받침하는 증거를 간결한 구조로 작성합니다. 그 다음 이 증거를 여러 문서로 구성된 긴 문맥으로 확장합니다. 이 분해 방식은 유효한 과제를 설계하고, 정답을 도출하고, 긴 문서 묶음을 구성하는 일을 한 번에 처리해야 하는 부담을 줄입니다. 또한 긴 문맥이 만들어지기 전에 증거의 연결 관계를 명확하게 해 검증 가능성을 높입니다.

LongZero가 생성하는 과제는 두 종류로 구성됩니다. 첫째는 여러 증거 조각을 결합해 답을 도출하는 다중 홉 추론 과제입니다. 둘째는 관련 정보를 단계적으로 찾고, 검색 라운드가 바뀌어도 유용한 상태를 이어 가는 다중 라운드 검색 과제입니다. 연구진은 이 자기 생성 과제들을 GRPO 기반 강화학습에 사용했습니다. 평가는 두 개의 언어 모델과 다섯 개의 장문맥 추론 벤치마크를 대상으로 진행됐습니다.

보고된 결과는 이 방식이 생성 과제의 형식에만 머물지 않을 가능성을 보여줍니다. Qwen3-4B-Thinking-2507에서는 다섯 벤치마크 평균 점수가 54.7에서 57.4로 올랐습니다. 또한 외부 코퍼스에서 합성한 데이터로 강화학습을 수행한 비교 방법보다 높은 성능을 보였다고 요약돼 있습니다. 이는 증거를 중심으로 만든 자기 생성 과제가 실제 장문맥 평가에 필요한 정보 탐색과 연결 능력을 연습시키는 데 활용될 수 있음을 시사합니다.

LongZero의 의미는 모델이 아무 지식도 없이 새로운 지식을 습득한다는 데 있지 않습니다. 대신 명확한 증거 구조와 검증 가능한 보상을 설계하면, 후학습에 필요한 사람이 만든 데이터의 의존도를 낮출 수 있는지를 보여줍니다. 다만 자기 생성 데이터가 가진 편향, 합성 증거의 품질, 현실적인 사용 분포와의 차이는 여전히 검증해야 할 과제입니다. 장문맥 능력 향상에는 데이터 규모뿐 아니라 과제를 만들고 평가하는 방식 자체가 중요하다는 점이 이번 연구의 핵심 시사점입니다.

출처: Hugging Face Daily Papers