긴 문맥의 진짜 문제는 길이가 아니라 주의 경쟁

긴 문맥에서 언어 모델이 실패하는 이유는 흔히 토큰 수가 많아졌기 때문이라고 설명됩니다. 하지만 논문 「Length Is Cheap, Competition Is Not」은 검색 과제에서는 길이 자체보다 근거 간 경쟁이 더 중요할 수 있다고 주장합니다. 모델이 처리하지 못하는 것은 단순한 텍스트의 양이 아니라, 비슷한 후보들이 제한된 주의를 서로 빼앗는 상황이라는 설명입니다.

도입: 32K 토큰이 항상 문제는 아니다

연구진은 키-값 형태의 합성 검색 과제를 만들고, 네 개 모델 계열에 속한 다섯 개 오픈 모델을 평가했습니다. 모델 크기는 0.5B에서 3B까지였습니다. 정답 근거의 위치를 비슷하게 유지한 채 다양한 필러를 넣어 비교한 결과, Qwen2.5-1.5B에서는 중립적이고 과제와 무관한 텍스트를 32K 토큰까지 추가해도 정확도가 0.97에서 1.00 사이에 머물렀습니다. 즉, 문맥이 길다는 사실만으로는 큰 성능 저하가 발생하지 않았습니다.

핵심 결과

• 근거 형식의 필러는 훨씬 위험합니다. 중립 텍스트 대신 정답 근거와 같은 형식의 문장을 같은 위치에 넣자 정확도는 약 0.16에서 0.33으로 낮아졌습니다. 다른 설정에서는 0.11에서 0.21의 범위도 보고됐습니다. 구체적인 수치는 조건에 따라 달라지지만, 의미와 형식이 비슷한 방해 문장이 중립 노이즈보다 훨씬 큰 문제라는 점은 동일합니다.
• 충돌하는 값은 손실을 증폭합니다. 질의한 키에 다른 값을 연결하는 문장 하나를 추가하자 손실이 9배에서 110배까지 커졌습니다. 경쟁 문장을 더 추가할수록 손실도 증가했습니다. 모델은 긴 문서를 읽는 것뿐 아니라 여러 후보 중 하나를 선택해야 했습니다.
• 문맥 길이보다 어텐션이 더 유용한 신호입니다. 126,473번의 실험에서 정답 근거에 남은 어텐션의 양은 손실 분산을 최대 58% 설명했습니다. 반면 문맥 길이의 로그가 설명한 비율은 최대 8%였습니다. 이는 어텐션이 유일한 원인이라는 뜻은 아니지만, 검색 실패를 분석하는 데 더 유망한 진단 신호임을 보여줍니다.
• 마스크 실험은 신중하게 해석해야 합니다. MMLU에서는 30K 토큰에서 마스크된 필러를 사용했을 때 정확도가 약 11~18포인트 하락했습니다. 그러나 검색 실험에서는 32K 토큰에서 필러를 마스크하면 정확도가 약 45포인트 떨어진 반면, 같은 필러를 보이는 상태로 두면 손실이 거의 없었습니다. 마스크는 단순히 길이를 늘리는 것이 아니라 모델이 입력을 보는 방식을 바꿀 수 있습니다.

의미와 한계

RAG와 긴 문서 질의응답에 주는 메시지는 컨텍스트 윈도우를 키우는 것만으로 충분하지 않다는 점입니다. 중복 문서를 제거하고, 충돌하는 주장을 분리하며, 출처를 표시하고, 비슷한 형식의 근거가 과도하게 반복되지 않도록 구성하는 작업이 중요합니다. 생성 전에 모델이 정답 근거에 실제로 주의를 기울였는지 점검하는 방법도 검색 실패의 원인을 찾는 데 도움이 될 수 있습니다.

다만 이 연구는 하나의 합성 검색 과제와 최대 3B 규모의 모델에 주로 의존합니다. 어텐션과 정확도의 관계 역시 상관 분석이며, 어텐션을 직접 조작하면 성능이 회복된다는 인과적 증거는 아닙니다. 따라서 “길이보다 경쟁이 중요하다”는 결론은 유용한 분석 틀이지만, 모든 긴 문맥 작업에 적용되는 확정 법칙으로 보기는 이릅니다.

출처: Hugging Face Daily Papers