LongStraw: 고정 GPU 예산으로 200만 토큰 이상 장문맥 RL 실행

도입

LLM 추론 시스템의 컨텍스트 길이는 빠르게 백만 토큰 수준에 접근하고 있다. 그러나 RL 후학습은 여전히 256K 토큰 이하에 머무는 경우가 많고, 실제 배포에서는 더 긴 길이에 대한 일반화에 기대는 일이 많다. AI 에이전트에서는 이 문제가 더 두드러진다. 관찰, 도구 출력, 문서, 이전 결정이 긴 작업 궤적으로 계속 쌓이기 때문이다.

LongStraw는 이 간극을 시스템 실행 관점에서 해결하려는 시도다. 새로운 모델이라기보다, 고정된 GPU 예산 안에서 백만 토큰급 RL 후학습을 수행하기 위한 실행 스택이다. 논문에서는 GRPO를 적용 사례로 삼았다.

핵심 내용

• 공유 프롬프트와 응답 분기 분리: 긴 공유 프롬프트는 autograd 없이 한 번만 평가한다. 따라서 전체 프롬프트와 응답을 하나의 거대한 학습 그래프로 유지하지 않는다.
• 필요한 상태만 보존: 이후 토큰 계산에 필요한 모델별 상태만 남기고, 전체 활성값을 계속 들고 있지 않는다.
• 응답 분기 순차 replay: 그래디언트가 필요한 짧은 응답 분기를 하나씩 다시 실행한다. 이 방식은 피크 메모리를 줄이는 대신 추가 replay 시간을 요구한다.
• 서로 다른 모델 구조에 적용: recurrent와 full-attention 요소가 섞인 Qwen3.6-27B, 압축 attention 기반 MoE 모델인 GLM-5.2에 구현됐다.

실험 결과는 실행 가능성에 초점을 둔다. 8장의 H20 GPU에서 LongStraw는 Qwen의 그룹화된 scoring과 응답 backward를 2.1M positions에서 완료했다. 그룹 크기 2와 8 모두 실행됐으며, 그룹 크기 증가에 따른 피크 할당 메모리 증가는 0.21GB에 그쳤다. 별도 스트레스 테스트에서는 4.46M positions에 도달했다. GLM-5.2의 경우 32장 H20 GPU에서 2.1M 토큰 프롬프트를 78개 전체 레이어에 통과시키는 end-to-end 실행 경로가 검증됐다.

의미와 영향

LongStraw의 핵심 가치는 “모델이 백만 토큰을 읽을 수 있는가”를 넘어 “그 길이의 궤적에서 행동을 후학습할 수 있는가”라는 질문을 제기한다는 점이다. 장시간 동작하는 에이전트는 정적인 긴 프롬프트가 아니라, 도구 사용과 의사결정을 거치며 계속 변하는 상태를 다룬다.

다만 한계도 분명하다. 논문은 이번 결과가 실행 용량을 보여주는 것이지 완전한 학습 정확성을 입증한 것은 아니라고 설명한다. 캡처된 프롬프트 상태는 detach되어 있으며, 일부 분산 forward와 그래디언트 조합 경로도 아직 완성되지 않았다. 따라서 LongStraw는 완성된 학습 레시피라기보다, 백만 토큰급 RL을 가능하게 만들기 위한 중요한 시스템 설계로 보는 것이 적절하다.

출처: Hugging Face Daily Papers