TurnWise: 턴 단위 신용 할당으로 스트리밍 비디오 RL 개선

스트리밍 비디오 이해는 영상을 모두 본 뒤 한 번 답하는 작업과 다릅니다. 모델은 영상이 순차적으로 들어오는 동안 계속해서 지금 응답할지, 더 많은 정보를 얻기 위해 관찰을 이어갈지를 판단해야 합니다. 따라서 상호작용은 여러 턴으로 구성되며, 강화학습에서 어떤 결정에 보상을 귀속할지가 핵심 문제가 됩니다.

전체 궤적 보상이 만드는 학습 신호의 불일치

최근 스트리밍 비디오 작업에 Group Relative Policy Optimization, 즉 GRPO를 적용하는 연구가 진행되고 있습니다. 그러나 기존 접근법은 전체 상호작용에 하나의 어드밴티지를 계산한 뒤 모든 결정에 공유하는 경우가 많습니다. 구현은 단순하지만, 실제 턴 단위 의사결정과는 맞지 않을 수 있습니다.

예를 들어 모델이 초기에 올바른 답을 한 뒤 불필요한 응답을 반복한다고 가정해 보겠습니다. 전체 궤적이 긍정적으로 평가되면, 중복 응답까지 강화될 수 있습니다. 반대로 초기 응답이 실패했을 때 이후의 유용한 보완 답변도 동일한 낮은 신호의 영향을 받아 억제될 수 있습니다. 따라서 문제는 보상 설계만이 아니라, 어느 ‘응답 또는 대기’ 결정에 학습 신호를 배정할 것인지에 있습니다.

TurnWise의 두 가지 핵심 설계

논문은 스트리밍 상호작용에 맞춘 턴 단위 GRPO 프레임워크인 TurnWise를 제안합니다. 주요 구성은 다음과 같습니다.

• 턴 단위 신용 할당: 각 결정에 해당하는 프리픽스를 이후 적극적으로 응답하지 않는 상태로 침묵 완료한 뒤 평가합니다. 그리고 해당 결정 이후에 남은 리턴을 사용해 그룹 상대 어드밴티지를 구성합니다. 이를 통해 현재 턴의 학습 신호를 이전 턴의 보상과 분리합니다.
• 턴 평균 정책 최적화: 먼저 각 턴 안에서 토큰 손실을 평균하고, 다시 턴 간 평균을 계산합니다. 이에 따라 긴 응답이 단순히 토큰 수가 많다는 이유만으로 학습을 지배하지 않으며, 응답과 대기 결정도 더 균형 있게 반영됩니다.

두 설계는 각각 ‘어느 턴에 공을 돌릴 것인가’와 ‘길이가 다른 턴을 어떻게 최적화에 반영할 것인가’라는 문제를 다룹니다. 또한 학습된 크리틱이나 추가 롤아웃을 요구하지 않습니다.

의미와 영향

TurnWise의 중요한 점은 스트리밍 비디오 강화학습의 기본 최적화 단위를 전체 궤적에서 개별 상호작용 턴으로 바꾼 데 있습니다. 계속 관찰하면서 적절한 시점에 말해야 하는 시스템에서는 무엇을 답하는지만큼 언제 답하고 언제 기다릴지도 중요합니다.

논문이 제시한 실험에서는 TurnWise가 기존 강화학습 접근법보다 스트리밍 비디오 이해에서 더 나은 성능을 보였습니다. 이는 보상 규칙을 단순히 추가하는 것보다, 신용 할당과 손실 집계 방식을 작업의 상호작용 구조에 맞추는 것이 정책 학습에 직접적인 도움을 줄 수 있음을 시사합니다. 이러한 관점은 실시간 비디오 비서, 지속적 인지 시스템, 대기와 행동을 반복하는 다른 에이전트 학습에도 참고가 될 수 있습니다.

출처: Hugging Face Daily Papers