Turns Matter：用回合级信用分配改进流式视频强化学习

流式视频理解与一次性视频问答不同。模型并不是看完整段视频后再给出单一答案，而是在视频持续到来时不断做出选择：现在是否应该回答，还是继续观察以获取更多信息。这样的交互过程天然由多个回合组成，也让强化学习中的信用分配变得更复杂。

问题：一条轨迹的奖励，难以解释每个回合

近期工作将群组相对策略优化（GRPO）用于流式视频任务，但不少方法仍沿用轨迹级优势：整段交互结束后得到的反馈，被共享给其中所有决策。这种做法实现简单，却可能产生错位的学习信号。

例如，模型在前一个回合已经给出正确回答，随后又重复作答，整条轨迹的正向奖励可能继续强化这种冗余行为。相反，如果早期回答失误，后续一个本来有价值的补充回答也可能因为共享了较低优势而受到抑制。问题的关键并不只是奖励如何设计，而是奖励究竟应归因于哪一次“回答或等待”决定。

TurnWise的两项设计

论文提出TurnWise，将GRPO改造成更贴合流式交互的回合级训练框架，核心包括两点：

• 回合级信用分配：对每个决策对应的前缀进行“静默补全”评分。也就是说，在评估某一回合时，先把该回合之后的交互处理为不再主动回答的状态，再利用从当前决策开始的剩余回报构造群组相对优势。这样，每个回合的学习信号主要反映其自身及后续结果，而不是简单继承早期奖励。
• 回合均值策略优化：先在每个回合内部平均令牌损失，再跨回合进行平均。由此，回答较长的回合不会仅因令牌更多而支配训练，回答与等待这两类决策也能获得更接近的权重。

两项机制分别处理“奖励应该归因给谁”和“不同回合如何参与优化”这两个问题。TurnWise不依赖额外学习到的评论家模型，也不需要增加额外采样轨迹。

意义与影响

这项工作的价值在于，它把流式视频强化学习中的基本单位从整条轨迹推进到单个交互回合。对于需要持续观察、适时回应的模型而言，准确区分“什么时候该说”和“什么时候该等”与生成答案本身同样重要。

根据论文提供的实验结论，TurnWise在流式视频理解任务上优于此前的强化学习方法。更重要的是，它说明在多轮视觉交互中，改进信用分配和损失聚合方式，可能比单纯增加奖励规则更直接地改善策略学习。未来，类似思路也可为实时视频助手、持续感知系统以及其他具有等待—行动循环的智能体训练提供参考。

来源：Hugging Face Daily Papers