正解ラベルなしで推論を改善するTTPO、合意と不一致を使い分けるテスト時学習

導入

大規模言語モデルの数学推論は、強化学習やオンポリシー自己蒸留などのポストトレーニングによって大きく改善してきた。一方で、これらの手法は正解ラベルや検証可能な報酬に依存することが多い。未知の問題を解くテスト時学習では、モデルが入力しか受け取れず、正解を参照できないため、この依存関係が大きな制約になる。

論文「TTPO: Test-Time Policy Optimization」は、この問題に対してラベル不要の枠組みを提案する。同じ問題に対して複数の推論ロールアウトを生成し、多数決で暫定的な答えを作る。その後、各ロールアウトが多数決に同意するかどうかによって、異なる最適化方法へ振り分ける。

主なポイント

• 多数決を絶対的な教師にしない。 多数派の答えが誤っている場合、それをすべてのTokenに適用すると、誤った推論を広範囲に学習してしまう。
• 同意と不一致を非対称に扱う。 疑似ラベルに一致するロールアウトにはオンポリシー自己蒸留（OPSD）を適用し、不一致のロールアウトにはグループ化強化学習を用いてペナルティを与える。
• 不一致にも負の情報がある。 論文の観察では、多数決が正しいかどうかにかかわらず、そこから外れたロールアウトは一般に誤っている可能性が高い。そのため、疑似ラベルの完全な正しさを証明できなくても、不一致を負の学習信号として利用できる。
• Token単位で信号を選別する。 蒸留ではすでに収束した位置の重みを下げ、強化学習ではモデルが高い確信を持っている誤りを中心に罰する。
• モデルの改善に伴って自己教師も強くなる。 推論の質が上がれば多数決の安定性も高まり、二つの学習分岐への振り分けがより有効になる。

結果と意味

論文の概要によれば、TTPOはラベルを使わず、五つの競技レベル数学ベンチマークで教師付きOPSDに匹敵する性能を示した。また、テスト時学習におけるQwen3-1.7Bの結果を38.0%から45.2%へ引き上げたという。思考過程を使わない設定では25.2%から36.4%の改善幅も報告され、タスクをまたいだ汎化も確認されたとしている。

TTPOの要点は、正解ラベルを単純に多数決へ置き換えたことではない。合意した軌跡と、そこから外れた軌跡が持つ情報の種類を分けて扱った点にある。合意は教師データとして、不一致は誤りの候補として使うことで、誤った投票が全体を一方向へ誘導する危険を抑えようとしている。

これは、モデル自身のサンプリング結果からテスト時の学習信号を作る研究の一方向性を示す。ただし、多数決には複数回の生成コストがかかり、その品質が学習ループに影響する。提示された概要だけでは、長期安定性や幅広いタスクでの効率までは判断できない。現段階では、ラベル不要の推論適応に向けた有望な設計として捉えるのが妥当だろう。

出典：Hugging Face Daily Papers