J-Zero：挑戦者・解答者・判定者を共進化させる仕組み

導入

言語モデルが自ら課題を作り、解答し、その品質まで評価できれば、人間による監督のコストを抑えながら能力を伸ばせる可能性があります。数学やコードのように正解を外部検証できる分野では、この考え方を実装しやすい一方、文章作成や開放型の質問では、何がより良い回答なのかを安定して判断することが難しくなります。KAIST AI の J-Zero は、この問題に対して3つの役割を連動させる設計を提示します。

核心となる仕組み

• Challenger が難度を引き上げる。 Challenger は課題を生成し、Solver との対話を通じて、より難しい入力を作るように進化します。Solver はその課題に対して、より質の高い回答を学習します。課題を難しくする側と、それに追いつく側の対抗関係が能力向上を促します。
• Judge を固定しない。 多くの自己進化方式では評価モデルを固定します。しかし、評価者が改善を見抜けなければ、そこがシステム全体の上限になります。J-Zero では Judge も現在の進化の前線に合わせて適応します。
• 生成過程から選好を作る。 Judge の学習には、Judge 自身のスコアではなく、回答の作られ方から順序があらかじめ分かるペアを使います。たとえば Solver の回答を Challenger の回答より上位に置き、分解して再構成した回答を一度に生成した回答より上位に置きます。これにより、新たな人手ラベルがなくても比較信号を用意できます。
• 2種類の領域を対象にする。 論文要約によると、J-Zero は検証可能領域で平均4.2ポイント、検証困難領域で平均8.0ポイント、ベースラインを上回りました。また、少なくとも10回の反復まで改善が続いた一方、ベースラインは2回後に低下しました。

意義と課題

J-Zero の重要性は、単にモデル同士を競わせることではありません。課題生成、解答、評価を切り離さず、1つの共進化するシステムとして設計した点にあります。検証困難な課題では、回答の生成経路が弱い教師信号として機能し、固定評価器が進歩を止める問題を緩和できる可能性があります。

ただし、生成方法から決まる選好が、あらゆる場面で実際の品質順位と一致するとは限りません。3つの役割が同じ弱点を持てば、誤りを閉じたループの中で強化する危険もあります。したがって、J-Zero は外部検証なしで信頼性を保証する手法というより、監督データへの依存を減らすための枠組みと見るべきです。異なるモデルや課題での安定性、人間による独立評価が今後の焦点になります。

出典：Hugging Face Daily Papers