LongZero、外部データなしでLLMの長文脈推論を強化

長文脈推論の能力は、単にモデルが多くのトークンを読み込めることとは異なります。複数の文書に分散した情報を結び付け、複数段階の推論を行い、検索を何度も繰り返しても重要な手掛かりを維持しなければなりません。強化学習はこうした能力を伸ばす有力な手段ですが、長く、多様で、難しく、しかも自動検証できる訓練データが必要です。人手による作成は高コストで、自然に得られる長文タスクも限られています。従来の合成手法は外部コーパスや、より強力な教師モデルに依存することが多く、モデルが高性能になるほどその確保は難しくなります。

LongZeroは、この問題を外部データなしで解決しようとします。特徴は、モデルにいきなり完成した長文脈の質問応答例を書かせない点です。まず、質問、答え、そして答えを支える証拠を、簡潔な構造化形式で生成します。その後、証拠を複数文書からなる長いコンテキストへ拡張します。これにより、タスクの設計、正答の導出、長文書の構成を一度に行う必要がなくなります。証拠のつながりを先に明確化できるため、生成されたタスクの検証可能性も保ちやすくなります。

学習データには二つのタイプがあります。一つは、複数の証拠を組み合わせて答えを導くマルチホップ推論タスクです。もう一つは、段階的に関連情報を探し、検索の各ラウンドで必要な状態を引き継ぐマルチラウンド検索タスクです。LongZeroはこれらを自己生成し、GRPOによる強化学習に利用します。研究では二つのLLMを対象に、五つの長文脈推論ベンチマークで評価しました。

報告された結果によると、自己生成タスクで学習した効果は、そのタスク形式だけに閉じません。Qwen3-4B-Thinking-2507では、五つのベンチマークの平均スコアが54.7から57.4へ上昇しました。また、外部コーパスから合成したデータで強化学習する比較手法も上回ったとされています。これは、証拠に基づく自己生成タスクが、実際の長文脈推論に必要な行動の訓練に使える可能性を示します。

LongZeroの意義は、知識を無から獲得できると主張することではありません。むしろ、明確な証拠構造と検証可能な報酬を設計することで、後学習に必要な人手データへの依存を減らせるかを示した点にあります。一方で、自己強化による偏り、生成証拠の品質、合成データと現実の利用分布の差は今後も検証が必要です。長文脈推論の改善には、データ量の拡大だけでなく、タスク生成と評価の設計も重要だとLongZeroは示しています。

出典：Hugging Face Daily Papers