長文脈の敵は長さではなく、注意の奪い合い

長文脈モデルの失敗は、しばしば「入力が長くなればなるほど、モデルは情報を忘れる」と説明されます。しかし論文「Length Is Cheap, Competition Is Not」は、少なくとも検索タスクでは、単純な長さよりも証拠同士の競合が重要だと論じています。問題はトークン数そのものではなく、似た候補が限られた注意を奪い合うことです。

導入：32Kトークンでも必ずしも劣化しない

研究者はキー・バリュー形式の合成検索タスクを作り、四つのモデル系列にまたがる五つのオープンモデルを評価しました。パラメータ数は0.5Bから3Bです。正解の証拠を同じような位置に置き、異なる種類のフィラーを比較したところ、Qwen2.5-1.5Bでは中立的でタスクに無関係な文章を32Kトークンまで追加しても、精度は0.97から1.00の範囲に保たれました。入力が長いだけでは、大きな失敗は起きなかったことになります。

主な発見

• 証拠らしいフィラーは危険です。 同じ位置に、証拠と同じ形式の文を置くと、精度はおよそ0.16から0.33まで低下しました。別の実験設定では0.11から0.21という範囲も報告されています。数値には条件差がありますが、中立ノイズよりも形式と意味が似た文の方がはるかに有害という傾向は共通しています。
• 矛盾する値が検索をさらに壊します。 問い合わせたキーに別の値を割り当てる文を一つ追加すると、損失は9倍から110倍に拡大しました。競合する文を増やすほど損失も増え、モデルは単に長い文脈を読むのではなく、候補の優先順位付けを迫られます。
• 長さより注意の残り方が有力です。 126,473件の試行では、正しい証拠に残った注意の量が損失の分散を最大58%説明しました。一方、文脈長の対数が説明できたのは最大8%でした。これは因果関係の証明ではありませんが、失敗を診断する指標として注意の配分が有望であることを示します。
• マスクを長さの代理にしてはいけません。 MMLUでは、30Kトークン時にマスク付きフィラーで精度が約11から18ポイント低下しました。しかし検索タスクでは、32Kトークン時にフィラーをマスクすると約45ポイント下がる一方、同じフィラーを見える状態にすると影響はほぼありませんでした。マスクは入力の見え方そのものを変えるため、純粋な長さの効果とは限りません。

意義と限界

RAGや長文書QAにとっての示唆は、コンテキストウィンドウを広げるだけでは不十分だということです。重複文書を減らし、矛盾する主張を分離し、出典を明示し、似た形式の証拠を整理することが重要になります。生成前にモデルが正しい証拠へ注意を向けているかを確認できれば、検索失敗の切り分けにも役立つでしょう。

ただし、研究は一つの合成検索タスクと、最大3B規模のモデルを中心にしています。注意の分析も相関関係にとどまり、注意を直接操作すれば精度が回復するとは示していません。したがって、「長さより競合が重要」という結論は、現時点では有力な検証仮説であり、すべての長文脈処理に適用できる法則ではありません。

出典：Hugging Face Daily Papers