言語モデルが自分で見る場所を決める：Declarative Attention

導入

長文脈モデルの課題は、どれだけ多くのトークンを保存できるかだけではありません。新しいトークンを1つ生成するたびに、保存されたコンテキストをどれだけ読み直す必要があるかも重要です。標準的なグローバル注意では、答えに必要なのが一部の情報だけでも、KVキャッシュ全体を走査する場合があります。100万トークン規模の会話では、この処理が出力のたびに積み重なります。

KAIST AIの研究チームは、この問題に対してDeclarative Attention（DA）を提案しました。発想は単純で、モデルが「次にどこを見る必要があるか」を自分で知らせます。別の検索器を追加するのではなく、モデルと推論エンジンがコンテキストへのアクセス範囲を共有するプロトコルです。

仕組み

DAは生成を次の3モードに分けます。

• global：全コンテキストを読むモード
• focus：指定した領域に絞って読むモード
• local：直近の生成内容だけを読むモード

モデルは推論の途中でこれらの宣言を出力します。推論エンジンはツール呼び出しに似た形で宣言を解析し、必要なKVキャッシュだけを読み出します。直近の出力だけで次のステップを進められるなら、長い履歴全体を毎回走査する必要はありません。

これは、外部モジュールがすべての候補トークンに軽量なスコアを付け、関連部分を選ぶ方式とは異なります。外部スコアリングは読み出し量を減らせても、各ステップで長さNのコンテキストを処理するコストが残る可能性があります。DAは、モデルがすでに持っている関連性の判断を、注意範囲の選択に直接利用します。

評価と限界

素材によれば、15種類の長文脈タスクで、Gemma-4-31BとQwen-3.6-27Bをゼロショット評価しました。総注視トークンはそれぞれ52.0%、31.1%削減されたとされています。精度低下は論文概要でGemmaが1.27ポイント、Qwenが2.75ポイントです。一方、同じ素材に含まれるページ抜粋ではGemmaの低下を1.52ポイントとしており、最終論文での確認が必要です。

DAには明確な代償もあります。モデルが誤った領域に集中すると、回答に必要な情報を読み落とす可能性があります。また、素材はモデル規模が大きいほど精度差が縮む傾向を示していますが、評価はゼロショットです。専用訓練によって宣言の安定性がどこまで向上するかは、まだ明らかではありません。

意義

DAが示すのは、モデル自身がコンテキストへのアクセス方法を決める新しい疎な注意の方向です。長大な会話、文書分析、出力が長くKVキャッシュ読み出しが支配的になる処理では、帯域や推論コストの削減につながる可能性があります。

ただし実運用には、宣言の誤りから復帰する仕組み、範囲指定の堅牢性、そして読み出し削減が実際の遅延や料金低下につながるかという検証が必要です。現段階では、DAは長文脈推論を完全に解決する手法というより、モデルが必要なコンテキストを自ら要求できることを示す研究プロトタイプと見るのが適切でしょう。

出典：Hugging Face Daily Papers