大規模言語モデルの「指示容量」を測る：負荷による劣化の定量化

導入

言語モデルは、与える指示が増えるほど指示追従の品質を失いやすい。しかし、「何個の指示まで処理できるのか」をモデル間で比較できる単一の尺度は、これまで簡単には定められなかった。実際の指示は複雑さが異なり、互いに影響し合うことも多いためである。論文「Instruction Capacity: Behavior and Degradation of Language Models under Controlled Load」は、この問題を制御された実験として測定するための手法を提案している。

指示を数えられる負荷に変える

研究で使われる負荷は、意味を持たないテキストと、複数の単語置換ルールから構成される。各ルールは1つの単語を別の単語へ置き換えるだけの原子的な指示であり、ルール同士は設計上独立している。そのため、複雑な意味理解や指示間の衝突解決ではなく、ルールを保持し、適切な位置で適用できるかを調べられる。

期待される出力はプログラムで計算できる。各置換について、正しい位置と対応するルール番号があらかじめ分かるため、成功または失敗するベルヌーイ試行として扱える。全体の回答を主観的に採点するのではなく、負荷の条件ごとに1回の置換が正しく実行される確率を推定する仕組みだ。

観測された規則性

分析では、指示の個数だけでなく、複数の要因を分けて調べている。

• ルール数が増えたときの正答率は、ルール数の対数に対して規則的な変化を示す。
• 置換密度を高めると正答率は飽和し、最終的には回答全体の崩壊につながる。
• ルール一覧の中での位置には効果があり、その変化はべき乗則で表現される。
• テキスト長と、回答中で置換が行われる位置は独立した制約ではなく、相互作用する。
• 回答全体の劣化には固有の規則性があり、単なる指示数よりも、テキストの負荷と生成の進行に関係する。

GPT-4o mini の測定では、2958件のリクエストと642430回の置換試行が分析された。研究者は各依存関係を滑らかな法則で近似し、指定した正しい置換率を維持できるルール数を「指示容量」と定義した。さらに、容量を単一のしきい値ではなく、不確実性付きで報告している。正しい置換の割合を0.95とした場合、容量はおよそ37〜38規則だった。一方、置換密度が完全な条件では、およそ18〜19規則まで低下した。

意義と限界

この研究の重要性は、「指示が多すぎると失敗する」という一般的な印象を、負荷の単位と統計モデルを備えた再現可能な測定問題に変えた点にある。モデル比較、プロンプトの整理、あるいはエージェントの仕事を複数の小さなタスクへ分割する判断に、将来的な評価軸を与える可能性がある。

ただし、この数値は汎用的な知能や推論能力、現実の業務における指示上限を直接示すものではない。符号化の方法、テキストの分布、指示の種類が変われば結果も変わり得る。データセット、測定器の説明、コードは公開されており、報告された数値を公開データから再計算できる点は、追試と批判的検証にとって大きい。

出典：Hugging Face Daily Papers