推論を短縮しても、思考連鎖の信頼性が必ず失われるとは限らない

背景

思考連鎖（CoT）推論は、難しい課題を解くためだけの仕組みではありません。大規模言語モデルがどのように答えへ到達したように見えるのかを、人間が確認する手がかりにもなります。しかし、長い推論を生成すれば推論時のトークン消費や遅延が増えます。そのため、推論の質を保ちながら出力を短くする訓練が注目されています。

一方で、長さへの圧力が強まると、モデルが実際の判断に関わる重要な手順を省略する可能性があります。その結果、流暢ではあっても、モデルの本当の決定過程を忠実に表さない説明が生成されるかもしれません。今回の研究は、この問題が常に起きるのか、また短縮方法によって違いが出るのかを検証しました。

研究方法

研究者は複数のモデルを微調整し、異なる形で推論の長さを制限しました。

• 固定された生成予算：推論出力に共通の上限を設ける。
• 例ごとの長さ目標：各データ例に個別の目標長を設定する。
• グループ相対的な長さ報酬：グループ内の相対比較を通じて短い推論を促す。

評価したのは、二つの性質です。思考連鎖の忠実性は、関連する入力に対するモデルの判断を推論がどの程度反映しているかを示します。監視可能性は、入力に介入して答えが変わったとき、その影響を推論が示したり認めたりできるかを表します。

主な結果

短い推論が必ず説明の価値を失わせる、という単純な結論にはなりませんでした。影響は課題と長さの制御方法によって異なります。ただし、多くの設定で忠実性は低下しました。研究では、その主な理由をモデルの一貫性の低下と説明しています。関連する入力に対する振る舞いが安定しなくなることで、判断と生成された説明の対応が弱くなります。

一方、監視可能性は比較的頑健でした。思考連鎖が大幅に短くなっても、モデルは入力の変更が答えに影響したことを認識し、推論内で言及する場合があります。つまり、説明が完全で安定していることと、外部からの介入を検出できることは別の性質です。

意義

効率的な推論訓練を評価する際、正解率、遅延、トークン削減だけを見るのは不十分です。忠実性と監視可能性は異なる監督能力を捉えるため、分けて測定する必要があります。モデルが入力介入を認められても、最終判断に至った理由を一貫して説明できるとは限りません。

今後は、関連入力間での一貫性に加え、反実仮想的な変更や意図的な入力介入への反応も検証する必要があります。推論の短さを説明品質の直接的な指標とみなすべきではありません。短い思考連鎖は自動的に無価値になるわけではありませんが、効率、観測可能性、真の忠実性を区別することがより重要になります。

出典：Hugging Face Daily Papers