解けても理解しているとは限らない：推論モデルの体系性を検証

導入

推論モデルは、複雑な指示に対して正しい答えを返す能力を急速に高めている。しかし、ある問題に正解できることと、その問題の背後にある構造を理解していることは同じではない。Princeton University の Simon Schug 氏と Brenden M. Lake 氏による論文「Thought without systematicity? Evaluating reasoning models on rule induction tasks」は、この違いを規則帰納課題によって検証した。

研究の中心にあるのは、認知科学で重視されてきた「体系性（systematicity）」である。ある概念を理解しているなら、対象や記号、組み合わせ方が変わっても、構造的に近い概念を理解できるはずだという考え方だ。AIにとっては、表面的なパターンへの依存ではなく、学習した規則を新しい状況へ適用できるかを測る指標になる。

主なポイント

• 規則帰納課題を利用。 研究では、認知科学で規則の発見や適用を調べるために使われてきた課題群を、推論モデルの評価に応用した。
• 構造を保った変種を作成。 各課題には組み合わせ構造があり、研究者はタスク同型性を利用して、要素の再結合や記号・対象の置換による変形課題を生成した。
• 元の課題の正解が再現されない。 モデルは元の課題を正しく解けても、構造的に同値な変種では失敗する場合が多かった。これは、正解が常に規則の再利用可能な表現を意味するわけではないことを示す。
• 単一形式の評価には限界。 一部の表現や配置だけを使うベンチマークでは、モデルが見慣れた表面パターンを利用し、能力が実際より高く見える可能性がある。

意義と影響

この研究は、推論モデルがまったく推論できないと主張しているわけではない。むしろ、より厳しい評価基準を示している。課題の構造が変わっていないなら、再結合や置換があっても性能は安定すべきだという基準である。

評価設計では、単一の問題文に対する正解率だけでなく、構造的に同値な複数の変種に対する一貫性を測る必要がある。モデル開発では、体系的に変化させた訓練例を増やすこと、同値な課題間の一貫性を学習目標に組み込むこと、総合正解率と転移性能を分けて報告することが考えられる。

より広い意味では、長い思考過程や正しい最終回答だけで、頑健な認知能力が証明されるわけではない。同じ規則を、未見ではあるが構造的に同じ状況へ適用できて初めて、特定ベンチマークを超えた能力だと評価しやすくなる。体系性は、構成的な一般化と表面的なパターン適合を区別するための重要な観点になりそうだ。

出典：Hugging Face Daily Papers