Deep Interaction：LLMの推論ミスを直接編集で直す新手法

導入

Chain-of-Thought（CoT）推論の普及により、大規模言語モデルは数学、科学、複数段階の問題解決でより高い能力を示すようになった。一方で、推論の途中に誤りが入った場合の扱いは依然として難しい。多くの場合、ユーザーは回答全体を再生成させるか、次の会話ターンで「この部分が違う」と指摘するしかない。前者は正しい部分まで失う可能性があり、後者はモデルが謝罪しつつも似た誤りを繰り返すことがある。

arXiv論文「Deep Interaction: An Efficient Human-AI Interaction Method for Large Reasoning Models」は、この問題に対して新しいインタラクション方法を提案している。Deep Interaction の基本発想は、誤りを別メッセージで説明するのではなく、モデルが生成した元の推論過程をユーザーが直接編集することだ。その編集済みCoTをシステムが蒸留プロンプトに変換し、モデルを修正済みの推論経路へ導く。

核心ポイント

• 全体再生成ではなく局所修正：従来の再生成では、正しかった推論も一緒に作り直される。Deep Interaction は正しいステップを残し、誤った箇所だけに介入する。
• 元の回答を直接編集：ユーザーは「どこがどう間違っているか」を別の自然言語指示として書くのではなく、推論チェーン上の問題箇所を直接修正する。これにより、訂正内容がより明確になる。
• 編集済みCoTを蒸留プロンプト化：修正後の長い推論をそのまま文脈に戻すのではなく、論文ではそれを distilled prompt に整理し、モデルの後続推論を制御する仕組みを採る。
• STEM推論で効果を報告：著者らは、STEMタスクの推論において、ベースライン手法と比べ訂正成功率が25%以上向上し、トークン使用量が約40%減ったと述べている。

意義と影響

Deep Interaction の重要性は、推論モデルの性能だけでなく、人間がどのようにモデルを修正するかというインターフェース設計にある。複雑な問題では、最終答えの誤りはしばしば一つの中間ステップから生じる。条件の読み違い、式変形のミス、仮定の誤りなどをその場で修正できれば、正しい部分を活かしたまま解答を前進させられる。

これは、LLM製品にとっても示唆が大きい。より大きなモデルや長いコンテキストだけでなく、精密な人間フィードバックを扱える編集型インターフェースが、推論品質とコスト効率を改善する可能性がある。教育、研究支援、工学計算のような場面では、ユーザーは毎回ゼロからの再回答ではなく、修正済みの下書きから続きを求めることが多い。

ただし、提示された概要だけでは、実装の詳細、ユーザーの編集負担、タスクの種類による安定性までは十分に分からない。とはいえ、Deep Interaction は現在の推論型LLM利用における実用的な課題を突いている。訂正とは、常に最初からやり直すことではなく、正しい部分を保ち、誤った部分を直し、より効率よく次へ進むことでもある。

出典：arXiv