検索なしで文書に答えるモデルへ――IARが示す3段階の知識内在化

背景

企業の規程、技術文書、限定された知識ベースについて質問に答える場合、一般的には検索拡張生成（RAG）が使われる。しかし推論時に検索した抜粋をモデルへ渡せない場合、モデルは文書の内容をパラメータの中から取り出さなければならない。論文「Inject, Align, Recover」は、この状況を文書知識の内在化として扱い、固定コーパスを検索なしのQAに利用できる知識へ変換する方法を検討している。

ここで重要なのは、文書を学習で見せることと、質問されたときに正しく答えられることは同じではない点だ。文書の情報がある程度モデルに取り込まれていても、QA形式で呼び出せない可能性がある。一方、ドメイン向けの微調整を強く行えば、文書QAは改善しても、指示追従などの汎用能力が損なわれることがある。

IARの3段階

IARは、こうした役割を次のように分ける。

• Inject（注入）：文書を継続生成、書き換え、指示条件付き再構成の課題へ変換する。単純なQA例だけでなく、複数の形式で文書内容に触れさせる。
• Align（整合）：知識を注入したモデルに対し、答えだけを対象とするQA教師信号を与える。内在化された情報を質問に応じて出力する行動を学ばせる段階だ。
• Recover（回復）：ドメイン適応後のチェックポイントと、元の指示モデルを統合する。専門化の過程で低下した可能性のある汎用能力を取り戻すことを狙う。

つまり、文書知識への曝露、知識の呼び出し、能力の保持を一度の微調整に押し込めず、段階ごとに扱う設計である。

実験結果の読み方

評価対象はCommon CorpusとCCIの2コーパス、そしてLlama、Phi、Qwen、SmolLMの4モデル系列だ。Vanilla SFTとの比較では、8つのデータセット・モデル設定のうち7設定で、報告された4指標すべてが改善した。平均では、ドメインQA精度が3.6ポイント向上し、IFEval、MMLU、MSBenchによる汎用性能の平均は12.1ポイント改善したと報告されている。

ただし、IARがすべての個別指標で常に最高だったという意味ではない。Common Corpusの拡張比較では、LoRAやFAPMが特定の汎用指標で上回る場合もある。それでも、文書内在化の性能を高水準に保ちながら汎用性能とのバランスを見ると、IARは有力な選択肢の一つに位置付けられる。

意義と注意点

この研究は、文書の曝露、QAとしての利用可能性、汎用能力の保持を別々に測定・最適化すべきだという評価の視点を示す。文書が比較的固定され、推論時の検索コストを避けたい場面では、RAGとは異なる設計の候補になり得る。

一方、知識をパラメータへ埋め込むと、情報の更新、出典の追跡、誤りの修正は外部検索より難しくなり得る。今回の結果も、対象コーパス、モデル、ベースライン、評価方法に依存する。したがってIARは、RAGを一律に置き換える手法というより、検索なしの知識獲得を段階的に検証する枠組みとして捉えるのが適切だ。

出典：Hugging Face Daily Papers