RAGU:7BモデルでGraphRAGの構築コストを下げる新エンジン
導入
GraphRAGは、文書を知識グラフに変換し、エンティティや関係を手がかりに検索することで、LLMにより構造化された根拠を与える手法として注目されている。しかし実装面では、巨大モデルを使った一回限りの抽出に依存し、重複エンティティ、曖昧な関係、ノイズの多いグラフを生みやすい。RAGUはこの問題に対し、「大きな抽出モデル」ではなく「抽出後の整理を含む堅実なパイプライン」で解決しようとするプロジェクトだ。
主要ポイント
- 抽出と統合を分ける設計:RAGUは、LLMに一度だけグラフを生成させるのではなく、二段階の型付き抽出、DBSCANによる重複排除、LLMによる要約、Leiden法によるコミュニティ検出を組み合わせる。これにより、検索に使いやすいクリーンなグラフを作ることを目指している。
- 抽出器に必要なのは主に言語能力:著者らは、GraphRAG内の抽出モデルに求められるのは、文脈理解、情報抽出、局所的な推論であり、膨大な世界知識ではないと主張する。0.5Bから72Bまでのモデルを比較した実験では、言語スキルの伸びはモデルサイズに対して比較的緩やかで、世界知識の伸びほど急ではなかったという。
- Meno-Lite-0.1の役割:Meno-Lite-0.1は、RAG関連の言語タスク向けに微調整された7Bモデルである。報告によれば、知識グラフ構築ではQwen2.5-32Bに対して調和平均で相対12.5%上回り、英語のエンドツーエンドGraphRAGタスクでは同等水準に達している。
- 医療ベンチマークでの結果:GraphRAG-Bench Medicalでは、RAGUが各ファクトイドレベルで最も完全な文脈を検索し、証拠リコールは最大0.84に達したとされる。比較対象は0.76以下だった。また、合成タスクではHippoRAG2を上回り、多段推論QAでの差は回答形式の影響が大きいと説明されている。
- 導入しやすい実装:RAGUは
pip install graph_raguで導入でき、単一GPUで動作するとされる。NetworkXまたはNeo4j、NanoVDBまたはQdrantなどの差し替え可能なバックエンドも用意されている。コードはMITライセンス、モデル重みはApache-2.0で公開されている。
意義と影響
RAGUの示す重要な点は、GraphRAGの品質がモデルサイズだけで決まるわけではないということだ。抽出器が扱うのは、与えられた文書内のエンティティや関係であり、そこでは一般常識や暗記知識よりも、文脈を正確に構造化する能力が重要になる。専用に調整された小型モデルで十分な性能が出るなら、運用コストは大きく下げられる。
また、GraphRAGは「三つ組抽出+ベクトル検索」だけではない。重複排除、要約、コミュニティ検出、ストレージ抽象化といった工程が、最終的な検索品質を左右する。企業内検索、医療文書、専門領域のナレッジベースでは、生成文の流暢さ以上に、根拠をどれだけ漏れなく拾えるかが重要になる。
もちろん、今回の数値は主に著者らが報告したベンチマークに基づくため、別分野や多言語データ、実運用環境での検証は必要だ。それでもRAGUは、オープンソースGraphRAGを高価なAPIや巨大ローカルモデルに依存せず構築するための、現実的な選択肢として注目に値する。
コメント
ログイン状態を確認中…
コメントを読み込み中…