オフラインLLMは「答えないべき時」を判断できるのか

導入

工場、車両、遠隔地のゲートウェイなどに生成AIを組み込む場合、通信の有無は単なる速度の問題ではありません。接続できない機器は、いつ回答を控えるか、どの知識を更新するか、更新物をどこまで信頼するかを自分で判断する必要があります。Hugging Face Daily Papersで紹介された研究は、ネットワーク分離下のRaspberry Pi 5で完全ローカルの検索拡張生成を実行し、この問題を検証しました。Qwen2.5の1.5B、3B、7Bモデルを用い、SQuAD 2.0の300問を評価しています。

主な結果

• 検索の確信度と回答可能性は同じではない。 校正済みの検索スコアゲートは、コーパス外の質問をAUROC 0.97で検出しました。しかし、関連する話題ではあるものの答えが存在しない質問では0.68に低下しました。似た文章が検索できても、回答の根拠があるとは限りません。
• 単純な出力検証が役立った。 決定論的なバリデーターは、形式の壊れた出力を明示的な棄権回答に変換しました。報告された実験では正解の損失は観測されませんでした。一方、試したNLIベースの検証器の追加効果は小さいものでした。
• 小型モデルにも効率上の利点がある。 3Bモデルは、正解が検索文に含まれるかという指標で7Bモデルと同じ水準に達し、遅延と推定エネルギーは半分未満でした。ただし、token-F1 0.5を超える頻度は7Bの方が高く、答えを含むことと、より質の高い表現を生成することは別の評価軸です。
• コンテキストを増やせばよいとは限らない。 検索する文章を3件から5件に増やすと、正解率は75%から52%へ低下しました。追加情報がノイズや矛盾を持ち込み、モデルの注意を分散させる可能性があります。
• 暗号検証は高速だが内容は保証しない。 署名付きパックの検証は約4.5ミリ秒でしたが、端末上で文章を埋め込む処理には約29分かかりました。署名とハッシュだけでは、9種類の更新攻撃のうち6種類を受け入れました。単調増加する番号、期限、失効、モデル互換性を加えると、実験対象の9攻撃をすべて拒否できました。

署名が解決しない問題

最も重要な結果は、正しく署名された汚染知識パックが全検証を通過し、30件すべての対象問題で正解を失わせたことです。署名が示すのは、誰が発行したか、途中で改ざんされていないかという出所と完全性です。内容が正しいか、公開前に悪意ある情報が混入していないかまでは証明しません。したがって、発行者側の内容審査、公開前の評価、既知の正常版への復旧が必要になります。

ハードウェア面では、16 GBメモリのPi 5上でモデル、インデックス、サーバーを常駐させた状態で測定されました。クエリ完了時に記録された最大常駐メモリは、1.5Bで約6.3 GiB、3Bで約9.4 GiB、7Bで約13.6 GiBです。初回トークンまでの時間は報告されていないため、結果は安定稼働時の比較であり、より小さな端末で再ロードが発生する場合にはそのまま適用できません。

意味と影響

オフライン生成AIの信頼設計は、署名の有無だけで完結しません。検索ゲートで明白な知識不足を検出し、出力バリデーターで予測可能な動作を確保し、更新検証でロールバックや期限切れ、互換性の問題を防ぐ必要があります。同時に、鍵の保管、信頼ストアの更新、内容の真実性を別々のリスクとして管理するべきです。

この研究は単一のボード、モデル系列、SQuADベースのタスクに限られ、カウンターをリセットできないことや信頼ストアが安全に更新されることなどの前提もあります。それでも、オフラインで動作できることと、事実を判断できることは別だという境界を明確に示しています。 Hugging Face Daily Papers