AISPA：商用AIの「隠れたシステムプロンプト」をユーザー視点で監査

導入

AI アプリの振る舞いは、基盤モデルの性能だけで決まるわけではない。多くの商用サービスでは、開発者が書いたシステムプロンプトが、モデルの役割、拒否すべき場面、機密情報の扱い、優先すべき方針を指定している。ところが、こうした指示は通常ユーザーにも規制当局にも見えず、AI システムの信頼性と説明責任に空白を生んでいる。

論文「AISPA: User-Centric System Prompt Auditing for Large Language Model Applications」は、この見えにくい層を監査対象にしようとする研究だ。提案された AISPA（Artificial Intelligence System Prompt Assurance）は、システムプロンプトを開発内部の設定ではなく、ユーザー利益の観点から検証できる対象として扱う。

主要ポイント

• 細かな単位で監査する：AISPA はプロンプト全体を一括で評価するのではなく、個々の指示に分解し、ユーザーに関係する八つの次元で確認する。
• 商用製品を対象に分析：研究チームは 88 の商用 AI 製品から 3249 件のシステムプロンプト指示を調べ、それぞれを保護的指示または問題のある指示に分類した。
• 設計のばらつきが大きい：組織や製品によってプロンプト設計は大きく異なる。ある組織では 1 製品あたり平均 60 件以上の保護的指示がある一方、別の組織では平均 5 件未満だった。
• 保護は広いが浅い：98.9% の製品には少なくとも一つの保護的指示があった。しかし AISPA の八つの次元すべてをカバーした製品は 24% にとどまる。
• プロンプトは長く、保護的になりつつある：論文は、システムプロンプトが徐々に長くなり、ユーザー保護を意識した指示も増えていると報告している。
• 問題のある指示も残る：約 40% の製品には、ユーザー利益に反する指示が少なくとも一つ含まれていた。保護的指示と問題的指示が同じプロンプト内に併存する例も多い。

意義と影響

AISPA の意義は、AI ガバナンスの焦点を可視的な出力だけでなく、背後の設定にも広げる点にある。モデルの性能や安全ベンチマークだけを見ても、製品がどのような優先順位で動くのか、ユーザーに何を開示し、何を制限するのかは十分に分からない。

この枠組みは、開発者には設計上の抜けを見つける手段を、研究者やユーザーには製品挙動を議論する共通言語を与える。規制の観点でも、システムプロンプトは透明性、標準化、第三者監査を考えるうえで重要な証拠になり得る。

重要なのは、保護的な文言が少し含まれているだけでは十分ではないということだ。どの範囲を守るのか、矛盾なく適用されるのか、ユーザー利益と衝突する隠れた指示がないのかが問われる。AI が仕事や教育、日常生活に深く入り込むほど、システムプロンプトの透明性は避けて通れない課題になる。

出典：Hugging Face Daily Papers