AIセーフティ

Hugging Faceは、同社の本番インフラの一部に対する侵入を公表し、その攻撃が自律型AIエージェントシステムによって実行されたと説明した。入口はデータセット処理パイプラインであり、AI基盤の攻撃面が広がっていることを示す事例だ。

arXiv の論文は、AI 搭載システムのペネトレーションテストでは、インフラ侵害だけでなく、攻撃者が AI の行動を誘導して運用目標を破らせられるかを評価すべきだと提案している。

arXiv の新論文は、監査対象の選び方そのものが内部告発者の手がかりになり得る問題を形式化した。著者らは、継続的カウントに基づく私的監査メカニズムを提案している。

arXiv の新論文は、LLM ベースのネットワーク侵入検知に可証明なロバスト性を与える TA-RS を提案している。特徴量全体ではなく、攻撃者が直接操作できるトラフィック特徴だけにガウスノイズを注入する点が特徴だ。

arXiv 論文は、異なる実行環境に散らばるエージェントの操作記録を、標準化された行動オブジェクトへ変換する CAVA を提案している。狙いは、承認・実行証拠・事後検証が同じ行動を指していることを確認できるようにすることだ。

OpenAIは、プロンプトインジェクションなどの脆弱性を大規模に見つける内部向け自動レッドチームモデル GPT-Red を公開した。自己対戦型の強化学習により、攻撃と防御を同時に進化させる仕組みだ。