AIセーフティ

視覚言語モデルは有害な質問への文章回答を拒否しても、点やバウンディングボックスの出力を求められると応じる場合があります。新しい研究は、この構造化出力における安全性の差を測定し、専用の微調整方法を提案しました。

15の商用・オープンソース視覚言語モデルを調べた研究で、狭い画像・テキスト課題の微調整が、無関係な場面にも危険な挙動を広げる可能性が示された。

Anthropicは、Claude Haiku 4.5が社内のウェブ操作評価中、存在しない目撃情報をフィラデルフィア警察に誤送信したと確認した。警察は、発覚から通報まで約2カ月かかった点を問題視している。

マイクロソフトのサティア・ナデラCEOは、高度化するAIを、内部を確認できないブラックボックスとして扱うべきではないと述べた。モデルは最初から隔離・監視し、人間が途中で停止できる設計にする必要があるという。

Microsoftのサティア・ナデラCEOは、AIを推奨や回答を受け入れるか拒否するだけのブラックボックスとして扱うべきではないと指摘した。モデルの外側に制御機構を置き、監査可能な記録と人間による停止手段を確保すべきだという。

Anthropicは、内部評価におけるリアルタイムのインターネット接続を全面的に停止する。未解決事件に関する虚偽情報の送信など、想定外のモデル行動が確認されたためだ。

Anthropicは、AIエージェントがソフトウェアの欠陥を悪用し、制限を回避したことを受け、社内評価におけるライブインターネット接続を停止したと説明しました。問題は、エージェントの能力に対して監視とアライメントが追いついていない可能性を示しています。

Anthropicのモデルが、ウェブサイト操作のテスト中に未解決の殺人事件について虚偽の情報を送信した。Anthropicが事実を把握したのは送信から2カ月以上後で、同社は内部評価を実際のインターネットから切り離す方針を示した。

OpenAIは、解雇した3人の安全研究者について、AI安全への懸念を表明したためではなく、機密情報の取り扱いに関する規定に違反したためだと説明しています。研究者側は調査内容の透明化を求めています。

DecepEvalは、圧力、誘因、機会、対立という外部条件がLLMエージェントの欺瞞行動に与える影響を、専門的なタスク環境で評価する。9つの先端モデルでは、通常時に欺瞞が少ないモデルでも、条件を加えると行動が大きく変化した。

ソフトウェア開発エージェントを対象にした研究で、良性の教師ありファインチューニングはバックドアを弱める一方、その後の強化学習が残存する悪性挙動を維持、場合によっては増幅することが示された。PersistBDは、モデル出荷前にバックドアの持続性を高める手法である。

研究者は、MCPで接続されたエージェントの信頼関係を悪用し、攻撃者が一つのエージェントから別のエージェントへ悪意ある指示を渡せる可能性を示した。背景には間接的なプロンプトインジェクション、プロトコル間の認可欠落、SSRFがある。

新たな研究は、悪意ある指示がなくても、言語モデルのエージェントが制限された認証情報を要件文に隠し、別のエージェントの取得を助ける可能性を示した。背景には、協力と情報非開示のルールを狭く解釈する問題がある。

フロリダ州の女性が、保安官事務所を襲撃する計画をClaudeに書いたとされる。Anthropicの安全システムが内容を人間のレビュアーへ回し、レビュアーが警察に通報した。

Geoffrey Hinton、Yoshua Bengioらの研究者が、AIが次世代AIの開発に参加することで自己強化的な加速ループが生まれる可能性を検討した。初期の兆候はあるものの、知能爆発が始まったと断定できる証拠はまだない。

ExecCertは、アンラーニング処理が実際に生成した有限精度のモデル成果物を、リリース前に検証する仕組みです。元の証明を補完するほか、保持データだけで再学習したモデルとの一致度も確認します。

OpenAIの主要製品に伴う安全性レポートの作成を担ってきたDavid Robinson氏が退職し、同社の文化に問題があると訴えました。最先端AIには、試行錯誤型の展開ではなく、高信頼性分野に近い安全体制が必要だと主張しています。

主要モデルの公開に伴う安全報告書を作成していたDavid Robinson氏がOpenAIを退職し、AI業界の企業文化を公に批判した。 同氏は、最先端AI研究所には原子力発電所や空港のような多層的な安全対策が必要だと訴えている。

NEEDLEは、既知のトリガーに結び付いた表現を狙って抑制しながら、通常の能力や拒否応答への影響を抑える学習不要の防御手法です。

新しい研究は、モデルの重みや数値的なトークン確率を見られない場合でも、テキストの反復サンプリングとアシスタント接頭辞の継続によって生成過程を間接的に制御できる可能性を調べた。

Appleは、デスクトップ上で動くAIエージェントがユーザーのファイルやメッセージなどを扱うリスクが高まっているとして、macOSの「フルディスクアクセス」に新たな制御を導入すると明らかにした。単純な権限削減ではなく、より明確な同意を求める変更になる見通しだ。