記事一覧へ戻る
AIセーフティ

Anthropicが提案する「フロンティアの減速」 AI競争にブレーキはかけられるか

読了目安 4 分

導入

フロンティアAI企業は、より高性能なモデルを作る競争を自主的に減速させられるのか。Anthropicのダリオ・アモデイCEOは、比較的具体的な提案を示した。ブログ投稿で同氏は「フロンティアのペースを調整する」必要があると述べた。研究開発を停止するのではなく、十分な評価を経ない能力向上の速度を抑え、安全対策や事故対応のための時間を確保するという考え方だ。

OpenAIのサム・アルトマンCEOも賛同し、同社で最近の主要な議論になっていると説明した。イーロン・マスク氏もアモデイ氏の見解を支持している。

提案された三つの方法

アモデイ氏の構想は、主に次の三点からなる。

  • 第三者評価者を社内に置く。 Anthropicは、METRのような外部組織の評価者を受け入れると一方的に約束した。評価者には社員証、机、ノートパソコンが与えられ、法令や契約上の制約を除けば、社内のリスク評価チームにおおむね近いアクセス権を持たせる。安全上の約束が守られているか、事故が適切に報告されているかを確認する役割だ。アルトマン氏もOpenAIが同様の仕組みを導入すると述べた。
  • 民主主義国で共通基準を作る。 主要企業は共通の安全基準を整え、監視されないAI能力の進歩速度について制限を議論すべきだという。競合企業の協調は反トラスト法上の問題になり得るため、米政府が仲介するか、限定的な安全協議に適用できる免除を用意する案も示された。
  • 最低限の国際協力を目指す。 米国と同盟国は、中国を含む他国とも、可能な範囲で協力を試みるべきだとする。包括的な合意が難しくても、AIによる生物兵器の製造や、その支援のような明らかに危険な用途を禁止することは可能かもしれない。

なぜ今なのか

アモデイ氏は、OpenAIとHugging Faceに関係するハッキング事件と、ここ数か月のAI能力の急速な伸びを、慎重論を強めた要因として挙げた。特に、AIが次世代AIシステムの構築を支援する能力を伸ばしている点を重視している。開発サイクルそのものが加速すれば、安全評価が追いつかなくなる可能性があるためだ。

また、Anthropicの研究者ジェイコブ・コクソン氏は、主要企業が大きなリスクを取っているとの懸念から退職した。アモデイ氏の投稿は退職に直接触れていないが、この出来事はフロンティア研究所をめぐる信頼問題を浮き彫りにしている。

意義と論点

提案の意義は、安全性をめぐる抽象的な警告を、監督の仕組みに置き換えようとした点にある。十分な独立性とアクセス権を持つ外部評価者がいれば、企業による自己点検の限界を補える。共通基準は、安全投資を行う企業だけが競争上不利になる状況を和らげる可能性もある。

一方、課題は多い。企業間協調は反トラスト当局の scrutiny を招き得るほか、中国との協力は地政学的競争や技術規制に制約される。少数の大手企業がルールを決めれば、新規参入を難しくする「規制の取り込み」になるとの批判もある。AIの極端な将来リスクを強調するより、偏見、雇用への影響、悪用など既に生じている問題を優先すべきだという意見も根強い。

「フロンティアの減速」は完成した政策ではなく、検証が必要なガバナンスの実験だろう。評価者の独立性、事故報告の透明性、そして約束が一部の大手だけでなく主要な参加者に広く適用されるかが、実効性を左右する。

出典:TechCrunch AI

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
言語だけでは定量推論の基盤にならない:LQMが必要な理由
AIセーフティ
cctest.ai
AIセーフティ

言語だけでは定量推論の基盤にならない:LQMが必要な理由

arXivの論文は、人間による記述を主な学習基盤とするモデルでは、重要な定量情報が不可逆的に失われる可能性があると指摘する。リスク評価や医療などの高影響領域に向け、Large Quantitative Modelというモデル分類を提案した。

続きを読む
CCTest · Blog
テキスト画像モデルの概念忘却に、攻撃テストだけでなく認証が必要な理由
AIセーフティ
cctest.ai
AIセーフティ

テキスト画像モデルの概念忘却に、攻撃テストだけでなく認証が必要な理由

新たな研究は、自動化された敵対的プロンプト探索だけでは、テキスト画像拡散モデルに残る概念漏洩を大幅に過小評価する可能性があると指摘した。研究者は、信頼度を考慮した漏洩上限を示す認証フレームワークを提案している。

続きを読む
CCTest · Blog
Anthropic CEO、最先端AIの開発速度を落とすべきだと提言
AIセーフティ
cctest.ai
AIセーフティ

Anthropic CEO、最先端AIの開発速度を落とすべきだと提言

Anthropicのダリオ・アモデイCEOは、最先端AIの開発を減速させる三段階の計画を示し、METRなど第三者評価機関へのモデルアクセスを広げる方針を明らかにした。背景には、再帰的な自己改善と複数エージェントの予期せぬ協調行動への懸念がある。

続きを読む