Anthropic、AIの再帰的自己改善に近づいている可能性を警告

導入

AIが自分自身の改良に関与できるようになる時期をめぐる議論は、抽象的な未来予測から企業のリスク開示へ移りつつある。Anthropicは改訂版S-1/Aのリスク要因で、研究開発にAIを使うほど、モデルの能力向上が安全性、アラインメント、セキュリティ対策の整備を上回る可能性があると説明した。進歩の加速が起きた後になって初めて、それに気づくリスクも認めている。

主なポイント

• RSIとは何か。 再帰的自己改善（RSI）は、AIがAIシステムの訓練、評価、改良に十分な能力を持ち、AIの進歩を大幅に加速させる状態を指す。業界全体で合意された単一の判定基準はまだない。
• 閾値が近い可能性。 提出書類によると、AnthropicはすでにAIを新モデルの開発に利用しており、過去にはそこから生じた能力の飛躍を当時認識できなかった可能性がある。同社の内部推計と将来モデルへの見通しでは、責任あるスケーリング方針における「AIに起因する進歩の大幅な加速」の定義に近づいているという。
• 現時点での達成宣言ではない。 Anthropicは、現在のモデルのいずれもRSIの閾値を超えたとは指定していない。データの評価も継続中であり、「近い」という表現は将来リスクの見積もりである。
• 人間の関与を維持する。 同社は、意味のある人間の監督や理解なしに、Claudeが後続のフロンティアモデルを完全自律で設計・構築することを安全に実施できるとは考えていない。人間が開発を制御できるよう、方針の更新も検討している。

意味と影響

RSIには二つの見方がある。肯定的な見方では、AIがAI開発を支援することで、ソフトウェア開発、科学的発見、生産性が速く進む。安全性の観点では、能力の向上サイクルが急加速すると、評価、アラインメント、ガバナンスが追いつかなくなる恐れがある。

この発言は、上場申請書という文脈でも読む必要がある。S-1は規制当局への開示であると同時に、投資家に向けた企業の説明でもあるため、「自己改善AIに近い」という主張を独立検証済みの技術的結論と受け取るべきではない。ただしAnthropicは、コーディング、数学、サイバーセキュリティ分野でClaudeの能力が大きく伸びたとも述べており、警告を単なる宣伝として片づけるのも早計だ。

実務上の焦点は、RSIが到来したかではなく、開発が加速する前に監視、評価、権限管理、停止手順を整えられるかにある。モデルが後継モデルの設計に深く関与するなら、解釈可能性、アクセス境界、責任の所在が重要なガバナンス課題になる。安全方針は、閾値を超えた後ではなく、その前に準備されなければならない。

出典：TechCrunch AI