Anthropic、AI安全性を自動改善する研究システムの初期例を公開

2026年8月28日読了目安 3 分

導入

AI安全性の研究では、モデルを評価するだけでなく、モデル自身に改善手法の設計を手伝わせる方向が注目されている。AnthropicフェローのChen Yueh-Han氏らが主導した新しい論文は、その初期的な実例としてAutomated Alignment Researcher（AAR）を紹介した。

AARは、従来のアラインメント研究の流れを一部自動化する。利用可能な文献を検索し、改善策を提案し、その方法でモデルを学習させ、結果を評価する。その後、効果のある方法を残し、うまくいかなかった方法を捨てながら反復する仕組みだ。

10種類のベンチマークで改善。 特定のミスアラインメント行動を測る10個のベンチマークを使ったところ、自動化システムはすべての項目で性能を改善した。全体的な性能を損なったという報告もない。
短い実験を反復。 各手法は約30分間学習に使われ、複数回の反復を通じて評価値を高めていく。効果の低い案を早期に除外できる点が特徴だ。
人間の提案との比較。 論文によれば、最も優れたAARの手法は、平均すると約6時間以内に経験豊富な人間研究者の提案を上回った。また、人間が主導した研究方針がより強い性能につながったわけではないという。
コストにも差がある。 AARのAPI推論コストは1時間あたり約4ドルと見積もられ、人間研究者の約150ドルと比較された。

この成果は、AIがすでに完全な自律型安全性研究者になったことを意味しない。より限定的には、目標が明確なベンチマークで定義され、関連文献が存在する場合、アラインメントの追加学習の一部を自動化できる可能性を示している。

この仕組みが発展すれば、安全性に関する実験をより速く、低コストで繰り返せるようになるかもしれない。モデルが自分の安全性訓練に使われる手法を改善できれば、将来的には訓練全体の改善へ広がる可能性もある。そのため、今回の研究は再帰的な自己改善という大きな議論とも関係する。

ただし、システムが最適化するのは、あくまで人間が測定する指標だ。ベンチマークが重要な失敗を見落としていたり、現実の安全目標を十分に表していなかったりすれば、スコア上昇は実質的な安全性向上を意味しない。ベンチマークの設計・維持・拡張と、参照文献の品質管理は依然として重要である。

したがってAARは、自律的な科学者というより、文献検索、仮説生成、学習、選別をつなぐ研究インフラの初期形態と見るのが適切だ。人間は目標を定め、評価の弱点を確認し、ベンチマークの改善が現実の安全性につながっているかを検証する必要がある。