概要
公開後の言語モデルは、通常、重みを固定したまま使われます。性能を改善するには再学習が必要になり、推論時にプロンプトや追加計算を使っても、その工夫がモデルの重みに残るわけではありません。今回の研究は、モデル自身が回答を点検し、重みを直接編集する方法を提案しています。研究チームはこれを「自己書き換え」と名付けました。
主な結果
- モデルが失敗を分析して重みを編集。 実験の27Bモデルには、自身の重み、採点済みの回答、モデルを実行する手段が与えられます。モデルは自分の推論で失敗を診断し、修正を提案します。勾配更新や通常の学習は使いません。
- 未見問題で精度が上昇。 論文によると、1回の編集で、あらかじめ固定されていた未見の490問に対する精度が6.6ポイント向上しました。別のセッションで作られた編集でも、有意な改善が報告されています。
- テストで裏付けられた変更だけを採用。 モデルは自身のテストで支持された場合にだけ編集を提出し、新しい編集は前の編集に置き換わります。最初の8セッションでは、報告された精度が一度も下がらず上昇しました。
- 破損モデルの修復も実験。 モデルは破損した行列を特定し、正常なモデルの対応する重みを参照せず、自分が持つ値で書き換えました。テキストの数学問題だけで見つけた修復方法により、未見の画像ベンチマーク6件で精度が7%から70%に上がり、正常モデルの83%に達したと報告されています。
意義と今後の課題
結果が幅広いタスクや独立した評価で再現されれば、自己書き換えは、プロンプトによる調整と全面的な再学習の間を埋める選択肢になり得ます。推論時の一時的な工夫とは異なり、編集が重みに残るため、著者らは回答ごとの追加推論コストがないと説明しています。また、オープンモデルとGPU 1台で数時間の実行があればよく、学習用の基盤は不要だとしています。
一方、今回の報告だけで、モデルが幅広い状況で安全に自己改善できると結論づけることはできません。提示された情報からは、異なるモデル構造やタスクでの再現性、編集の失敗率、長期的な影響までは判断できません。モデル自身が変更案を作り、その評価にも関わるため、独立したテスト、回帰評価、問題のある変更を元に戻す仕組みが重要です。焦点は、重みを書き換えられるかだけでなく、その変更を検証可能な形で制御できるかにあります。
コメント
ログイン状態を確認中…
コメントを読み込み中…