継続適応で旧来の挙動を守るCABA、更新幅をアンカーで制御

継続適応に必要な「更新前の検査」

継続適応の課題は、新しいデータに合わせてモデルを更新することだけではない。更新後に、保護したい過去の挙動まで変わってしまう可能性があるからだ。センサーシステムや長期間稼働するエージェントでは、現在のタスクでの改善が、以前の能力の低下と引き換えになることがある。研究論文「Certified Behavioral Retention for Continual Adaptation with Held-Out Anchors」は、この更新を適用するかどうかを確認する仕組みとして、Certified Anchor-Based Adaptation（CABA）を提案している。

CABAの仕組み

CABAは、候補モデルを作る学習アルゴリズムを限定しない、更新後のゲートである。候補更新の最適化に使わない過去の観測をあらかじめ確保し、それを行動保持のアンカーとして利用する。手順の要点は次の通りだ。

• 過去の観測の一部を候補更新から除外する
• 固定した表現上で、旧方策と候補方策の出力分布を比較する
• アンカー上での最悪の前向きKLダイバージェンスを測る
• あらかじめ試した補間係数のうち、宣言した予算を超えない最大値を採用する

この有限な検査には、行動ラベルも完全な軌跡も必須ではない。ただし、候補生成器が比較可能な方策分布を提供し、更新経路と許容する行動変化の予算が定義されていることが前提となる。

認証が保証する範囲

論文の重要な点は、アンカー上で直接測定した保持結果と、アンカー外への保証を分けていることだ。観測されたアンカー上の差は有限データから得られる。一方、保護対象の支持集合全体で一様な行動差の上限を導くには、表現がその集合を十分にカバーしていることや、方策にLipschitz型の正則性があることなど、追加の仮定が必要になる。

著者らは、アフィンなソフトマックスヘッドの正則性、確率的なカバレッジと圧縮、補間の単調性、グリッド解像度、軌跡レベルおよび逐次合成に関する保証を検討している。つまり、アンカー検査だけで未知の入力における変化が完全にないと主張するのではなく、観測可能な証拠と条件付きの外挿を明確に区別している。

忘却を抑える代わりに適応性を失う

評価には、非定常なセンサー方策の代理としてUCI Human Activity Recognitionが使われた。予算ε=0.05では、制約のない適応で1.01%だった平均忘却が0.00%になった。一方、最終平均精度は93.04%から88.48%へ低下した。

この結果は、CABAが常に精度を高めるという意味ではない。旧挙動の変化を厳しく制限するほど、新タスクへ移動する余地は小さくなる。逆に予算を広げれば、適応性は高まる可能性があるが、行動ドリフトも許容することになる。

意義と限界

CABAは、候補更新の生成と本番投入の間に、ログを残せる監査可能なチェックポイントを置く。保持の判定を事前に決めた予算と照合できる点は、長期運用システムにとって実務的だ。ただし、アンカーの代表性、表現のカバレッジ、予算設定、新タスクでの有用性評価は別途必要である。今回の実験は管理された代理評価であり、基盤モデルやロボットでの性能を示すものではない。

出典：arXiv