CABA, 앵커 데이터로 지속적 적응의 업데이트 폭을 제어한다

지속적 적응에는 업데이트 승인 절차가 필요하다

지속적 적응의 목표는 새로운 데이터에 맞춰 모델을 바꾸는 데서 끝나지 않는다. 업데이트 이후에도 보호해야 할 기존 행동이 유지되는지가 중요하다. 센서 시스템이나 장기간 실행되는 에이전트에서는 현재 과제의 성능 향상이 과거 능력의 약화로 이어질 수 있다. 논문 Certified Behavioral Retention for Continual Adaptation with Held-Out Anchors는 후보 업데이트를 실제로 적용할지 결정하는 방법으로 Certified Anchor-Based Adaptation, 즉 CABA를 제안한다.

CABA는 어떻게 작동하나

CABA는 특정 후보 생성 알고리즘을 요구하지 않는 업데이트 후 게이트다. 후보 모델을 최적화하기 전에 과거 관측 일부를 따로 보관하고, 이를 행동 보존을 확인하는 앵커로 사용한다. 핵심 절차는 다음과 같다.

• 과거 관측 일부를 후보 업데이트의 최적화에서 제외한다.
• 고정된 표현 공간에서 기존 정책과 후보 정책의 출력 분포를 비교한다.
• 앵커에서 측정한 최악의 전방 KL 발산을 행동 변화의 지표로 삼는다.
• 미리 시험한 보간 계수 중 선언된 예산을 넘지 않는 가장 큰 값을 선택한다.

이 유한한 검사는 행동 라벨이나 완전한 궤적을 요구하지 않는다. 따라서 과거 라벨이 없거나 전체 상호작용 기록을 보관하기 어려운 환경에서도 활용 가능성이 있다. 다만 후보 생성기가 비교 가능한 정책 분포를 제공하고, 업데이트 경로와 허용 가능한 행동 변화 예산이 정의되어 있어야 한다.

인증의 범위와 조건

이 논문의 중요한 특징은 앵커에서 직접 측정한 보존 결과와 앵커 밖에 대한 보장을 구분한 점이다. 앵커 데이터에서 관찰된 차이는 직접적인 측정값이다. 반면 보호 대상 지원 영역 전체에 대해 균일한 행동 차이의 상한을 주장하려면, 표현 공간이 해당 영역을 충분히 포괄한다는 조건과 정책이 일정한 Lipschitz형 정규성을 가진다는 조건 등이 필요하다.

저자들은 아핀 소프트맥스 헤드의 정규성, 확률적 커버리지와 압축, 보간 단조성, 그리드 해상도, 궤적 수준 및 순차적 결합에 대한 이론적 결과를 제시한다. 이는 소수의 앵커만 확인하고 보지 못한 모든 입력에서 행동 변화가 없다고 말하는 접근과 다르다. 측정 가능한 보존 증거와 추가 가정에 의존하는 외삽을 분리하는 것이다.

망각 감소와 적응성 사이의 비용

평가는 비정상 센서 정책을 모사하기 위해 UCI Human Activity Recognition을 사용했다. 행동 변화 예산 ε=0.05에서 CABA는 제약 없는 적응의 평균 망각을 1.01%에서 0.00%로 낮췄다. 그러나 최종 평균 정확도는 93.04%에서 88.48%로 떨어졌다.

이 결과는 CABA가 모든 상황에서 정확도를 높인다는 뜻이 아니다. 기존 행동의 변화를 엄격히 제한할수록 후보 모델이 새로운 과제에 맞게 이동할 여지가 줄어든다. 반대로 더 큰 예산은 적응성을 높일 수 있지만, 더 큰 행동 드리프트도 허용한다.

의미와 한계

CABA는 후보 모델 생성과 배포 승인 사이에 기록과 감사가 가능한 점검 단계를 추가한다. 업데이트가 사전에 정한 행동 예산을 넘었는지 확인할 수 있다는 점은 장기 운영 시스템에서 실무적 가치가 있다. 그러나 앵커의 대표성, 표현 커버리지, 예산 설정, 현재 과제의 유용성 평가는 별도로 검증해야 한다. 이번 실험은 통제된 대리 평가이며, 파운데이션 모델이나 로봇 시스템의 성능을 입증한 것은 아니다.

출처: arXiv