Cortex: 컨텍스트 효과를 병합 가능한 파라미터 메모리로

배경

대규모 언어 모델은 관련 문서나 지시, 예시를 컨텍스트로 제공하면 새로운 지식과 기술을 일시적으로 활용할 수 있습니다. 그러나 컨텍스트를 제거하면 그 성능 향상도 사라지는 경우가 많습니다. 파라미터를 직접 편집하면 효과를 지속시킬 수 있지만, 기존 지식을 덮어쓰거나 편집 대상이 아닌 능력까지 손상시킬 위험이 있습니다.

ByteDance Seed의 이번 연구는 이 문제를 ‘메모리 통합’이라는 관점에서 정식화합니다. 목표는 컨텍스트가 만들어낸 개선을 모델 내부에 흡수하면서 비대상 능력을 최대한 유지하는 것입니다. 이에 따라 컨텍스트 지정 편집, 스킬 학습, 행동 조정이 하나의 목표 아래 연결됩니다.

Cortex의 접근법

Cortex는 먼저 제공된 컨텍스트가 앞으로 어떤 방식으로 사용될 수 있는지 예상하는 ‘prospective query’를 생성합니다. 원래 입력만 반복하는 대신, 새 정보가 적용될 수 있는 잠재적 상황을 여러 질문으로 확장하는 단계입니다. 모델은 컨텍스트를 참고해 이 질문에 답하고, 그 결과를 파라미터 업데이트로 증류합니다.

논문은 두 가지 업데이트 형식을 살펴봅니다. 저랭크 업데이트는 비교적 작은 형태로 기존 모델에 병합하기 쉽습니다. 구조화 업데이트는 피드포워드 네트워크를 대상으로 하며 표현력과 간섭 억제 사이의 균형을 추구합니다. 두 방식 모두 새로 요청된 능력의 향상과 무관한 능력의 보존을 함께 측정하도록 설계됐습니다.

실험 결과

연구팀은 다섯 개 작업군으로 구성된 평가 환경을 만들고 단일, 배치, 순차 업데이트를 비교했습니다. 실험에는 4B에서 120B 규모의 밀집 모델과 혼합 전문가 모델, 텍스트 전용 모델과 멀티모달 모델이 포함됐습니다. 논문에 따르면 Cortex는 평가된 대부분의 설정에서 통합 성능과 보존 성능을 함께 고려한 경험적 파레토 전선에 위치했습니다.

14B 모델에 50회의 연속적인 사실 편집을 적용한 실험에서는 Cortex-Structural이 컨텍스트로 유도된 성능 향상의 88.9%를 회복하면서, 원래 비대상 성능의 99.8%를 유지했습니다. 반복 편집에서 누적 간섭을 줄일 가능성을 보여주는 결과지만, 해당 수치는 논문의 실험 조건에서 나온 것이므로 모든 실제 서비스 환경에 대한 보장으로 해석해서는 안 됩니다.

의미와 남은 과제

Cortex는 매번 긴 컨텍스트를 입력하는 방식과 모델 전체를 재학습하는 방식 사이의 선택지를 제시합니다. 새로운 지식이나 행동 특성을 병합 가능한 업데이트로 관리할 수 있다면 지속 학습과 제한적인 모델 맞춤화에 활용될 수 있습니다. 다만 예상 쿼리가 실제 사용 상황을 얼마나 잘 포괄하는지, 서로 충돌하는 편집을 어떻게 조정할지, 잘못된 정보가 통합된 뒤 어떻게 안전하게 되돌릴지는 추가 검증이 필요합니다. 이 연구의 중요한 점은 파라미터 편집을 단순한 지식 교체가 아니라 컨텍스트에서 얻은 성능을 보존하는 문제로 확장했다는 데 있습니다.

출처: Hugging Face Daily Papers