동결된 의료 AI를 진화시키는 FMEE, 배포 경험으로 지속 학습

들어가며

의료 AI 모델은 배포 이후 가중치를 고정한 채 사용되는 경우가 많습니다. 하지만 임상 근거, 진료 지침, 치료법은 계속 바뀝니다. 파인튜닝은 모델을 갱신할 수 있지만 가중치 접근 권한과 추가 학습 데이터, 별도의 훈련 과정이 필요합니다. 반대로 파라미터를 건드리지 않는 방법은 비용이 낮지만 고정된 검증 세트에 과적합되거나, 신뢰할 만한 도메인 지식이 부족하고, 이미지 경험을 텍스트로만 저장하면서 중요한 시각 정보를 잃을 수 있습니다.

논문 Frozen Models, Evolving Expertise는 동결된 언어 모델과 비전-언어 모델이 배포 과정의 사례에서 학습하도록 돕는 FMEE（Frozen Models, Evolving Expertise） 프레임워크를 제안합니다.

핵심 구성

• 가중치 대신 외부 전문 지식을 업데이트한다. FMEE는 기반 모델을 재훈련하지 않고 외부 자원을 갱신합니다. 따라서 오픈 웨이트 모델과 폐쇄형 모델 모두에 적용할 수 있는 모델 불가지론적 구조를 지향합니다.
• Skill은 작업 절차를 관리한다. Skill은 추론 순서와 도구 사용법을 자연어로 표현한 절차입니다. 사례 배치를 처리한 뒤 관찰된 결과를 바탕으로 절차를 다시 작성할 수 있습니다.
• Knowledge Memory는 검증 가능한 사실을 저장한다. 과거 사례나 PubMed 같은 신뢰할 수 있는 출처에 근거한 재사용 가능한 정보를 보관합니다. 단순히 모델의 과거 답변을 쌓아두는 방식과는 구별됩니다.
• MMKB는 시각적 경험을 보존한다. 멀티모달 지식 베이스에는 출처 답변이 포함된 시각 사례가 저장됩니다. 검색된 사례를 현재 이미지와 비교하도록 모델을 유도해, 이미지와 근거 사이의 관계를 유지합니다.
• 새 사례와 과거 사례를 함께 검증한다. 평가된 실행 궤적을 바탕으로 최적화기가 업데이트를 제안하고, 새 사례에서 개선되면서 과거 사례의 성능을 저하시키지 않는 경우에만 이를 유지합니다.

의미와 한계

평가는 임상 진단, 임상 워크플로, 의료 추론, 의료 및 비의료 시각 추론을 포함한 6개 벤치마크에서 진행됐으며, 4개의 오픈 웨이트 또는 폐쇄형 기반 모델이 사용됐습니다. 논문 요약에 따르면 FMEE는 의료 과제에서 기반 모델 대비 최대 34.2%의 성능 향상을 보였습니다.

FMEE의 핵심 의미는 전통적인 파인튜닝과 정적인 프롬프트 사이에 있는 운영 방식을 제시했다는 데 있습니다. 모델 파라미터는 그대로 두고, 추론 절차와 사실 지식, 시각 사례를 둘러싼 외부 계층을 계속 발전시키는 것입니다. 지식과 참조 사례의 출처를 함께 관리할 수 있다면 배포 이후 결과를 추적하는 데도 도움이 될 수 있습니다.

다만 이 방식이 의료 AI의 위험을 자동으로 해결하는 것은 아닙니다. 메모리의 품질, 검색 오류, 잘못된 지식의 누적, 불완전한 검증은 후속 판단에 영향을 줄 수 있습니다. 새 사례와 과거 사례를 함께 보는 검증은 성능 퇴화를 줄이기 위한 장치지만, 임상 전문가 검토와 안전성 평가를 대신할 수는 없습니다. FMEE는 모델 자체를 영구적으로 재학습시키는 방법이라기보다, 동결된 모델이 축적된 경험에 통제된 방식으로 접근하게 하는 시스템 프레임워크로 보는 편이 정확합니다.

출처: Hugging Face Daily Papers