MMedAgent-Plus, 18개 의료 전문 모델을 조율하는 멀티모달 에이전트

들어가며

의료 AI의 실제 활용은 하나의 예측으로 끝나지 않는 경우가 많다. 영상 분석을 먼저 수행하고, 중간 결과를 다른 전문 모델에 전달한 뒤, 여러 소견을 종합해 질문에 답해야 할 수 있다. 범용 모델이 이미지와 텍스트를 모두 처리하더라도 어떤 도구를 언제 사용해야 하는지, 호출 순서를 어떻게 정할지, 각 도구의 결과를 어떻게 보존할지를 안정적으로 판단한다는 보장은 없다.

MMedAgent-Plus는 이 조정 문제를 멀티모달 의료 에이전트로 다룬다. 비전-언어 플래너를 중심에 두고 통합 도구 인터페이스로 여러 전문 모델을 연결한다. 플래너는 필요한 도구를 선택하고 순서대로 실행하며, 중간 결과를 근거로 최종 답변을 생성한다.

핵심 내용

• 넓은 전문 영역을 지원한다. 18개 전문 모델이 12개 의료 작업과 8개 모달리티를 다룬다. CT, MRI, X선, 초음파, 망막 안저 이미지, 망막 OCT, 병리 이미지 등이 포함된다.
• 도구 조율을 직접 학습한다. 연구진은 32개 공개 의료 벤치마크에서 208,928개의 지시 튜닝 샘플을 구성했다. 단일 도구와 다중 도구, 단일 라운드와 다중 라운드 상호작용을 포함해 직접 답변뿐 아니라 작업 흐름 계획도 학습하도록 했다.
• 능력을 분리해 평가한다. 도구 호출, 도구 결과의 답변 종합, 도구 결과를 미리 주지 않는 엔드투엔드 실행을 별도로 측정했다. 이를 통해 플래닝 오류와 전문 모델 또는 최종 답변의 오류를 구분할 수 있다.
• 도구 호출 성능이 높다. 단일 도구·다중 라운드에서는 91.0%, 다중 도구·다중 라운드에서는 98.1%, 다중 도구·단일 라운드에서는 80.7%의 호출 정확도를 기록했다. 7개 작업, 350개 사례의 엔드투엔드 평가에서는 필요한 전문 모델을 90.6%의 비율로 올바르게 호출했다.
• 정확한 도구 출력을 전제로 높은 종합 품질을 보였다. 올바른 전문 모델 출력이 제공된 600개 샘플에서 충실성, 완전성, 간결성 점수는 15점 만점에 14.4~14.8점이었다. 의료 질의응답 평가의 최종 정확도는 0.98이었지만, 이를 모든 임상 환경의 진단 능력으로 확대 해석해서는 안 된다.

의미와 한계

이 연구의 핵심은 단일 의료 모델을 추가하는 데 있지 않다. 서로 다른 전문 모델을 재사용 가능한 작업 흐름으로 묶었다는 점이 중요하다. 전문 모델은 각자의 영역별 강점을 유지하고, 에이전트는 작업 분해, 라우팅, 실행 순서 결정, 근거 기반 종합을 담당한다. 이는 의료 AI의 경쟁 기준을 개별 벤치마크 점수에서 여러 모델을 안정적인 시스템으로 운영할 수 있는지로 확장한다.

다만 수치를 해석할 때 조건을 살펴봐야 한다. 가장 높은 종합 점수는 도구 출력이 이미 정확하다는 전제에서 나온다. 엔드투엔드 평가 역시 제한된 작업과 사례를 대상으로 한다. 실제 배포 전에는 전문 모델 간 결과 충돌, 잘못된 입력, 도구 호출 실패, 복구 전략, 개인정보 보호, 의료진이 중간 근거를 확인할 수 있는지 등을 추가로 검증해야 한다.

따라서 MMedAgent-Plus는 완성된 임상 시스템이라기보다, 의료 AI를 검증 가능하고 조합 가능한 워크플로로 발전시키는 방향을 보여주는 사례다. 플래너가 전문 모델을 연결하고 최종 결론을 식별 가능한 도구 출력에 묶는 구조는 향후 의료 에이전트 설계에서 중요한 패턴이 될 수 있다.

출처: Hugging Face Daily Papers