CASE, 종단 의료 근거를 스스로 찾는 AI 에이전트

많은 의료 AI 벤치마크는 이미 선별된 병력과 영상 자료를 모델에 제공한 뒤 답을 요구한다. 이런 방식은 주어진 근거를 해석하는 능력을 측정하는 데 유용하지만, 실제 진료에서 중요한 또 하나의 능력, 즉 무엇을 더 찾아봐야 하는지를 판단하는 능력은 충분히 드러내지 못한다. 환자의 중요한 단서가 여러 방문 기록, 장기, MRI 시퀀스와 영상 슬라이스에 나뉘어 있을 수 있기 때문이다.

CASE(Clinical Agents for Seeking Evidence)는 이 문제를 의료 추론의 출발점으로 삼는다. 연구는 의료 AI를 한 번의 질문에 답하는 시스템이 아니라, 필요한 증거를 탐색하고 비교한 뒤 결론을 만드는 조사 에이전트로 바라본다. 에이전트는 환자별 환경 안에서 어떤 방문 시점을 확인할지, 어떤 장기와 모달리티를 선택할지, 어느 슬라이스를 살펴볼지, 전문 도구를 호출할지를 스스로 결정한다. 이어 기준 시점과 추적 시점의 관찰 결과를 비교해 최종 답을 구성한다.

핵심 내용

• 종단·멀티모달 벤치마크. UK Biobank를 기반으로 4,739명의 참가자에서 50,401개의 임상 질문을 만들었다. 질문은 실제 ICD-10 진단 코드에서 도출됐으며, 임상 맥락과 기준 및 추적 방문의 다중 시퀀스 MRI에 연결된다.
• 역할 기반 도구 사용. CASE의 도구 호출 하네스는 컴팩트한 비전-언어 정책 모델이 필요한 자료를 선택적으로 수집하도록 한다. 모든 환자에게 동일한 탐색 순서를 강제하는 대신, 상황에 맞는 조사 경로를 선택하는 능력을 평가한다.
• 정답 모방을 넘어선 후학습. 14,734개의 프런티어 모델 상호작용 궤적으로 지도 미세조정을 수행한 뒤, 학습 모델이 자신의 환경에서 만든 상호작용을 활용해 에이전트형 강화학습을 진행한다. 특권 정보를 활용한 온폴리시 자기 증류와 루브릭 기반 LLM 피드백은 증거에서 결론으로 이어지는 추론을 다듬지만, 특정 도구 순서를 정답으로 고정하지는 않는다.

저자들의 보고에 따르면, 평가 조건을 맞췄을 때 Qwen3-VL-8B 기반 CASE 에이전트는 GPT-5.4 대비 16% 이상, Claude Opus 4.8 대비 10% 이상의 상대적 답변 정확도 향상을 기록했다. 이 결과의 의미는 단순한 모델 간 순위 비교에 그치지 않는다. 무엇을 확인했는지, 여러 시점의 정보를 어떻게 대조했는지, 결론이 어떤 근거에 기반하는지를 평가 대상으로 포함했다는 점이 핵심이다.

이러한 설계는 의료 에이전트의 오류를 더 구체적으로 나누는 데도 도움이 된다. 추적 방문을 놓치는 문제, 적절하지 않은 시퀀스를 고르는 문제, 시간에 따른 변화를 비교하지 않는 문제는 이미 제공된 영상을 잘못 읽는 문제와 다르다. 근거 탐색을 별도의 능력으로 다루면 훈련과 평가에서 이런 실패를 직접 다룰 수 있다.

다만 결과의 적용 범위에는 주의가 필요하다. 벤치마크는 특정 데이터 소스와 종단 MRI 환경에 기반하며, 다른 병원과 질환, 모달리티, 실제 진료 절차에서도 같은 성능이 나오는지는 확인되지 않았다. 따라서 CASE는 자율 임상 배치의 증거라기보다, 근거 수집 과정까지 감사할 수 있는 의료 AI를 향한 연구 단계로 해석하는 편이 타당하다.

출처: Hugging Face Daily Papers