EviScene, 이미지 검증을 ‘AI 생성 여부’에서 사실성 평가로 확장

들어가며

이미지가 AI로 생성됐는지를 알아내는 것은 이미지의 출처를 확인하는 일일 뿐, 이미지 속 상황이 실제로 일어났는지를 증명하지는 못합니다. 실제 사진에도 잘못된 캡션이 붙을 수 있고, 과거 사진이 다른 사건의 이미지로 재사용되거나 장소와 시간이 바뀌어 소개될 수 있습니다. EviScene은 이러한 문제를 이미지 사실성 평가라는 과제로 정식화합니다.

스스로 검증 질문을 만드는 에이전트

EviScene은 이미지와 일반적인 검증 지시만 입력으로 받습니다. 확인해야 할 텍스트 주장이 미리 주어지는 방식이 아닙니다. 에이전트는 먼저 장면을 살펴보고 인물, 장소, 물체, 사건, 시간 정보처럼 검증할 수 있는 단서를 찾습니다. 그리고 관찰 내용을 점차 구체적인 사실 확인 질문으로 바꿉니다.

조사 과정에서는 시각적 재검토, 웹 검색, 이미지 검색, 증거 분석을 번갈아 수행합니다. 새로 얻은 정보는 다음 검색 질문을 수정하는 데 사용되며, 필요하면 이미지의 관련 영역을 다시 확인합니다. 최종 결과는 상황이 지지되는지 반박되는지뿐 아니라, 외부 증거가 이미지의 특정 상황과 어떻게 연결되는지도 설명해야 합니다.

이 연결이 핵심입니다. 비슷한 사건을 언급하는 웹페이지를 찾는 것만으로는 충분하지 않습니다. 증거가 이미지에 등장한 대상, 장소, 시간 또는 사건과 실제로 일치해야 합니다. 그렇지 않으면 모델은 근거가 약한 의미적 유사성에 의존해 우연히 정답을 낼 수 있습니다.

데이터셋과 성능

연구진은 전문가 검토를 거친 EviLens 벤치마크를 만들었습니다. 통제된 방식으로 구성한 데이터와 웹에서 수집한 데이터를 합쳐, 지지되는 이미지와 반박되는 이미지 총 10,174개를 포함합니다. 벤치마크는 12가지 사실 오류 유형을 다루며, 결론의 정확성과 제시된 증거의 충분성을 함께 평가합니다.

1,527개 테스트 이미지에서 교사 궤적을 활용한 지도 미세조정과 검증된 판단을 이용한 특권적 온폴리시 자기 증류를 거친 Qwen3.5-9B 에이전트는 균형 정확도 79.05%, 엄격 증거 충분율 52.26%를 달성했습니다. 같은 백본을 사용하는 기본 에이전트와 비교하면 각각 6.71%포인트와 9.37%포인트 개선된 수치입니다. 평가 대상 에이전트 가운데 엄격 증거 충분율도 가장 높았습니다.

의미와 남은 과제

EviScene의 중요한 점은 이미지 검증의 기준을 단순한 정답 여부에서 근거 기반 판단으로 확장했다는 데 있습니다. 뉴스 팩트체크, 플랫폼 콘텐츠 검토, 멀티모달 검색 시스템에 참고할 만한 접근입니다.

다만 엄격 증거 충분율이 52.26%라는 결과는 증거와 이미지 속 상황을 정확히 연결하는 일이 여전히 어렵다는 것을 보여줍니다. 검색 출처의 품질, 부족한 시간·장소 단서, 검색 편향, 복잡한 사건의 맥락이 모두 결과에 영향을 줄 수 있습니다. 앞으로는 출처 평가, 시간 추론, 불확실성 표현을 강화해야 합니다.

논문은 코드와 모델, 데이터를 공개할 예정이라고 밝혔습니다. 이를 바탕으로 다양한 분야와 실제 정보 환경에서의 추가 검증이 가능해질 전망입니다.

Hugging Face Daily Papers