과학 에이전트는 최종 답만으로 감사할 수 없다: 증거와 실행 상태 추적

들어가며

과학 연구에 AI 에이전트를 투입할 때 최종 답변이 맞는지만 확인하는 방식은 충분하지 않다. 에이전트가 같은 결론에 도달하더라도 읽거나 인용한 증거는 다를 수 있다. 또한 중간 수치 계산에 조용한 오류가 발생해도 시스템은 중단되지 않고 그럴듯한 결과를 출력할 수 있다. BioAgent-DF 연구는 이러한 문제를 최종 출력뿐 아니라 증거, 도구 상태, 실행 이력까지 확장해 점검했다.

실험에서 확인된 점

연구진은 과학 계산의 동일한 위치에 기준값과 후보값을 저장하고, 이를 원래 좌표에 복원하거나 이식한 뒤 정상적인 하드웨어에서 에이전트를 실행했다. SciFact 실험에서 Qwen3.5-4B와 Gemma 3 4B IT는 여러 캡처 방식과 주장 조합에서 읽은 정보 또는 인용을 반복적으로 바꾸었다. 기준 상태를 완전히 복원하면 원래 증거 집합을 되찾는 경우가 있었지만 최종 결론은 바뀌지 않기도 했다. 기본 프롬프트에서 관찰된 결론 변화가 명시적 예시를 포함한 프롬프트에서는 재현되지 않은 사례도 있었다.

이는 수치 상태 복구, 순위 목록 복구, 에이전트가 볼 수 있는 실행 이력 복구가 서로 다른 문제임을 뜻한다. 답변이 같다는 사실만으로 같은 증거 경로를 거쳤다고 판단할 수 없다.

더 실질적인 검증은 hERG 심장 안전성 스크리닝에서 수행됐다. 조용한 GPU 오류는 충돌이나 NaN, 무한대를 만들지 않고 잘못된 수치를 반환했다. 그 결과 벤치마크에서 hERG 차단제로 분류된 K12252와 K1461은 패치 클램프 검사를 받는 대신 검사 없이 다음 단계로 진행하도록 배정됐다. 그러나 전체 집계만 보면 차단제 수는 402개 중 351개로 변하지 않았다. 따라서 총량만 검토하면 실제 대상과 검사 배정의 변화를 놓칠 수 있다.

데이터 무결성, 유한값, 확률 범위를 확인하는 기본 검사는 16개 오류 원인을 하나도 발견하지 못했다. 선형 계층에 체크섬을 적용하자 16개 모두가 탐지됐다. 다만 측정된 작업에서는 스트리밍 검증으로 기본 순전파 시간이 25.8% 늘어났다.

복구 여부는 실행 상태에 좌우됐다. 에이전트가 잘못된 값을 읽은 뒤 예측 파일만 교체했을 때 39개의 변경된 결정 중 복구된 것은 없었다. 읽기 직전의 실행 상태를 복원하고 인증된 점수를 제공하자 39개 모두가 복구됐다. 해당 실험에서는 잘못된 행동이 실제로 확정되지는 않았다.

의미와 영향

과학 에이전트를 감사할 때는 “무엇을 결론 내렸는가”와 “어떤 증거와 상태에서 행동했는가”를 분리해 기록해야 한다. 도구 입력, 중간값, 순위 연산, 인용 정보, 모델 버전, 실제 행동을 서로 연결해야 한다. 잘못된 값이 이미 메모리나 후속 계산에 영향을 주었다면 올바른 파일을 다시 배치하는 것만으로는 부족하며, 관련 상태를 되돌리고 다시 실행해야 할 수 있다.

이 결과가 모든 에이전트가 동일하게 실패한다는 뜻은 아니다. 다만 바이오메디컬 자동화에서 최종 답변만 평가하는 방식의 한계는 분명하다. 재현성은 답변의 재현뿐 아니라 의사결정의 출처와 실행 경로까지 포함해야 한다.

출처: Hugging Face Daily Papers