AI 연구 에이전트의 높은 점수는 진짜 발견을 증명할 수 있을까

들어가며

AI 연구 에이전트가 벤치마크에서 높은 점수를 얻었다고 해서 곧바로 새로운 발견을 했다고 말할 수는 없다. 학습 데이터나 공개 자료, 기존 연구의 흔적에서 답을 재구성했을 가능성이 남기 때문이다. 카네기멜론대학교 연구진이 제안한 Discovery Certification Protocol(DCP)은 이 차이를 실행 가능한 감사 문제로 바꾸려는 시도다.

프로토콜의 핵심

• 먼저 유용한 개선을 확인한다. Gate 1은 봉인된 평가에서 에이전트가 사전에 정한 개선 목표에 도달하는지 검사한다. 이 단계가 보장하는 것은 유용한 성능이지 발견 자체가 아니다.
• 그다음 복구 가능성을 시험한다. Gate 2에서는 비교 대상 에이전트에 등록된 시작 정보와 관찰 가능한 웹 콘텐츠를 제공하되, 목표 연구의 이력은 숨긴다. 그 조건에서도 같은 수치 목표에 도달하는 유효한 방법이 나오면 복구 증거를 제출해야 한다. 유효한 복구가 확인되면 DCP Core는 발견 인증을 거부한다.
• 복구되지 않았다는 주장에도 통계적 근거를 요구한다. Core는 충분한 통제군과 관찰된 복구 0건뿐 아니라, 새로 등록된 한 에피소드에서 복구될 확률의 유한표본 상한을 요구한다. 적은 실패 사례를 복구 불가능성의 증명처럼 사용하는 일을 막기 위해서다.
• 피드백의 효과를 별도로 측정한다. 선택 사항인 Gate 3은 같은 체크포인트에서 출발해 진실한 피드백과 지정된 중립 정책의 평균 효과를 비교한다. DCP Evidence는 독립적인 귀무 보정과 사전 등록된 효과 기준을 통과한 뒤에만 그 효과를 반영한다.

통제 감사에서 얻은 결과

논문은 서로 다른 모델을 사용해 SQLite 최적화와 가상 촉매 제어에서 전체 절차를 시험했다. 각 감사는 96개 에피소드에서 복구 0건을 기록했고, 복구 확률 상한은 0.0468이었다. 짝지은 피드백 연구에서는 진실한 피드백 조건에서 30건의 복구가 발생했고 중립 조건에서는 없었다. 60쌍으로 구성된 귀무 연구도 보정을 통과했다. 또한 Core 통과, 복구됨, 감사 불완전이라는 사례를 함께 제시해, 이 절차가 모든 결과를 긍정 인증으로 몰아가지 않는다는 점을 보여준다.

증거를 고정한 뒤 LLM을 사용하지 않는 결정론적 검증기가 동일한 판정을 재현할 수 있다는 점도 중요하다. 이를 통해 프롬프트, 모델의 무작위성, 사후 해석에 대한 의존을 줄일 수 있다.

의미와 과제

DCP의 핵심은 발견을 단일 점수가 아니라 성능 개선, 대체 경로의 복구 가능성, 피드백의 추가 기여를 포함한 증거 묶음으로 다루는 데 있다. 다만 장기적이고 개방적인 연구에서는 시작 정보, 관찰 가능한 웹 범위, 목표 지표, 중립 정책의 설계가 결과에 영향을 줄 수 있다. 따라서 여러 분야에서 등록 방식과 복구 절차를 추가로 검증해야 한다. 그럼에도 DCP는 AI 연구 평가에 중요한 질문을 던진다. 높은 점수를 냈는가뿐 아니라, 정보가 제한된 조건에서도 독립적인 경로를 보여줄 수 있는가라는 질문이다.

출처: Hugging Face Daily Papers