AI 심사자는 논문 수정의 개선을 알아볼 수 있을까?

들어가며

논문 수정 과정에서 저자는 실험을 추가하고, 문제 정의를 명확히 하며, 논리를 재구성하고, 심사 의견에 답한다. 과학적 내용이 좋아졌다면 AI 심사자도 그 변화를 파악해 더 높은 평가를 내리는 것이 이상적이다. 그러나 새로운 대규모 연구는 수정의 질과 AI 점수 변화 사이의 연결이 생각보다 불안정하다는 점을 보여준다.

연구는 무엇을 살폈나

연구진은 PaperTrajectory-2026 데이터셋을 사용했다. 이 데이터셋은 5개 AI 학회에서 수집한 논문 궤적 6,959개와 여러 버전의 원고를 포함한다. 버전 간 변화는 14개 차원으로 자동 주석 처리됐고, 논문 전체 품질에 대한 판단도 별도로 제공됐다. 이후 8개 AI 심사자가 원고 버전을 독립적으로 평가해 수정에 따른 개선을 감지하는지 확인했다.

큰 폭의 개선은 주로 경험적 근거와 논문 프레이밍에 집중됐다. 실험적 뒷받침을 강화하거나 연구 문제와 기여를 더 분명하게 제시하는 변화가 대표적이다. 반면 후반부 수정은 근본적인 변화보다 점진적인 다듬기에 가까운 경향을 보였다.

핵심 결과

• ‘주요 개선’으로 주석된 수정의 대부분에서 AI 심사자 점수는 변하지 않았다.
• 점수가 상승했는지 하락했는지에 대한 심사자 간 일치도는 낮았다.
• 일부 수정 차원은 특정 심사자의 점수 상승과 연관됐지만, 심사자 전체에 적용되는 일관된 규칙은 아니었다.
• 중립적인 평가에서 수정본이 더 높은 점수를 받아도, 짧은 부정적 사용자 의견이 그 이점을 없애거나 반전시킬 수 있었다.

의미와 영향

이 결과는 AI 심사자가 논문 개선을 전혀 보지 못한다는 뜻은 아니다. 핵심 문제는 반응의 일관성이 부족하다는 데 있다. 저자가 실험을 보강하거나 논문 구성을 개선해도 AI 점수가 같은 방향으로 움직인다고 보장할 수 없다. 따라서 최종 점수만으로 심사자가 수정 내용을 이해했는지를 판단하는 것은 부족하다.

사용자 프레이밍에 대한 민감성은 AI 기반 동료심사의 공정성과도 연결된다. 과학적 근거가 동일한 상황에서 짧은 부정적 설명만으로 평가가 달라진다면, 시스템은 논문 내용뿐 아니라 입력된 입장에도 반응하는 셈이다. 향후 평가는 실질적인 증거 변화에 대한 민감도와, 과학적 내용이 바뀌지 않았을 때 판단을 유지하는 안정성을 함께 측정해야 한다. 신뢰할 수 있는 AI 심사자는 단순히 높은 점수를 주는 모델이 아니라, 논문이 어떻게 개선됐는지를 추적하는 시스템이어야 한다.

출처: Hugging Face Daily Papers