아티클 목록으로

LLM 시대, 동료평가 의견은 서로 닮아가고 있을까

약 3분 소요

동료평가의 가치는 여러 사람이 논문의 타당성을 판단하는 데서 끝나지 않는다. 서로 다른 관점으로 문제를 찾아 저자와 편집자에게 폭넓은 개선 정보를 제공하는 것도 중요한 역할이다. 그런데 심사자들이 같은 약점을 반복해서 지적한다면, 심사 건수만큼 다양한 정보를 얻지 못할 수 있다. 논문 ‘Twice-Told Critiques’는 LLM 시대의 학회와 학술지 심사를 살펴보며, 한 논문에 대한 평가 의견이 얼마나 겹치는지 분석했다.

연구에 따르면 ICLR에서 동일한 심사 단계에 속한 의견의 중복률은 2026년 12.0%에서 2027년 21.3%로 상승했다. NeurIPS와 ICML, F1000 및 PLOS 관련 학술지에서도 전년 대비 증가가 보고됐지만, 제공된 요약에는 각 출처의 구체적인 수치가 없다. 또 다른 지표로 보면, ICLR에서 세 번째 심사자가 앞선 두 심사에 더한 새로운 문제는 2027년 평균 5.46개였다. 2026년의 6.12개보다 적어 세 번째 평가에서 추가되는 지적이 줄었음을 보여준다. 다만 이 수치만으로 감소 이유를 알 수는 없다.

연구자는 LLM 생성 텍스트 탐지기인 MELD를 전체 심사에 적용하고, 같은 논문에 대한 심사끼리 비교했다. MELD가 표시한 두 심사는 표시되지 않은 두 심사보다 비판 내용이 더 많이 겹쳤다. 차이는 ICLR의 20242025년 3.0%포인트, 20262027년 4.5%포인트였으며, 5개 학술지 출처 전체에서는 5.4%포인트였다. 이는 탐지 표시와 의견 유사도 사이의 연관성을 보여준다. 그러나 표시된 심사가 실제로 LLM이 작성했다는 확증은 아니며, LLM 사용이 중복을 일으켰다는 인과관계도 입증하지 않는다.

핵심 요점

  • 여러 학회와 학술지에서 같은 논문에 대한 심사 의견의 중복이 증가했다. ICLR에서는 구체적인 상승폭이 제시됐다.
  • ICLR의 세 번째 심사가 새로 추가한 문제의 평균 개수는 2027년에 전년보다 적었다.
  • MELD가 표시한 심사는 서로 더 유사했지만, 탐지 결과만으로 작성자나 도구 사용을 확정할 수 없다.

이 분석이 제기하는 더 큰 질문은 심사자가 여러 명일 때 실제로 여러 관점을 얻고 있느냐는 점이다. 비판이 중복되면 저자는 심사자 수가 암시하는 것보다 적은 독립적 피드백을 받을 수 있다. 따라서 편집자는 심사 건수뿐 아니라 각 의견이 얼마나 새로운 정보를 제공하는지도 함께 살펴볼 수 있다. 또한 LLM이 심사에 미치는 영향을 논의할 때 문체가 기계적으로 보이는지만 따질 것이 아니라, 각 심사자가 구체적이고 유용한 문제를 독립적으로 찾아냈는지도 고려해야 한다.

다만 제공된 요약만으로는 중복률의 계산 방식과 전체 표본 구성, 추세에 영향을 줄 수 있는 다른 요인을 확인하기 어렵다. 그러므로 증가 현상을 LLM 사용의 결과로 단정하는 것은 성급하다. MELD의 결과 역시 탐지기의 판정으로 이해해야 한다. 신중하게 말할 수 있는 결론은 심사 의견의 다양성이 낮아지고 있을 가능성이 있으며, LLM 생성으로 표시된 심사에서 더 높은 중복이 관찰됐다는 것이다. 원인을 가리려면 추가적인 방법론적 검증과 데이터가 필요하다.

출처: Hugging Face Daily Papers

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물