Lean에서 컴파일돼도 정리의 의미가 정확하다는 뜻은 아니다

들어가며

자연어 수학 문장을 Lean 선언으로 바꾸는 시스템에서는 생성된 코드가 컴파일되는지가 가장 분명한 성공 기준처럼 보입니다. 하지만 Lean이 확인하는 것은 문법과 타입, 그리고 형식 환경에서의 일관성입니다. 생성된 선언이 사용자가 의도한 정리를 실제로 표현하는지는 컴파일러만으로 알 수 없습니다. 가정을 빠뜨리거나 양화 범위를 바꾸거나 수학 용어를 잘못 해석해도, 전혀 다른 명제가 컴파일될 수 있습니다.

논문 Beyond Compilation은 비교할 표준 Lean 정답이 없는 상황에서 이 문제를 다룹니다. 핵심 질문은 자연어에서 Lean으로 옮긴 문장이 원래 의미를 얼마나 충실하게 보존하는지를 어떻게 평가할 것인가입니다.

핵심 내용

• 컴파일은 필요조건일 뿐입니다. 제안된 기준은 먼저 Lean 컴파일을 요구합니다. 그다음 서로 다른 모델 계열에서 나온 두 LLM 평가자가 형식화된 명제가 자연어 문장과 의미적으로 일치한다고 판단해야 결과를 승인합니다.
• 사람의 판단과 91.5% 일치했습니다. 독립적인 무작위 감사에서 이 기준은 인간 다수 의견과 91.5% 일치했습니다. 충실하지 않은 결과를 승인하는 경우는 드물지만, 실제로는 충실한 번역 일부를 거부하는 한계도 있었습니다.
• 컴파일률과 승인률 사이에 큰 차이가 있었습니다. 8개 시스템과 대학 수준 문장 227개를 평가한 결과, 두 비율의 차이는 1.3~29.5%포인트였습니다. 도구를 활용한 GPT-5.2 에이전트는 87.2%를 컴파일했지만, 충실한 결과로 승인된 비율은 57.7%였습니다.
• 차이의 상당 부분은 실제 번역 오류였습니다. 해당 에이전트의 거부 사례를 사람이 검토한 결과, 29.5%포인트의 차이 중 23.8%포인트가 실제 번역 오류로 확인됐습니다. 7개 원샷 시스템에 대한 별도 검토에서도 6개 시스템은 차이의 78~100%가 번역 오류로 분류됐습니다.
• 평가자 자체도 병목이 될 수 있습니다. GPT-5.2가 GPT-6 Astra와 Claude Opus 5.5의 결과를 평가했을 때 두 모델은 각각 83%의 승인률을 기록했습니다. 원샷 GPT-5.2의 승인률은 21%였습니다. 앞선 두 모델의 거부 사례 54개를 다시 검토한 결과 번역 오류는 4개뿐이어서, 측정된 격차 대부분이 번역 실패가 아니라 평가자 오류에서 비롯됐을 가능성이 제기됩니다.

의미와 영향

이 연구는 컴파일률만으로 형식화 시스템의 발전을 판단하는 것이 불충분하다는 점을 보여줍니다. 컴파일은 구조적 오류와 타입 오류를 걸러내는 중요한 기준이지만, 원문과 의미적으로 동등하다는 충분조건은 아닙니다. 가정을 삭제하거나 명제를 약화하면 시스템은 더 높은 컴파일률을 얻을 수 있지만, 더 충실해졌다고 볼 수는 없습니다.

앞으로의 벤치마크는 컴파일률, 의미적 승인률, 인간 감사 결과, 평가자 오류를 구분해 보고해야 합니다. 생성 모델의 성능이 높아져도 평가 모델이 따라가지 못하면 자동 평가기가 새로운 병목이 될 수 있습니다. 신뢰할 수 있는 형식화를 위해서는 코드 생성 능력뿐 아니라 생성된 정리가 실제로 무엇을 말하는지 점검하는 의미 감사 체계가 필요합니다.

출처: Hugging Face Daily Papers