LLM 과학 코딩 에이전트에 실행 가능한 검사를 제공하다

들어가며

과학 코딩 에이전트는 일반적인 소프트웨어 요구사항 처리보다 복잡한 작업을 수행해야 합니다. 방정식, 경계 조건, 수치 계산 제약, 출력 형식을 이해한 뒤 수정한 프로그램이 실제 요구사항을 만족하는지도 판단해야 합니다. 기존 방식에서는 이런 규칙을 자연어로 전달하고, 모델이 스스로 해석하고 테스트하도록 했습니다. Rules to Tools는 공개된 과학적 요구사항을 호출 가능한 실행 검사로 구현해 코드 수정 과정에 제공하는 방법을 살펴봅니다.

핵심 내용

• 도구의 효과를 비교할 수 있도록 조건을 맞췄다. SciCode 코드 수정 실험에서 두 그룹은 동일한 텍스트 검사, 시작 프로그램, 모델, 예산을 받습니다. 도구 그룹에만 요구사항을 구현한 호출 가능한 검사가 추가됩니다.
• 평균 성능은 개선됐지만 일반적인 우위는 아니다. 두 task-ID 코호트에서 완전 수정은 텍스트 그룹 26/30, 도구 그룹 29/30이었습니다. 8개 ID 코호트에서는 각각 13/16과 15/16을 기록했습니다. 하지만 작업 클러스터 기반 bootstrap 95% 구간은 차이에 대해 -12.5~43.75%포인트였으므로, 이 표본만으로 보편적인 효과를 확정하기는 어렵습니다.
• 과제별 편차가 크다. 3개 task ID는 도구 그룹이, 1개는 텍스트 그룹이 더 좋았고, 11개는 동률이었습니다. 더 큰 공유 정의 SciCode 코호트에서는 두 그룹 모두 13/24였습니다. 다른 시작 프로그램을 사용한 개발 노출 과제 5개에서는 텍스트 그룹 3/10, 도구 그룹 7/10이었습니다.
• 검사 자체도 검증 대상이다. 초기 검사는 task 17의 위반을 표시했지만, task 77과 11에서는 위반이 없다고 보고했습니다. task 37은 텍스트 조건이 더 좋았고 초기 위반 보고도 없었습니다. 검사 범위와 정확도, 진단 방식이 에이전트의 결과에 직접 영향을 준다는 뜻입니다.
• 모델 출력 감소가 전체 자원 절감을 보장하지 않는다. PDE 비교에서 상세 텍스트 조건은 23/24, 검사 조건은 24/24였으며, 보고된 모델 출력은 검사 조건에서 31.2% 적었습니다. 그러나 두 task-ID 코호트 모두 공개 CPU 사용량이 증가했고, 출력 절감 폭도 코호트마다 달랐습니다. 소스 코드를 Python으로 처리한 별도 조건도 15/16으로 전용 명령 방식과 같은 집계 결과를 냈습니다.

의미와 영향

이 연구는 과학 에이전트의 검증 문제를 ‘규칙을 도구 체계에 어떻게 넣을 것인가’라는 설계 문제로 바꿔 바라봅니다. 경계 조건이나 수치 요구사항을 신뢰할 수 있는 검사로 변환하면, 에이전트는 긴 설명문만 해석하지 않고 프로그램의 위반 여부에 관한 구체적인 피드백을 받을 수 있습니다. 특히 수치 코드 수정에서는 모델이 반복적으로 설명하고 코드를 다시 생성하는 부담을 줄일 가능성이 있습니다.

다만 실행 검사는 자동적인 성능 향상 수단이 아닙니다. 검사를 만들고 유지하며 별도로 검증해야 합니다. 범위가 좁은 검사는 중요한 실패를 놓칠 수 있고, 불완전한 진단은 에이전트를 잘못된 방향으로 이끌 수 있습니다. 따라서 실제 시스템은 자연어 명세, 실행 검사, 독립 테스트를 함께 사용해야 하며, 수정 성공률뿐 아니라 모델 출력, CPU 사용량, 검사 제작 비용까지 평가해야 합니다.

Rules to Tools는 에이전트가 규칙을 단순히 ‘읽는’ 단계에서 직접 ‘호출하는’ 단계로 나아갈 가능성을 보여줍니다. 동시에 그 가치는 과제의 성격과 검사 품질, 그리고 전체 자원 측정 방식에 달려 있다는 점도 분명히 합니다.

출처: Hugging Face Daily Papers