PRIME, AI 에이전트의 결론을 증거로 검증하다

들어가며

대규모 언어 모델 에이전트는 취약점 보고서나 규정 준수 기록이 조직의 요건을 충족하는지 확인하는 업무에 활용되고 있습니다. 하지만 이런 작업의 핵심은 정보를 찾는 데서 끝나지 않습니다. 확보한 정보가 특정 결론을 정당화할 만큼 충분한지, 그리고 요구사항에 맞는 증거 경로를 실제로 충족했는지를 판단해야 합니다.

요건이 여러 방식으로 충족될 수 있을 때 문제는 더 복잡해집니다. 모델은 필수 검사가 실패했는데도 보고서를 통과시키거나, 다른 경로를 확인하면 더 강한 결론에 도달할 수 있는데도 약한 결론에서 멈출 수 있습니다. arXiv에 공개된 PRIME(Precommitted Rules for Inference from Minimal Evidence)은 이러한 판단을 사전 규칙과 검증 가능한 기록으로 통제하는 접근법을 제안합니다.

PRIME의 작동 방식

• 증거 경로를 미리 정한다. 검사를 시작하기 전에 각 결론을 뒷받침할 수 있는 증거 조합을 정의합니다. 예를 들어 심각도 평가와 큐레이터 검토를 거친 권고문을 함께 요구하거나, 공개된 권고문 링크를 대체 경로로 인정할 수 있습니다. 모델은 편리한 단서를 찾은 뒤 기준을 임의로 바꿀 수 없습니다.
• 독립 원장이 출력을 제한한다. 별도 프로그램이 각각의 검사 결과를 기록하고, 규칙과 원장이 승인하지 않은 결론을 거부합니다. 모델이 더 낙관적인 문장을 생성하더라도 기록이 뒷받침하지 않으면 최종 결론으로 채택되지 않습니다.
• 추가 검사를 통해 더 강한 결론을 찾는다. 현재 증거가 제한적인 결론만 지지한다면, PRIME은 더 강한 결론을 뒷받침할 수 있는 검사를 안내하거나 직접 실행합니다. 단순히 거부하는 데서 끝나지 않고, 성공 가능성이 남아 있는 경로를 탐색한다는 의미입니다.
• 적용에는 조건이 따른다. 요구사항이 올바르고, 검사 대상 위치가 정확히 알려져 있으며, 종료 시점까지 충분한 예산이 있어야 현재 증거가 지지하는 가장 강한 결론에 도달할 수 있습니다. 잘못된 정책이나 모호한 정보원을 PRIME이 자동으로 보완하는 것은 아닙니다.

실험 결과와 의미

연구진은 공개 기록을 활용한 480개 작업에서 PRIME을 평가했습니다. 요구사항만 전달받은 에이전트는 26.7%의 작업에서 정당화되지 않은 결론을 보고했습니다. PRIME을 사용했을 때는 이러한 결론이 발생하지 않았습니다. 증거가 부족하면 거부하기만 하는 방식의 정당화 가능한 결론 점수는 평균 30.1점이었지만, PRIME의 안내와 추가 검사를 적용하자 평균 점수는 최고치인 59.2점으로 올라갔습니다.

이 연구의 핵심은 모델을 더 자신 있게 만드는 것이 아니라 역할을 분리하는 데 있습니다. 모델은 검색과 문서 읽기, 다음 검사 제안을 담당하고, 규칙 기반 프로그램은 실제 증거가 해당 결론을 허가하는지 판단합니다. 보안 심사와 규정 준수 승인 같은 업무에서는 어떤 검사가 수행됐고 어떤 근거로 결론이 나왔는지 추적하기 쉬워집니다. 유창한 문장만으로 판단이 통과되는 위험도 줄일 수 있습니다.

다만 실제 도입을 위해서는 증거 경로를 지속적으로 관리하고, 서로 충돌하는 기록을 처리하며, 제한된 예산 안에서 검사의 우선순위를 정해야 합니다. 그럼에도 증거의 기준을 미리 정하고, 검사를 원장에 남기며, 기록이 뒷받침하지 않는 결론을 거부한다는 PRIME의 설계는 검증 가능한 AI 에이전트를 구축하기 위한 실용적인 출발점을 제시합니다.

출처: arXiv