실행 전에 확인하기: LLM 에이전트의 조용한 오류 줄이기

들어가며

대규모 언어 모델이 터미널을 조작하고 저장소를 수정하며 외부 도구를 호출하면서, 가장 위험한 실패가 반드시 예외를 발생시키는 것은 아니라는 점이 분명해지고 있습니다. 명령은 정상 종료되고 코드 수정도 적용된 것처럼 보이지만, 실제 결과는 사용자의 의도와 다를 수 있습니다. 실행기가 성공을 보고하면 이런 ‘조용한 실패’를 발견하기가 특히 어렵습니다.

arXiv 논문 Look Before You Leap: Pre-Action Verification for LLM Agents는 행동이 실제로 적용되기 전에 검사하는 방식을 제안합니다. 검증기는 저렴하고 결정론적이어야 하며, 근거가 부족할 때 억지로 판단하지 않고 행동을 거부할 수 있습니다. 이후 에이전트는 행동을 수정하거나 다시 시도할 수 있습니다.

핵심 내용

• 명령 검증은 여러 층으로 나눌 수 있습니다. 연구진은 482개 도구에 걸친 9930개 명령을 대상으로 정적 검증기를 평가했습니다. 검증기는 유효하지 않은 명령의 95.8%를 찾아냈고 오탐률은 10.0%였습니다. 구문 검사와 바이너리 검사는 오탐 없이 전체 오류의 절반을 포착했습니다. 관찰된 모든 오탐은 플래그 검사에서 발생했으며, 이는 도움말 텍스트의 범위에 제한을 받습니다.
• 편집 형식이 실패 방식을 좌우합니다. 검색·대체와 diff처럼 콘텐츠를 기준으로 하는 방식은 대상이 일치하지 않을 때 명확하게 실패하는 경향이 있습니다. 반대로 줄 번호나 함수 이름에 의존하는 방식은 파일이 조금만 바뀌어도 엉뚱한 위치에 적용될 수 있습니다. 한 줄이 이동한 테스트에서는 줄 번호 편집의 99.1%가 파일을 잘못 변경했고, 함수 이름 편집의 12.7%가 다른 함수에 적용되었습니다.
• 거부는 복구를 위한 선택이 될 수 있습니다. 확신이 없으면 거부하는 정책에서 선택적 grounding은 오탐률 7.0%로 0.958의 재현율을 기록했습니다. 앵커와 적용 전 검증을 결합한 방식은 8320번의 시험에서 한 번의 조용한 오적용만 기록했으며, 비율은 0.01%였습니다.

의미와 영향

이 연구의 핵심은 에이전트 감독을 실행 후에만 두지 말아야 한다는 점입니다. 일반적인 흐름은 모델이 행동을 생성하고, 실행기가 이를 수행한 뒤 결과를 관찰하는 방식입니다. 그러나 실행이 성공했다는 사실만으로 올바른 대상이 수정됐는지, 행동이 사용자의 목적과 일치하는지는 확인할 수 없습니다. 사전 검증은 실행 전에 의도한 결과를 만들기 위한 조건이 여전히 유지되는지 확인합니다.

에이전트용 도구 API도 단순한 성공·실패 값 이상을 제공해야 합니다. 대상, 사전 조건, 앵커, 거부 상태를 명시적으로 표현할 수 있어야 합니다. 코드 편집에서는 줄 번호에만 의존하기보다 콘텐츠 앵커, 패치 검증, 주변 문맥 확인을 함께 사용하는 편이 안전합니다. 셸 도구에서는 구문과 실행 파일 검사를 저비용의 기본 계층으로 활용하고, 인자 검증이 문서 범위에 의존한다는 한계도 드러내야 합니다.

이 방식이 사용자의 고차원적 의도까지 증명하는 것은 아닙니다. 하지만 보이지 않는 오류를 명확한 거부로 바꾸고 수정과 재시도를 가능하게 한다는 점에서, 실제 에이전트 시스템에 적용할 수 있는 중요한 안전 계층입니다.

출처: arXiv