PolicyGuide, 단일 행동 차단에서 전체 업무 흐름 안내로

들어가며

고객 서비스 LLM 에이전트의 정책 준수는 금지된 행동을 피하는 것만으로 충분하지 않다. 예를 들어 계정 변경이나 환불을 처리하려면 먼저 고객의 신원을 확인하고, 자격 조건을 검토하고, 필요한 정보를 설명한 뒤, 사용자의 확인을 받아야 할 수 있다. 마지막 도구 호출 자체가 허용된 행동이어도 그 전에 필요한 절차를 건너뛰었다면 전체 처리 과정은 규정을 위반할 수 있다.

행동 단위 보호의 한계

일반적인 런타임 안전장치는 에이전트가 실행하려는 특정 행동을 검사한다. 환불, 예약 변경, 계정 정보 수정 같은 작업이 허용되는지 판단하고 위험하면 차단하는 방식이다. 이런 검사는 명백한 권한 초과를 막는 데 유용하지만, 대화의 어느 전제 조건이 빠졌는지, 사용자의 요청을 어떤 순서로 다시 정상적인 흐름에 연결해야 하는지는 알려주지 못할 수 있다. 행동 하나를 막는 것과 규정에 맞는 업무 처리를 끝까지 유도하는 것은 서로 다른 문제다.

PolicyGuide는 도메인별 정책을 워크플로 그래프로 컴파일해 이 간극을 다룬다. 그래프는 필요한 단계와 단계 사이의 전제 조건, 허용된 진행 경로를 표현한다. 시스템은 사용자의 각 발화가 끝나는 시점에 선제적 검증기를 호출하고, 저장된 그래프 상태에서 아직 해결되지 않은 요청을 다시 대조한다. 그런 다음 현재 단계에 맞는 구체적인 보완 지침을 에이전트에 반환한다. 따라서 검증기는 단순히 “이 행동은 금지된다”고 말하는 대신, 누락된 확인을 먼저 수행하는 등 정책을 지키며 다음 단계로 이동하도록 안내할 수 있다.

평가 결과

논문은 τ²-bench의 항공, 소매, 통신 도메인에서 GPT-5.4 에이전트와 검증기를 함께 평가했다. 평균 Pass^4는 0.42에서 0.62로 높아졌다. 통신 도메인에서는 0.19에서 0.61로 상승해 가장 큰 개선폭을 보였다. 연구진은 통신 영역의 업무 흐름이 상대적으로 구조화되어 있어 단계와 의존 관계를 그래프로 표현할 때 이 접근법의 장점이 더 잘 드러난다고 설명한다.

동일한 워크플로는 Claude Sonnet 4.6과 Gemini 2.5 Pro 에이전트에도 이전된 것으로 보고됐다. 적대적 사용자를 대상으로 한 보완 평가에서는 관찰된 비교 결과 중 가장 낮은 공격 성공률이 나타났고, 저자들이 설계한 워크플로 수준 검증에서는 가장 강한 절차 준수 성능을 보였다. 다만 이러한 결론은 논문에 제시된 벤치마크, 모델, 정책, 검증 구성에 한정된 결과이며 모든 실제 기업 환경에 대한 보편적인 보증으로 해석해서는 안 된다.

의미와 과제

PolicyGuide의 핵심 의미는 에이전트 안전의 기준을 개별 도구 호출에서 대화 상태와 업무 상태의 공동 관리로 확장했다는 데 있다. 기업 정책은 금지 규칙의 목록에 머무르지 않고 실행 가능하고 추적 가능한 업무 그래프로 표현될 수 있다. 에이전트 입장에서도 준수는 추상적인 제한이 아니라 현재 빠진 단계와 이어서 수행할 경로를 알려주는 실질적인 지침이 된다.

물론 정책이 바뀌거나 예외가 늘어날 때 그래프를 정확히 갱신해야 하고, 여러 턴에 걸친 상태를 안정적으로 보존해야 한다. 미리 정의된 경로에 맞지 않는 복잡한 사례를 어떻게 처리할지도 남은 문제다. 그럼에도 계획 수립, 워크플로 메모리, 독립 검증기를 결합하는 이 구조는 고객 서비스처럼 결과뿐 아니라 처리 과정의 정당성까지 중요한 에이전트 시스템에 유의미한 설계 방향을 제시한다.

출처: Hugging Face Daily Papers