LLM 에이전트에 지속적인 인간 통제를 부여하는 SAI

들어가며

LLM 에이전트는 작업을 분해하고 도구를 호출하며 여러 에이전트를 조정하는 역할까지 맡고 있다. 그러나 사람이 실행 중인 에이전트를 수정하는 방식은 여전히 대화에 자연어 지시를 추가하는 경우가 많다. 자유 형식 지시는 모델에 따라 다르게 해석될 수 있고, 계획과 관찰 결과가 계속 쌓이면 이전에 전달한 운영자 지시의 영향력이 약해질 수 있다. arXiv에 공개된 한 연구는 이 문제를 단순한 프롬프트 작성법이 아니라 에이전트 프로토콜의 문제로 보고 Structured Authority Injection, 즉 SAI를 제안했다.

SAI의 핵심 구성

• 자유 텍스트 대신 타입이 지정된 오버라이드. 운영자의 수정 사항을 스키마 검증을 거친 Model Context Protocol(MCP) 도구 호출로 전달한다. 모델이 문장의 의도를 추측해야 하는 부분을 줄이고 개입의 형식을 명시하는 방식이다.
• 세 가지 오버라이드 유형. Constraint, Priority, Strategy를 구분한다. 각각 행동의 제한, 작업 우선순위의 변경, 실행 방식의 변경을 표현하며 서로 다른 지속성 의미를 가진다.
• 명시적인 권위 순서. SAI는 권위를 가진 지시를 순위별로 관리하고 이를 모든 LLM 프롬프트 앞에 다시 삽입한다. 또한 우선순위를 명시하고, 계획 프로세스가 해당 권위 채널에 직접 접근하거나 수정하지 못하도록 설계한다.
• 모델 재학습 불필요. 미세 조정이나 모델 가중치 접근을 요구하지 않는다. MCP 도구 사용을 지원하는 instruction-tuned LLM을 대상으로 하며, 핵심은 에이전트 프로토콜과 컨텍스트 관리 계층에 있다.

평가 결과와 한계

연구진은 에이전트 실패 모드를 겨냥한 8개 시나리오에서 9개 LLM을 평가했다. 논문이 보고한 결과에 따르면, 운영자 지시가 모호하게 해석되는 사례가 줄었고 여러 계획 반복 과정에서 권위가 약화되는 현상도 완화됐다. 일부 강력한 모델에서는 모델과 시나리오 조합에 따라 프롬프트 오버헤드가 최대 38% 감소했다. 다만 개선 폭은 모델별로 상당히 달랐으며, 모든 모델과 작업에서 동일한 효과가 보장되는 것은 아니다.

의미와 영향

SAI의 핵심 의미는 인간의 감독을 추가 프롬프트가 아니라 통신 및 권한 관리 메커니즘으로 다룬다는 데 있다. 에이전트가 현재 세우는 계획과 운영자가 계속 준수시키려는 지시를 분리하면, 감독 규칙을 더 명확하게 표현하고 감사하기 쉬운 형태로 만들 가능성이 있다. 특히 자동화된 오케스트레이션 시스템에서 같은 지시를 반복해서 입력하지 않아도 되는 설계 방향을 제시한다.

그렇다고 구조화된 메시지만으로 모델을 완전히 통제할 수 있는 것은 아니다. 실제 시스템은 오버라이드의 의미를 구체적으로 정의하고, 지시 간 충돌을 처리하며, 모델이 주입된 컨텍스트를 따르는지 관찰해야 한다. 모델별 효과 차이도 크기 때문에 실제 적용 대상의 업무 환경에서 별도 검증이 필요하다. SAI는 모든 에이전트에 대한 보편적 보장이라기보다, 지속적인 인간 통제를 구현하기 위한 일반적인 설계 패턴으로 이해하는 편이 타당하다.

출처: arXiv