EvoSafeHarness, 모델과 도메인에 맞춰 AI 에이전트 안전장치 진화

서론

대규모 언어 모델은 이제 텍스트를 생성하는 데 그치지 않고 도구를 호출하고, 파일을 수정하고, 거래를 처리하며, 외부 시스템에 직접 행동을 가합니다. 이에 따라 간접 프롬프트 인젝션이나 직접적인 유해 요청뿐 아니라 여러 행동이 이어지며 발생하는 누적 위험도 중요해졌습니다. 모델 바깥에 안전 하네스를 두는 방식은 추가적인 방어 계층을 제공하지만, 기존 하네스는 전문가가 한 번 설계한 뒤 서로 다른 모델과 분야에 재사용되는 경우가 많습니다.

EvoSafeHarness는 안전장치가 배포 환경에 따라 달라져야 한다는 관점에서 출발합니다. 이 논문의 프레임워크는 기반 모델을 고정한 상태에서 특정 모델과 도메인에 맞는 하네스를 합성합니다. 자연어로 작성된 안전 정책뿐 아니라 도구 호출과 실행 중 행동을 검사하는 코드 로직도 함께 탐색한다는 점이 핵심입니다.

핵심 내용

• 모델의 행동 특성에 맞춘다. 모델마다 지시를 따르는 방식과 위험한 행동에 노출되는 정도가 다릅니다. 지나치게 엄격한 규칙은 어떤 모델의 유용성을 크게 떨어뜨릴 수 있지만, 다른 모델에는 충분한 보호가 되지 않을 수 있습니다.
• 도메인별 위험을 반영한다. 파일 시스템에서는 권한, 경로, 작업 순서가 중요할 수 있습니다. 금융이나 거래 환경에서는 상태 변화, 자금에 미치는 영향, 행동 간 관계를 함께 살펴야 합니다.
• 정책과 구현을 동시에 최적화한다. 단순히 규칙 문장을 만드는 데 그치지 않고, 어떤 도구 호출과 실행 궤적의 상태에서 해당 규칙을 적용할지도 탐색합니다.
• 새로운 문맥에서 적대적으로 검토한다. 새로운 상황에서 대항 평가를 수행해 벤치마크 사례를 외운 규칙을 걸러내고, 변형된 공격에 대한 견고성을 높이려 합니다.

실험 결과

논문은 네 종류의 에이전트 벤치마크군에서 CaMeL, DRIFT, Progent 같은 고정형 전문가 방어보다 나은 안전성·유용성 절충을 보였다고 보고합니다. DecodingTrust-Agent에서는 평균 공격 성공률이 45.6%에서 10.0%로 낮아졌고, 유용성 비용은 3.3포인트였습니다. 15개 평가 셀 중 14개에서 가장 좋은 결과를 기록했습니다.

AgentDojo에서는 공격 성공률 0.0%에서 유용성 82.8%를 달성했으며, 같은 공격 성공률에서 CaMeL의 유용성보다 두 배 높았습니다. 또한 생성된 하네스를 수정하지 않고 보지 못한 AgentDyn 테스트군으로 옮길 수 있었고, Agent-SafetyBench의 모든 평가 대상 모델에서 최고 점수를 얻었다고 설명합니다.

의미와 한계

EvoSafeHarness는 범용 필터 하나를 추가하는 접근에서 벗어나 모델 특성, 도메인 지식, 행동 궤적을 함께 설계하는 방향을 제시합니다. 안전 검사가 모델의 행동 방식과 업무 영역의 의미를 동시에 반영해야 한다는 점을 보여주는 결과입니다.

다만 벤치마크 성과가 실제 운영 환경의 완전한 안전을 보장하는 것은 아닙니다. 새로운 도구, 권한 경계, 업무 흐름, 공격 전략에 대한 지속적인 감사가 필요하며, 거부로 인한 비용과 보안 수준의 기준도 각 조직의 위험도에 따라 달라집니다. EvoSafeHarness는 모니터링, 거버넌스, 사람의 승인 절차를 대체하기보다 배포용 하네스를 생성하고 평가하는 방법으로 이해하는 것이 적절합니다.

출처: Hugging Face Daily Papers