협상 AI는 숫자가 아니라 ‘행동’으로 비밀을 흘릴 수 있다

도입

자율 협상 에이전트는 보험, 조달 같은 고위험 영역으로 확산되고 있다. 이런 환경에서 가장 먼저 떠올리는 보호 수단은 가격, 한계값, 제약 조건처럼 명시적으로 주고받는 수치를 암호화하는 것이다. 그러나 논문 “Behavioral Privacy Leakage in Agentic Negotiation”은 이것만으로는 충분하지 않다고 말한다.

다회차 협상에서 에이전트는 단순히 제안값만 내놓지 않는다. 언제 양보하는지, 얼마나 빠르게 양보하는지, 제안의 흐름이 어떤 방식으로 합의점에 가까워지는지도 함께 드러난다. 상대방은 이러한 행동 신호를 관찰해 보류 가격, 비용 경계, 협상 한계 같은 사적 제약을 추론할 수 있다. 논문은 이를 행동 프라이버시 유출이라고 정의한다.

핵심 포인트

• 암호화만으로는 부족하다: 명시적으로 전달되는 값은 보호할 수 있지만, 양보 궤적과 타이밍, 수렴 패턴은 여전히 관찰 가능하다.
• 행동이 새로운 공격 표면이 된다: 상대방은 제안 순서와 협상 리듬을 분석해 에이전트의 숨은 제약을 추정할 수 있다.
• 행동 차등 프라이버시를 형식화했다: 연구진은 다회차 협상 프로토콜에서 관찰 가능한 행동으로부터 사적 정보가 추론되는 정도를 제한하는 틀을 제시한다.
• 적응형 확률 정책을 사용한다: 제안과 양보 과정에 통제된 무작위성을 넣어, 사적 제약과 행동 패턴 사이의 직접적인 연결을 약화한다.
• 협상 성능도 함께 고려한다: 제안된 정책은 차등 프라이버시, 합의 가능한 경우 제안열의 거의 확실한 수렴, 높은 협상 효용을 동시에 목표로 한다.
• 합성 실험 결과는 긍정적이다: 3,000건의 합성 양자 협상에서 공격자의 추론 정확도를 43-50% 줄이면서 협상 성공률과 효용을 90% 이상 유지했다.

의미와 영향

이 연구의 핵심은 에이전트 보안을 데이터 보호에서 행동 보호로 확장했다는 점이다. 협상 AI가 지나치게 결정론적이고 예측 가능한 방식으로 움직이면, 상대방은 반복 관찰을 통해 그 에이전트가 얼마나 더 양보할 수 있는지, 어디에 한계가 있는지 학습할 수 있다. 통신 내용이 암호화돼 있어도 행동 로그가 전략 정보를 흘릴 수 있는 것이다.

기업 조달, 보험 조건 협상, 공급망 가격 협상에서는 단일 제안값보다 그 뒤에 있는 허용 범위와 제약이 더 민감할 때가 많다. 행동 차등 프라이버시는 이런 전략적 정보를 보호하기 위한 중요한 설계 원칙이 될 수 있다.

다만 논문의 평가는 합성 양자 협상에 기반한다. 실제 협상은 다수의 쟁점, 반복 관계, 복잡한 상대 모델을 포함할 수 있다. 따라서 이 접근법이 더 현실적인 환경에서도 안정적으로 작동하는지는 추가 검증이 필요하다.

그럼에도 메시지는 분명하다. AI 에이전트가 사람이나 기업을 대신해 협상하는 시대에는 무엇을 말하는지만이 아니라 어떻게 행동하는지도 프라이버시의 일부가 된다.

출처: Hugging Face Daily Papers