Agent Mosaic: 접근 가능한 정보가 기밀 결론으로 바뀌는 방식

들어가며

기존의 접근 제어는 대체로 파일 단위로 작동한다. 사용자가 특정 문서를 읽을 수 있다면 그 문서의 정보도 사용할 수 있다고 보는 방식이다. 하지만 검색과 도구 사용이 가능한 에이전트는 여러 문서를 하나의 답변으로 통합한다. 각각은 민감하지 않은 정보라도 함께 조합되면 기밀 결론이 될 수 있다. 연구진은 이런 현상을 ‘모자이크 효과’라고 부른다.

연구가 평가한 것

『Agent Mosaic』은 사이버보안, 의료, 군사 영역을 아우르는 30개의 합성 시나리오를 만들었다. 통제된 시뮬레이션에서는 세 개의 LLM 에이전트가 생성한 최종 답변 10,800개를 분석했고, 두 개의 오픈소스 에이전트 하니스에서 실제로 실행한 결과 1,440개도 수집했다.

핵심 실험은 한 문서만 참고하면 답할 수 있어 보이는 선의의 질문을 사용하는 방식이었다. 이를 통해 에이전트가 여러 자료를 넘나들며 금지된 복합 결론을 공개하는지 확인했다. 시뮬레이션에서 가장 높은 성능을 보인 GPT-5.6-Sol도 답변의 7.08%에서 금지된 정보 조합을 공개했다. 실제 하니스에서는 공개율이 더 높았다. 문제는 단순히 민감한 문서에 접근했는지가 아니라, 여러 저위험 사실을 고위험 결론으로 변환할 권한이 있었는지에 있다.

핵심 결과

• 열람 권한과 추론 권한은 다르다. 여러 문서를 따로 읽을 수 있다고 해서 그 문서에서 도출한 결론까지 공개할 수 있는 것은 아니다.
• 방어책은 효과가 있지만 충분하지 않다. 문서에 분류 헤더를 표시하고 집계 규칙을 명시하면 전체 공개율이 크게 낮아졌다. 그러나 시뮬레이션에서 모든 의도를 합산한 비안전 공개는 여전히 32.37%였다.
• 거부율은 보안의 대리 지표가 아니다. 답변을 거부하면서 그 이유를 설명하는 과정에서 금지된 결론을 드러낼 수 있다. 따라서 거부가 늘었다는 사실만으로 기밀성이 개선됐다고 볼 수 없다.
• 실제 구성은 위험을 키울 수 있다. 오픈소스 하니스에서 결과가 더 나빴다는 점은 검색, 도구 호출, 컨텍스트 관리가 문서 간 추론 경로를 늘릴 수 있음을 보여준다.

의미와 영향

기밀 데이터를 다루는 에이전트의 보안 경계는 파일 수준 권한만으로 정할 수 없다. 시스템은 생성될 정보의 민감도, 제한해야 할 정보 조합, 현재 사용자가 도출된 결론을 받을 자격이 있는지를 함께 판단해야 한다.

기업은 검색과 생성 사이에 정보 흐름 제어를 추가하고, 고위험 조합을 정책으로 검사하며, 직접 답변뿐 아니라 거부 사유도 감사하는 방식을 검토할 수 있다. 이 연구가 특정 방어책의 완전한 해결을 주장하는 것은 아니다. 다만 평가된 환경에서 모자이크형 유출이 실제로 관찰됐고, 무시하기 어려운 에이전트 기밀성 실패 유형이라는 점을 분명히 보여준다.

출처: Hugging Face Daily Papers