AISPA: 상용 AI의 숨은 시스템 프롬프트를 사용자 관점에서 감사하다

도입

AI 제품의 행동은 기반 모델만으로 결정되지 않는다. 실제 상용 애플리케이션에서는 개발자가 작성한 시스템 프롬프트가 모델의 역할, 거절 기준, 민감한 정보 처리 방식, 우선순위를 정한다. 하지만 이 지시문들은 대부분 사용자나 규제기관에 공개되지 않는다. 그 결과 AI 시스템이 어떤 원칙에 따라 작동하는지 확인하기 어려운 신뢰와 책임의 공백이 생긴다.

논문 “AISPA: User-Centric System Prompt Auditing for Large Language Model Applications”는 이 보이지 않는 층을 감사 대상으로 삼는다. 연구진이 제안한 AISPA, 즉 Artificial Intelligence System Prompt Assurance는 시스템 프롬프트를 단순한 내부 설정이 아니라 사용자 이익의 관점에서 검토해야 할 대상으로 본다.

핵심 내용

• 세부 지시문 단위의 감사: AISPA는 제품 전체를 한 번에 평가하지 않는다. 시스템 프롬프트를 개별 지시문으로 나누고, 사용자에게 중요한 여덟 가지 차원에서 검토한다.
• 상용 제품 기반 분석: 연구진은 88개 상용 AI 제품의 시스템 프롬프트에서 3,249개 지시문을 조사했다. 각 지시문은 사용자를 보호하는 지시인지, 사용자 이익에 반할 수 있는 문제적 지시인지로 분류됐다.
• 제품과 조직별 편차: 시스템 프롬프트 설계는 크게 달랐다. 어떤 조직은 제품당 평균 60개 이상의 보호적 지시를 포함했지만, 어떤 조직은 평균 5개 미만에 그쳤다.
• 보호는 널리 퍼졌지만 얕다: 98.9%의 제품에는 최소 한 개 이상의 보호적 지시가 있었다. 그러나 AISPA의 여덟 차원을 모두 포괄한 제품은 24%뿐이었다.
• 프롬프트는 길어지고 보호 지향도 커진다: 논문은 시스템 프롬프트가 점점 길어지고 사용자 보호를 강조하는 지시도 늘고 있다고 설명한다.
• 문제적 지시는 여전히 존재: 약 40%의 제품에는 사용자 이익에 반하는 지시가 최소 하나 포함됐다. 보호적 지시와 문제적 지시가 같은 프롬프트 안에 함께 존재하는 경우도 흔했다.

의미와 영향

AISPA의 의미는 AI 거버넌스의 초점을 눈에 보이는 출력에서 그 배후의 설정으로 확장한다는 데 있다. 우리는 보통 모델 성능, 벤치마크, 안전성 테스트 결과를 본다. 그러나 시스템 프롬프트는 제품이 무엇을 우선시하고, 무엇을 숨기며, 사용자 요구와 개발자 목표가 충돌할 때 어떤 방향을 택하는지에 영향을 준다.

이 프레임워크는 개발자에게는 설계의 빈틈을 점검하는 기준을 제공하고, 연구자와 사용자에게는 AI 제품의 행동을 더 구체적으로 논의할 언어를 제공한다. 규제 관점에서도 시스템 프롬프트는 투명성, 표준화, 독립적 감독을 논의할 때 중요한 자료가 될 수 있다.

핵심은 보호 문구가 몇 줄 들어 있다고 충분하지 않다는 점이다. 보호 범위가 충분한지, 일관되게 적용되는지, 사용자 이익과 충돌하는 숨은 지시가 없는지를 함께 봐야 한다. AI가 업무, 교육, 일상 의사결정에 더 깊이 들어갈수록 시스템 프롬프트의 투명성은 중요한 감사 대상이 될 가능성이 크다.

출처: Hugging Face Daily Papers