마이크로소프트, AI 거버넌스를 런타임 실행으로 전환

들어가며

생성형 AI 애플리케이션과 자율형 에이전트가 운영 환경에 배치되면서 AI 거버넌스의 질문도 달라지고 있습니다. 조직에 정책 문서가 있는지만으로는 충분하지 않습니다. 실제 호출 순간에 규칙이 적용되는지, 시스템 행동을 관찰할 수 있는지, 문제가 발생했을 때 경로를 추적할 수 있는지, 감사에 활용할 증거를 남길 수 있는지가 중요해졌습니다. 마이크로소프트가 공개한 AI 거버넌스 아키텍처는 이 운영상의 공백을 다루려는 시도입니다.

핵심 내용

• 거버넌스를 지속적인 순환 구조로 본다. 정책은 요구사항과 위험 분류를 정하고, 통제는 이를 접근 규칙과 런타임 규칙으로 바꿉니다. 관측 가능성은 시스템 행동을 기록하고, 평가는 품질과 안전성을 점검하며, 감사는 텔레메트리를 컴플라이언스와 사건 조사에 필요한 증거로 전환합니다.
• AI 운영 경로 전체를 포함한다. 마이크로소프트가 제시한 아홉 개 영역은 정책, 데이터 거버넌스, 모델 거버넌스, 관측 가능성, 평가, 보안, ID와 접근, 감사와 컴플라이언스, 에이전트 거버넌스입니다. 통제 대상은 모델뿐 아니라 사용자, 에이전트, 도구, API, MCP 서버, 기업 시스템 사이의 상호작용까지 포함합니다.
• 플랫폼 서비스가 실행 경계를 제공한다. Microsoft Foundry는 Purview, Entra ID, Defender, Azure API Management와 연계됩니다. AI 게이트웨이는 인증, 토큰 제한, 쿼터, 정책 집행을 지원합니다. MCP 도구를 관리할 때는 MCP 서버나 에이전트 코드를 수정하지 않고도 중앙 인증, 호출 속도 제한, IP 제한, 감사 로그를 적용할 수 있습니다.
• 평가는 배포 전후에 이어진다. 기본 평가기와 사용자 정의 평가기를 사용해 데이터셋 기반으로 애플리케이션과 에이전트를 출시 전에 점검할 수 있습니다. 배포 후에는 운영 환경에서의 행동을 계속 모니터링할 수 있습니다.
• 에이전트에는 별도 안전장치가 필요하다. 에이전트의 ID, 접근 권한, 활동, 워크플로 체크포인트를 관리하고 입력, 모델 호출, 도구 실행, 출력을 검사합니다. 영향이 큰 작업에는 사람의 승인을 요구할 수 있습니다.

의미와 영향

이 접근법의 핵심 변화는 AI 거버넌스를 일회성 컴플라이언스 작업이 아니라 운영 가능하고 검증 가능한 기반으로 보는 데 있습니다. 정책 문서만으로는 운영 환경에서 규칙이 지켜졌다는 사실을 입증하기 어렵습니다. 런타임 통제와 텔레메트리가 조직의 요구사항과 실제 시스템 행동을 연결하는 역할을 합니다.

구현은 마이크로소프트 제품군과 밀접하게 연결되어 있지만, 문제의 범위는 특정 공급업체를 넘어섭니다. NIST AI 위험관리 프레임워크와 생성형 AI 프로파일과 함께 보면, NIST는 공급업체 중립적인 전 생애주기 위험관리 관점을 제공하고 마이크로소프트는 일부 요구사항을 플랫폼 통제와 운영 데이터에 매핑한다고 볼 수 있습니다.

기업 기술팀에는 여러 기능을 따로 도입하는 것보다 연결하는 일이 중요해집니다. ID와 접근 관리, 게이트웨이 정책, 모델 평가, 로그, 사람의 승인, 감사 프로세스가 함께 작동해야 합니다. 누가 무엇을 호출했고, 어떤 도구가 실행됐으며, 어떤 결과가 나왔고, 정책이 적용됐는지를 지속적으로 설명할 수 있을 때 AI 거버넌스는 문서에서 런타임으로 이동합니다.

출처: InfoQ 中文