마이크로소프트 AI 행동규범, 해킹과 인간 기만 금지

AI 업계가 모델 성능 확대뿐 아니라 안전성과 정렬 문제에 주목하는 가운데, 마이크로소프트가 자사 AI 모델의 행동을 이끌 행동규범을 공개했다. 이 문서는 프런티어 AI 개발 속도를 둘러싼 거시적 정책 제안이라기보다, 마이크로소프트가 모델에 요구하는 가치와 훈련·운영 과정에서 지켜야 할 경계선을 정리한 내부 안전 프레임워크에 가깝다.

주요 내용

문서는 향후 10년 안에 초지능 AI 시스템이 대부분의 작업에서 인간을 능가할 수 있다는 전망에서 출발한다. 이에 따라 강력한 시스템을 통제하고, 제한하며, 인간의 목표와 정렬시키는 일이 인류가 마주한 가장 큰 과제 중 하나라고 설명한다. AI를 왜 개발하는지, 또 어떤 방식으로 통제할 것인지 분명히 해야 한다는 주장이다.

원칙의 차원에서 마이크로소프트의 모델은 인간을 대체하기보다 지원하고, 인간의 번영을 가속하는 방향으로 작동해야 한다. 이 원칙은 단순한 권고에 그치지 않는다. 회사의 체계에서는 각 모델에 적용되는 포괄적 행동규범이 개별 사용자의 선호나 특정 작업의 지시보다 우선한다.

규범에는 ‘절대적 제약’도 포함된다. 모델은 사이버공격을 수행하거나 핵무기와 관련된 용도를 지원해서는 안 되며, 딥페이크를 제작해서도 안 된다. 인간의 감독을 무력화하는 행위도 금지 대상이다. 모델이 적응형 기만, 자기강화, 공모 또는 유사한 메커니즘을 이용해 감독을 피하고, 권한을 가진 사람이나 시스템이 자신을 안정적으로 지시·수정·종료할 수 없게 만들어서는 안 된다는 내용이다.

의미와 한계

이번 발표의 핵심은 추상적인 AI 안전 원칙을 모델이 따라야 할 실행 규칙과 연결하려 했다는 데 있다. 금지된 활동을 명시하면 훈련 목표, 평가 항목, 접근 권한, 배포 심사에 반영하기가 상대적으로 쉽다. 그러나 공개된 문서만으로는 이러한 제약이 어떤 기술로 구현되는지, 시간이 지나도 얼마나 안정적으로 작동하는지 확인할 수 없다. 행동규범은 안전 거버넌스의 한 요소이지, 정렬 문제가 해결됐다는 증거는 아니다.

마이크로소프트는 최근 잇따른 이탈형 에이전트 사례와 AI가 인류의 존속을 위협할 수 있다는 공개 경고를 안전성 논의가 확대된 배경으로 언급한다. 또한 최첨단 능력의 발전을 신중하게 조절하고, AI 연구 조직 안에 평가 담당자를 포함하는 접근법에 지지를 표했다.

실질적인 시험대는 모델이 모호한 요청, 충돌하는 지시, 복잡한 권한에 직면하는 환경이다. 규범이 실제로 기능하려면 지속적인 레드팀 테스트, 능력 평가, 민감한 작업의 권한 분리, 종료 절차 검증이 함께 이뤄져야 한다. 이번 문서는 ‘모델이 무엇을 해서는 안 되는가’와 ‘인간이 어떻게 통제권을 유지할 것인가’를 하나의 틀 안에서 제시했다는 점에서 의미가 있다.

출처: TechCrunch AI