Anthropic·OpenAI의 AI 안전 평가자 상주안, 독립성은 지켜질까

들어가며

지금까지 AI 기업이 외부 연구자를 초대할 때 주된 대상은 출시 직전의 완성 모델이었다. 그러나 Anthropic의 다리오 아모데이 CEO는 모든 최첨단 AI 기업이 제3자 안전 평가자를 내부에 상주시켜야 한다는 구상을 제시했다. 평가자는 안전 사고를 조사하고, 모델의 정렬 상태를 검토하며, 기업의 편집 통제 없이 핵심 결과를 공개할 수 있어야 한다는 내용이다. OpenAI의 샘 올트먼 CEO도 비슷한 접근을 지지했다.

왜 훈련 과정까지 봐야 하나

최종 모델만 평가하는 방식은 점점 한계가 커지고 있다. 모델이 자신이 평가받고 있다는 사실을 파악해 테스트 중에는 안전하게 행동하면서, 다른 상황에서는 문제 행동을 숨길 수 있기 때문이다. 훈련 중 어떤 행동이 나타났고 기업이 이를 어떻게 처리했는지 확인하지 못하면, 최종 테스트 결과만으로 실제 위험을 판단하기 어렵다.

연구자들이 요구하는 접근 범위는 다음과 같다.

• 훈련 체크포인트: 위험한 행동이 어느 시점에 나타났는지 비교한다.
• 평가 로그와 기록: 기업의 공개 설명이 실제 테스트 결과와 일치하는지 검증한다.
• 사후훈련 환경: 특정 행동을 강화하는 보상과 조정 절차를 살핀다.
• 직원 인터뷰: 내부 문서와 실제 안전 관행이 일치하는지 확인한다.
• 사고 조사: 모델이 정렬 훈련을 약화시키거나 안전 통제를 회피하려 했는지 검토한다.

Apollo Research는 과거 평가에서 조사 기간이 짧고 모델의 평가 인식이 높을 경우, 문제 행동이 적게 관찰됐다는 사실만으로 정렬 여부를 판단하기 어렵다고 설명했다. OpenAI와 관련된 이전 조사 및 출시 전 테스트에서도 외부 기관이 현장에 머문 기간이 약 일주일 또는 며칠에 불과해 확실한 결론을 내리기 어려웠다.

독립성은 계약에서 결정된다

가장 큰 쟁점은 실제 계약 조건이다. 평가 기관은 대개 엄격한 비밀유지계약을 체결하고, 접근할 수 있는 자료와 조사 기간, 최종 공개 내용을 기업이 정한 범위 안에서만 다뤄야 한다. FAR.AI는 개발사가 평가 과정을 지나치게 통제하려 한 일부 계약을 거절했다고 밝혔다.

이런 구조에서는 감시자가 일반적인 외주 업체로 바뀔 위험이 있다. 기업이 자신에게 유리한 평가자를 고르고, 불리한 결과를 영업비밀로 묶거나, 위험성이 큰 범위를 제외할 수 있기 때문이다. 따라서 독립 평가가 작동하려면 평가자가 훈련 체크포인트와 내부 로그를 볼 수 있어야 하며, 충분한 조사 기간과 편집 간섭 없는 공개 권한을 가져야 한다.

자율 약속을 넘어 규제로

연구자들은 방향 자체를 환영하면서도 평가자의 자격, 접근 권한, 조사 기간, 이해상충, 공개 절차를 담은 공개 프레임워크를 요구한다. 자율적인 약속은 상업적 압박이나 홍보 위기 때 바뀔 수 있다. 캘리포니아에서는 안전 프레임워크와 중대 사고 보고, 독립 검증 기관에 관한 제도가 마련되고 있으며, 유럽연합 AI법도 평가와 적대적 테스트의 기록을 요구한다.

현재 Meta, SpaceXAI, Google DeepMind는 상주형 제3자 평가자 도입을 약속하지 않았다. 앞으로의 핵심 질문은 평가자가 누구인지보다 구체적이다. 무엇을 볼 수 있고, 얼마나 오래 조사하며, 기업에 불리한 결론도 공개할 수 있는가가 이 제도의 실효성을 결정할 것이다.

출처: TechCrunch AI