AIUC, AI 에이전트 안전 인증 구축 위해 4,000만 달러 조달

AI 에이전트가 단순한 대화 도구를 넘어 기업 데이터와 업무 시스템에 연결되면서, 기업의 핵심 질문도 달라지고 있다. 모델이 작업을 수행할 수 있는지만으로는 충분하지 않다. 에이전트가 허용되지 않은 행동을 하지 않는지, 민감한 정보를 보호하는지, 이상한 지시를 받았을 때 예측 가능한 방식으로 움직이는지를 확인해야 한다.

사이버보안 감사 모델을 AI 에이전트에 적용

Artificial Intelligence Underwriting Company, 줄여서 AIUC는 앤트로픽 초기 직원이었던 Rune Kvist와 AI 안전 연구기관 METR의 전 COO Rajiv Dattani가 공동 설립했다. 회사는 Ribbit Capital이 주도하고 First Harmonic이 참여한 시리즈 A에서 4,000만 달러를 조달했다. 앞서 1,500만 달러의 시드 라운드를 마쳤으며, 누적 투자금은 5,500만 달러다. AIUC는 Cursor, Lovable, Harvey, ElevenLabs를 고객으로 언급했다.

Kvist는 AI 성능이 높아진다고 해서 도입이 반드시 쉬워지는 것은 아니라고 본다. 오히려 더 강력한 시스템은 통제가 어려울 수 있다. 은행, 병원, 정부 같은 조직이 우려하는 지점은 모델의 지능만이 아니라, 시스템이 무엇을 하고 무엇을 하지 않을지 고객에게 설명하고 보장할 수 있는지 여부다.

AIUC가 제시한 평가 방식

• AIUC-1 표준: 널리 활용되는 사이버보안 통제 프레임워크 SOC 2를 참고해 AI 에이전트용 안전성과 신뢰성 기준을 만든다.
• 구매자의 요구 반영: 약 250명의 보안 및 리스크 책임자로 구성된 협의체를 운영하며, 기업이 에이전트를 구매할 때 확인하고 싶은 내용을 테스트에 반영한다.
• 다양한 위험 시나리오 점검: 탈옥 시도, 환각, 데이터 유출 등을 포함해 약 5,000개 테스트를 수행한다.
• 상세 감사 보고서 제공: 약 100쪽 분량의 보고서에서 신뢰할 수 있는 영역과 주의가 필요한 영역을 설명한다. 테스트 실행과 데이터 분석에는 AI를 사용하지만, 최종 감사는 사람이 검증한다.

이 방식은 프런티어 모델과 에이전트가 작업을 안정적으로 완료하는지를 평가해 온 METR의 활동과 일부 닮았다. 다만 AIUC는 연구 평가보다 기업의 구매와 배포 의사결정에 가까운 제3자 안전성 판단을 제공하는 데 초점을 맞추고 있다.

의미와 한계

일반적인 벤치마크는 통제된 환경에서의 성능은 보여줄 수 있지만, 실제 도구와 기업 데이터에 연결된 뒤 정보가 유출되거나 제한을 우회하는 상황까지 충분히 설명하지 못할 수 있다. 표준화된 감사는 이런 위험을 비교 가능한 구매 기준으로 바꾸고, 개발사가 배포 전에 제품의 약점을 찾는 데 도움을 줄 가능성이 있다.

그러나 인증이 절대적인 안전을 보장하는 것은 아니다. 에이전트의 위험은 권한, 데이터, 도구, 지시, 운영 환경에 따라 달라진다. 따라서 AIUC는 테스트가 얼마나 투명하고 반복 가능한지, 평가 대상 기업과 충분히 독립적인지를 입증해야 한다.

AI 안전은 연구실 중심의 모델 평가에서 기업 운영과 거버넌스의 영역으로 이동하고 있다. AIUC의 투자는 이러한 평가 계층에 대한 시장 수요를 보여준다. 다만 AIUC-1이 에이전트 시대의 SOC 2가 될 수 있을지는 기업, 개발사, 규제기관, 독립 연구기관의 채택과 검증에 달려 있다.

출처: TechCrunch AI