AI 가드레일, 공격적 보안 연구를 막고 있나

도입

AI 기업들은 모델이 악성 해킹, 공격 자동화, 익스플로잇 개발에 쓰이지 않도록 접근 심사와 안전 가드레일을 강화해 왔다. OpenAI와 Anthropic도 사이버보안 전문가를 위한 별도 접근 프로그램을 운영한다. 하지만 TechCrunch가 인터뷰한 여러 보안 연구자는 이런 제한이 실제 방어 업무에도 부담이 되고 있다고 지적했다.

사이버보안은 대표적인 이중용도 영역이다. 취약점이 실제로 악용 가능한지 검증하는 과정은 패치를 우선순위화하는 데 필요하지만, 동시에 공격자가 익스플로잇을 구성하는 절차와 매우 비슷하다. AI 모델 입장에서는 이를 단순히 “좋은 요청”과 “나쁜 요청”으로 나누기 어렵다.

핵심 포인트

• 공격과 방어는 같은 기술을 공유한다. NCC Group의 Chris Anley는 코드 수정을 돕는 요청이 방어에 필수적이지만, 동시에 치명적 취약점을 찾는 길잡이가 될 수 있다고 설명했다.
• 가드레일은 일관되지 않을 수 있다. RemoteThreat의 Chris Thompson은 연구자가 취약점 분석보다 모델을 설득하거나 필터링 이유를 파악하는 데 시간을 쓰게 된다고 말했다.
• 심사 프로그램도 마찰을 완전히 없애지 못한다. OpenAI의 Trusted Access for Cyber와 Anthropic의 Cyber Verification Program은 더 안전한 접근 경로를 제공하지만, 일부 연구자는 여전히 제한이 좁고 불안정하다고 본다.
• 로컬 오픈소스 모델이 대안이 된다. 클라우드 모델이 답변을 거부하거나 민감한 취약점 정보를 외부에 올릴 수 없을 때, 연구자들은 자체 실행 가능한 모델을 선택한다.
• AI 활용 방식은 연구자마다 다르다. 어떤 연구자는 AI를 초기 리버스 엔지니어링, 코드 이해, 보조 도구 제작에만 쓰고 실제 버그 발견과 무기화는 직접 수행한다고 밝혔다.

의미와 영향

강력한 AI 모델이 공격자의 역량을 키울 수 있다는 우려는 타당하다. 따라서 안전장치를 없애자는 주장은 현실적이지 않다. 그러나 너무 넓은 차단은 방어자까지 느리게 만든다. 특히 제로데이 연구나 익스플로잇 가능성 검증에서는 위험해 보이는 질문이 실제로는 패치를 위한 핵심 절차일 수 있다.

또 다른 문제는 풍선효과다. 책임 있는 연구자가 미국 기업의 클라우드 모델을 쓰기 어렵다고 느끼면, 제한이 적은 오픈소스 모델이나 해외 모델, 로컬 환경으로 이동할 가능성이 커진다. 그러면 AI 기업이 마련한 통제 체계 바깥에서 더 민감한 연구가 진행될 수 있다.

결국 필요한 것은 단순한 차단이 아니라 정교한 권한 설계다. 전문 연구자에게 안정적인 접근을 제공하고, 사용 정책을 예측 가능하게 만들며, 민감한 취약점 데이터가 유출되거나 학습에 흡수되지 않도록 보장해야 한다. 동시에 실제 악용에 대해서는 명확히 책임을 물어야 한다.

이 논쟁은 AI 거버넌스의 핵심 질문을 보여준다. 같은 능력이 방패도 되고 무기도 될 때, 누가 그 도구를 쓸 수 있는지 누가 결정할 것인가.

출처: TechCrunch AI