AI가 찾은 약점에 HAWK 탈락, 양자내성 암호 심사에 경고등

도입

미국 표준 후보로 검토되던 양자내성 암호 알고리즘 하나가 AI의 도움으로 발견된 약점 때문에 사실상 경쟁에서 빠졌다. Ars Technica 보도에 따르면 Anthropic의 보안 모델 Mythos는 HAWK라는 디지털 서명 방식에 대한 공격을 개선하는 데 기여했다. HAWK는 미래의 양자컴퓨터 공격에도 견디도록 설계됐지만, 공개 이후 개발자가 후보 철회를 밝혔다.

HAWK는 단순한 실험용 알고리즘이 아니었다. NIST의 양자내성 암호 평가에서 두 차례 심사를 통과했고, 더 깊은 결함을 찾기 위한 3라운드 검토를 받고 있었다. 이번 결과는 바로 그 검토 과정에서 나온 사례다.

핵심 요점

• 배포된 암호가 깨진 것은 아니다. Anthropic은 암호학 전문가가 아닌 연구자가 Mythos를 활용해 약 60시간, 약 10만 달러의 컴퓨팅 비용으로 HAWK에 대한 기존 최선의 공격을 개선했다고 설명했다. 그 결과 유효 키 강도가 크게 낮아졌다.
• 완전히 새로운 수학보다 기존 도구의 조합이 중요했다. HAWK의 안전성은 격자 동형 문제의 어려움에 기반한다. Mythos가 기여한 부분은 자기동형 대칭성을 찾는 새로운 방법으로, 이미 알려진 여러 기법을 새롭게 연결한 데 의미가 있다.
• 완화책은 있지만 매력이 줄어든다. 키 크기를 두 배로 늘리면 약점을 줄일 수 있지만 계산 비용이 커진다. 이 때문에 HAWK는 ML-DSA나 FN-DSA 같은 다른 양자내성 서명 방식에 비해 덜 매력적인 선택지가 된다.
• AES 관련 결과는 더 제한적이다. Mythos는 약화된 AES 도전 과제에서 meet-in-the-middle 공격을 개선해 필요한 평문 입력 수를 약 2^105에서 2^89로 낮췄다. 그러나 이는 실험 환경의 결과이며, 표준 사양의 AES를 직접 위협한다고 보기는 어렵다.

의미와 영향

이번 사건을 “AI가 현대 암호를 해독했다”로 해석하는 것은 과장이다. 원문도 여러 제한을 분명히 한다. 테스트 대상은 약화된 문제이거나 아직 표준화 전인 후보였고, 오늘날 널리 쓰이는 암호 시스템이 직접 위험해진 것은 아니다. 기반 수학 원시 요소도 현재로서는 안전한 것으로 여겨진다.

더 중요한 변화는 연구 방식에 있다. Mythos는 아무것도 없는 상태에서 새로운 수학을 만든 것이 아니라, 문헌을 검토하고 기존 기법을 연결하며 계산 실험으로 검증하는 방식으로 더 나은 공격 경로를 구성했다. 암호분석에서는 흩어진 아이디어를 올바르게 조합하는 것만으로도 큰 진전이 될 수 있다. AI 에이전트가 바로 그 작업을 빠르게 수행할 가능성이 드러난 셈이다.

NIST의 양자내성 표준화 관점에서 HAWK의 철회는 실패라기보다 심사 체계가 작동했다는 신호에 가깝다. 표준으로 확정되어 대규모 배포된 뒤 문제가 발견되는 것보다 훨씬 낫다. 동시에 AI 업계에는 새로운 과제를 던진다. 앞으로는 공격을 찾아내는 것보다, 사람이 그 결과의 정확성·신규성·실용성을 검증하는 일이 더 큰 병목이 될 수 있다.

출처: Ars Technica AI