Claude가 암호 알고리즘 약점 발견을 지원하다: AI 암호분석의 새 국면

도입

Anthropic은 Claude Mythos Preview가 암호 알고리즘 자체의 수학적 약점 발견을 도왔다고 발표했다. 이번에 공개된 결과는 후양자 디지털 서명 후보인 HAWK와, 연구 목적으로 약화한 라운드 축소 AES에 관한 것이다. 회사는 두 결과 모두 현재 운영 중인 시스템에는 직접적인 영향을 주지 않는다고 강조했지만, 프런티어 AI가 암호분석 영역에 본격적으로 들어서고 있음을 보여주는 사례다.

핵심 내용

• HAWK 공격 개선: HAWK는 NIST의 추가 후양자 디지털 서명 방식 공모에서 3라운드 후보로 남아 있는 방식이다. Anthropic에 따르면 Claude Mythos Preview는 약 60시간의 작업을 통해 기존 최선의 공격을 개선했고, 결과적으로 유효 키 강도를 절반 수준으로 낮췄다. 핵심은 HAWK가 사용하는 격자 구조에서 이전에 실제 공격에 활용되지 않았던 비자명 자기동형을 찾아낸 것이다.
• 라운드 축소 AES 공격 가속: AES는 널리 쓰이는 대칭키 암호지만, 연구자들은 보안 여유를 이해하기 위해 약화된 변형을 자주 분석한다. Mythos는 이런 라운드 축소 버전에 대해 공격자가 해야 하는 추측 하나를 제거하는 방법을 찾아, 기존 최선 공격보다 약 200~800배 빠른 결과를 냈다. 다만 이는 전체 AES를 깨뜨린 것이 아니다.
• 높은 자율성과 인간 연구자의 역할: HAWK 결과는 Anthropic 연구자 1명과 Claude의 협업으로 나왔고, AES 결과는 연구자가 만든 스캐폴드 안에서 Claude가 더 자율적으로 탐색해 얻었다. Anthropic은 각 결과를 개발하는 데 약 10만 달러의 API 비용이 들었다고 설명했다.
• 책임 있는 공개와 벤치마크: Anthropic은 학계와 결과를 검증하고, HAWK 저자 및 NIST 공개 메일링 리스트, 정부·업계 파트너에게 사전 공유했다고 밝혔다. 또한 ETH Zurich, Tel Aviv University, University of Haifa와 협력해 LLM의 암호분석 능력을 평가하는 CryptanalysisBench를 만들었다.

의미와 영향

이번 발표는 현재의 암호 체계가 즉시 위험해졌다는 뜻은 아니다. HAWK는 아직 표준화 후보일 뿐 배포되지 않았고, AES 관련 결과도 실제 표준 AES가 아니라 의도적으로 약화된 연구용 변형에 대한 것이다.

그럼에도 중요한 변화는 AI의 역할이다. 지금까지 보안 분야에서 대형 모델은 코드 취약점 탐지나 구현 오류 분석에 많이 연결됐다. 이번 사례는 모델이 문헌 검토, 수학적 가설 탐색, 계산 실험, 검증 과정에 참여해 알고리즘 수준의 약점까지 찾아낼 수 있음을 보여준다.

암호학에는 양면성이 있다. 더 강력한 AI는 약점 발견 비용을 낮출 수 있지만, 동시에 표준화 전 후보 알고리즘을 더 강하게 압박해 안전성을 높이는 도구가 될 수도 있다. 앞으로는 평가 기준, 책임 있는 공개 절차, 고위험 능력의 관리가 AI for Science와 사이버보안의 중요한 접점이 될 것이다.

출처: Hacker News