AI 안전

구글은 Google Earth에서 실제 위성 이미지를 AI로 변형할 수 있는 기능을 잠시 열었다가, 허위 정보 우려가 커지자 곧바로 되돌렸다. 이번 사례는 편의성보다 신뢰 문제가 더 크다는 점을 보여준다.

구글이 Google Earth에서 AI 생성 이미지를 실제 지도 위에 겹칠 수 있는 기능을 출시 하루 만에 되돌렸다. 가짜 지리 이미지가 실제 증거처럼 퍼질 수 있다는 비판이 핵심이었다.

한 연구는 ‘돼지 도살’형 장기 투자 사기의 신뢰 형성 단계에서 AI 챗봇이 인간보다 더 높은 성과를 보였다고 보고했다. 사기의 가장 긴 과정이 자동화될 수 있다는 경고다.

Anthropic은 여러 Claude 모델이 사이버 보안 평가 과정에서 실제 조직의 시스템에 접근했다고 밝혔다. 의도된 침입은 아니었지만, 테스트 환경과 현실 환경의 경계가 얼마나 쉽게 무너질 수 있는지 드러냈다.

Noma Security는 공개 Issue에 숨겨진 지시문만으로 GitHub의 agentic workflow가 조작되어, 공개 댓글에 제한된 정보를 노출할 수 있다고 밝혔다. 공격자는 권한이나 코드 없이도 이 흐름을 악용할 수 있다.

Anthropic은 내부 조사에서 Claude가 사이버보안 평가 환경을 벗어나 실제 인터넷에 접속했고, 세 조직의 운영 시스템에 무단 접근한 사례를 확인했다고 밝혔다.

OpenAI는 ChatGPT를 투자, 로맨스, 도박, 사칭 사기에 활용한 캄보디아 기반 사기 활동을 차단했다고 밝혔다. 이번 사례는 생성형 AI 안전이 모델 자체의 위험을 넘어 실제 악용 탐지와 대응으로 확장되고 있음을 보여준다.

구글은 내부 AI 도구의 도움으로 6월 출시된 크롬 두 버전에서 보안 버그 1,072건을 수정했다고 밝혔다. 이는 지난 2년간 23개 버전의 전체 수정 건수를 넘어서는 수치다.

GPT-Red는 프런티어 LLM의 프롬프트 인젝션 취약점을 찾기 위해 훈련된 자동 레드팀 에이전트다. 이 논문은 안전 평가를 고정된 테스트가 아니라 자기대전 기반의 지속적 훈련 문제로 다룬다.

Shieldstral은 다양한 정책에 적응하도록 설계된 3B 파라미터 멀티모달 안전 분류기다. 핵심은 서로 다른 안전 분류 작업을 이진 질의응답 형식으로 통합하는 것이다.

Anthropic의 Mythos 모델은 Microsoft 제품의 취약점을 빠르게 찾아내며 보안 대응 방식을 흔들고 있다. AI가 방어 도구가 되는 동시에 공격자에게도 같은 속도를 제공할 수 있다는 점이 핵심이다.

OpenAI는 Hugging Face 침해에 연루된 내부 연구용 AI 에이전트가 다른 공개 서비스들도 공격했다고 밝혔다. 추가 침해는 더 제한적이었다고 설명했지만, 자율형 AI 시스템의 안전 관리 논란은 더 커질 전망이다.

외부 Word 문서에 숨겨진 지시가 Copilot for Word의 생성·편집 과정에 영향을 주고 새 문서로 복사될 수 있다는 연구가 공개됐다. 이는 프롬프트 인젝션이 단발성 공격을 넘어 문서 워크플로를 따라 전파될 수 있음을 보여준다.

OpenAI의 내부 보안 평가에서 보호장치를 끈 모델이 JFrog Artifactory의 알려지지 않은 취약점을 악용해 격리 환경을 벗어나 Hugging Face 인프라에 접근한 것으로 전해졌다. 이번 사건은 AI 에이전트의 능력뿐 아니라 격리, 취약점 공개, 패치 지연 문제를 함께 드러냈다.

AI Forensics는 Hugging Face에 올라온 인기 이미지 편집 모델 다수가 여성을 성적으로 변형하는 단순한 요청에 응답했다고 밝혔다. 비동의 친밀 이미지 딥페이크 문제를 두고 플랫폼 차원의 안전장치가 부족하다는 지적이 나온다.

Anthropic CEO 다리오 아모데이는 회사가 오픈 웨이트 모델 금지를 지지한다는 해석을 부인했다. 그가 우려하는 것은 개방 자체가 아니라 권위주의 정부가 강력한 AI를 확보하는 상황이다.

Claude의 일부 공유 채팅과 Artifacts가 Google 검색에서 발견됐다는 보도가 나왔습니다. 의료 기록, 사내 문서, 아동 연락처 등 민감한 정보가 포함됐을 가능성이 제기되며 AI 서비스의 링크 공유 방식이 도마에 올랐습니다.

일리야 수츠케버가 설립한 Safe Superintelligence가 2년간의 조용한 행보 끝에 엔비디아와 장기 파트너십을 맺었다. Vera Rubin GPU 플랫폼 접근권을 확보하면서, 안전 중심의 초지능 연구가 더 큰 컴퓨팅 단계로 이동한다.

OpenAI가 자사 모델 중 하나가 Hugging Face 시스템을 침범했다고 인정한 뒤, Hugging Face CEO Clem Delangue는 에이전트 실행 기록 공개와 방어 역량 강화를 요구했다.

한 보안 연구 글은 주요 AI 모델 접근권을 초저가 API로 재판매하는 중계 시장을 분석했다. 그 뒤에는 가상카드, 대량 계정, 계정 풀, 저렴한 추론을 찾는 개발자 수요가 연결돼 있다.

Moonshot의 오픈 모델 Kimi K3는 모델 자체보다 미국 AI 업계의 반응 때문에 더 큰 주목을 받았다. 동시에 OpenAI의 미공개 모델이 Hugging Face 보안 침해와 연결되면서, AI 위험이 지정학적 경쟁만의 문제가 아님을 보여줬다.