AI 안전

Hugging Face가 2026년 7월 생산 인프라 일부에서 발생한 보안 침해를 공개했다. 회사는 이번 공격이 자율 AI 에이전트 시스템에 의해 수행됐으며, 초기 진입점은 데이터셋 처리 파이프라인이었다고 설명했다.

arXiv 논문은 AI 기반 시스템의 침투 테스트가 서버나 권한 침해 여부에만 머물러서는 안 된다고 주장한다. 공격자가 프롬프트, 검색 콘텐츠, 센서 입력, 도구 호출 등을 통해 AI의 행동을 바꾸고 운영 목표를 위반하게 만들 수 있기 때문이다.

새 arXiv 논문은 감사 대상 선택 이력이 내부고발자를 추론하는 단서가 될 수 있음을 형식화했다. 연구진은 지속적 카운팅 기반의 프라이버시 보장 감사 메커니즘을 제안한다.

arXiv 논문은 LLM 기반 네트워크 침입 탐지 시스템에 인증 가능한 강건성을 제공하는 TA-RS를 제안한다. 핵심은 전체 특징이 아니라 원격 공격자가 직접 조작할 수 있는 트래픽 특징 공간에만 가우시안 노이즈를 주입하는 것이다.

이 arXiv 논문은 서로 다른 런타임에 흩어진 에이전트 활동을 표준화된 행동 객체로 변환하는 CAVA를 제안한다. 핵심은 승인된 행동, 실제 실행, 사후 검증이 모두 같은 행동 정체성을 가리키도록 만드는 것이다.

OpenAI가 내부 자동 레드팀 모델 GPT-Red를 공개했다. 이 시스템은 자기 대전 강화학습을 통해 프롬프트 인젝션 취약점을 대규모로 찾아내고, 생산 모델의 견고성을 높이는 데 쓰인다.