아티클 목록으로
AI 안전

Gemini로 등산 계획한 3명, 샤스타산에서 구조돼

약 3분 소요

들어가며

생성형 AI는 여행 일정과 이동 경로를 짜는 도구로 빠르게 확산하고 있다. 그러나 산악 지형처럼 환경이 변하고 판단 실수가 큰 위험으로 이어지는 장소에서는, 자연스럽고 자신감 있는 답변이 곧 안전한 계획을 의미하지 않는다. 미국 캘리포니아주 샤스타산에서 Google Gemini를 이용해 원정을 준비한 3명이 구조된 사건은 이러한 한계를 보여준다.

사건의 경과

시스키유 카운티 보안관실에 따르면 세 명의 젊은 남성은 오전 3시에 산행을 시작했다. 등산객들은 정오까지 정상에 도착하지 못하면 돌아서도록 안내받지만, 이들은 오후 7시가 되어서야 정상에 올랐다. 이후 어둠 속에서 하산을 시도했고, 방향을 묻기 위해 보안관실에 연락했다. 세 사람은 Mud Creek Canyon에서 밤을 보낸 뒤 다음 날 아침 산림청 직원과 자원봉사자들에게 구조됐다.

보안관실은 Gemini가 일행의 실제 필요량보다 훨씬 적은 음식과 물을 가져가도록 조언했다고 설명했다. 당초 약 8시간으로 예상했던 오르막 구간이 예상치 못한 여러 날의 일정으로 바뀌었기 때문이다. 다만 공개된 내용만으로 모든 판단 오류를 Gemini의 책임으로 단정할 수는 없다. 출발 후 시간과 현장 상황을 어떻게 평가했는지도 사건에 영향을 미쳤다.

핵심 내용

  • AI는 일반 정보를 바탕으로 경로를 제안할 수 있지만, 최신 통제 구간, 적설량, 날씨 변화, 구조 가능성을 파악하지 못할 수 있다.
  • 소요 시간과 식량·식수의 필요량은 체력, 장비, 고도 적응, 예기치 못한 지연에 따라 달라진다.
  • 길을 잃거나 계획보다 오래 머무는 상황을 고려해 명확한 철수 시점과 추가 물자를 준비해야 한다.
  • 범용 챗봇보다 현지 산림 당국, 공식 지도, 숙련된 가이드의 정보를 우선해야 한다.

의미와 영향

이번 사건의 핵심은 특정 모델이 언제나 틀린다는 데 있지 않다. 범용 AI는 현장의 최신 상태를 직접 확인하지 못하고, 사용자의 경험 수준이나 장비, 비상 계획을 충분히 묻지 않을 수 있다. 또한 매끄럽고 단정적인 표현은 불확실한 추정을 검증된 안전 지침처럼 보이게 만들 수 있다.

사용자는 AI를 경로 후보를 정리하거나 현지 당국에 물어볼 질문을 만드는 보조 수단으로 활용할 수 있다. 하지만 최종 일정은 공식 트레일 정보와 기상 자료, 현지 전문가를 통해 확인해야 한다. 보안관실도 출발 전에 현지 USFS Mount Shasta ranger station에 연락하고, 여행 계획을 AI에만 의존하지 말라고 당부했다.

AI 개발사 역시 고위험 상황에서 불확실성을 더 분명히 표시해야 한다. 등산뿐 아니라 의료, 해상 활동 등에서도 시스템은 최신 정보 확인을 유도하고, 부족한 전제 조건을 드러내며, 근거 없는 추정치를 안전 기준처럼 제시하지 않아야 한다.

이번에는 세 사람이 더 큰 피해 없이 구조됐다. 그러나 현실 세계의 안전을 보장하는 것은 AI의 편리함이 아니라 전문적인 판단, 여유 있는 준비, 그리고 필요할 때 되돌아가는 결정이다.

TechCrunch AI

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물

CCTest · Blog
안전 벤치마크가 측정하는 것은 능력일까, 학습된 정책일까
AI 안전
cctest.ai
AI 안전

안전 벤치마크가 측정하는 것은 능력일까, 학습된 정책일까

가드레일 분류기의 안전 점수는 위험 요청을 탐지하는 능력뿐 아니라 학습 라벨에 포함된 운영 정책에 크게 좌우될 수 있다. 연구에서는 작은 파라미터 변경과 교사 모델의 소프트 라벨만으로도 평가 결과가 크게 달라졌다.

더 보기
CCTest · Blog
브라우저 에이전트 보안의 기준은 문구가 아니라 웹 요소의 의미
AI 안전
cctest.ai
AI 안전

브라우저 에이전트 보안의 기준은 문구가 아니라 웹 요소의 의미

웹페이지에 삽입된 제3자 문구는 브라우저 에이전트를 설득해 사용자의 권한으로 원치 않는 작업을 수행하게 만들 수 있다. Intact는 요소의 출처와 능력을 보존하고, 모델 바깥에서 실행 범위를 제한한다.

더 보기
CCTest · Blog
재귀적 자기 증류가 모델 안전성을 점진적으로 무너뜨릴 수 있다
AI 안전
cctest.ai
AI 안전

재귀적 자기 증류가 모델 안전성을 점진적으로 무너뜨릴 수 있다

모델의 안전한 생성물과 무해한 단서만 사용하더라도 재귀적 자기 증류 과정에서 유해 요청에 대한 안전한 행동이 약화될 수 있다는 연구가 나왔다. 연구진은 이를 ‘점진적 불일치’라고 부른다.

더 보기