그럴듯한 미래 예측만으로는 부족하다: 웹 월드 모델의 안전성

들어가며

웹 에이전트는 클릭, 제출, 구매, 설정 변경과 같은 행동을 실행하기 전에 그 결과를 예측하는 방향으로 발전하고 있습니다. 웹 월드 모델은 후보 행동 이후 화면과 상태가 어떻게 변할지 시뮬레이션하는 역할을 맡습니다. 기존 평가는 예측된 미래가 자연스럽고 일관적인지에 주목하는 경우가 많았습니다.

하지만 안전성이 중요한 환경에서는 그럴듯한 서술만으로 충분하지 않습니다. 예측이 해당 행동을 실행해도 되는지, 사용자에게 추가 질문을 해야 하는지, 아니면 차단해야 하는지를 판단할 수 있는 핵심 정보를 보존해야 합니다. 미래가 현실적으로 보이더라도 승인 여부를 가르는 정보가 빠져 있다면 안전한 의사결정에는 사용할 수 없습니다. arXiv 논문 Beyond Plausible Prediction: Safety Sufficiency in Web World Models는 이러한 조건을 ‘안전 충분성(safety sufficiency)’이라고 부릅니다.

핵심 내용

• 의미상 타당성이 승인 정확도를 보장하지 않는다. 연구진은 10개 동결 오픈 모델이 생성한 3,000개 예측을 동일한 조건에서 사람에게 평가하게 했습니다. 86.1%가 의미상 그럴듯하다고 판단됐지만, 이것만으로 신뢰할 수 있는 안전 승인 능력이 확인된 것은 아닙니다.
• 과도한 차단은 또 다른 실패를 가릴 수 있다. 일부 모델은 위험한 행동을 잘못 허용하는 경우가 적었지만, 질문을 통해 불확실성을 해소해야 하는 ASK 사례를 충분히 찾아내지 못했고 BLOCK을 강하게 선호했습니다. 이런 모델은 겉보기에는 신중하지만 정상적인 작업을 불필요하게 막고, 확인으로 해결할 수 있는 모호성을 처리하지 못할 수 있습니다.
• SafeWebWorld는 판단 과정을 나눠 평가한다. 이 벤치마크는 다섯 가지 웹 안전 영역에서 행동 조건부 미래 생성, 정책 판단에 결정적인 증거 보존, 정책에 따른 승인 결정을 각각 살핍니다. 단순히 출력이 자연스러운지를 보는 것보다 실제 안전 제어 과정에 가까운 평가 방식입니다.
• 증거 보존 향상이 승인 판단 향상으로 이어지지는 않는다. 통제된 Security-Aligned Supervised Fine-Tuning에서 관련 증거를 유지하는 능력은 크게 좋아질 수 있었지만, 승인에 민감한 결정 성능은 오히려 악화됐습니다. 정보를 표현하는 능력과 그 정보를 정책에 맞게 사용하는 능력이 서로 다르다는 의미입니다.
• 점수 회복 가능성은 견고함과 다르다. Latent Authorisation Recovery, 즉 LAR는 승인 관련 점수 구조가 사라진 것인지, 아니면 의사결정 읽기 단계가 약한 것인지 구분하려는 방법입니다. 동결 점수를 재보정하면 일부 백본에서 상당한 회복이 나타났지만 효과는 모델 계열에 따라 달랐습니다. 쌍별 회복의 추가 이득은 제한적이었고, 같은 계열 안에서 비교하거나 승인 조건을 맞춘 평가에서는 결과가 여전히 좋지 않았습니다.

의미와 영향

웹 에이전트의 안전 실패는 위험한 행동을 허용하는 데서만 발생하지 않습니다. 모호한 요청을 모두 차단하면 잘못된 실행은 줄일 수 있지만, 정당한 작업을 끝내지 못하고 필요한 확인 질문도 하지 못합니다. 따라서 평가에는 잘못된 안전 실행, ASK 사례 식별, 증거의 완전성, 결정 경계의 안정성을 함께 포함해야 합니다. 전체 정확도 하나나 예측된 미래의 현실성만으로는 부족합니다.

이 연구는 안전 정렬 결과를 해석할 때도 주의를 요구합니다. 모델이 페이지 상태를 더 자세히 설명하게 됐다고 해서 승인 정책을 더 잘 적용한다고 볼 수는 없습니다. 사후 보정으로 전체 점수가 개선돼도 비슷한 사례나 새로운 조건에서 일관된 결정을 한다는 보장은 없습니다. 실제 배포에서는 예측, 증거 추출, 승인 판단 출력을 별도 구성요소로 보고, 계열 내 비교와 조건을 맞춘 평가까지 수행해야 합니다.

논문의 핵심 전환은 “모델이 믿을 만한 미래를 상상할 수 있는가”에서 “그 미래가 안전한 결정을 내리기에 충분한 정보를 드러내는가”로 질문을 바꾸는 데 있습니다. 이는 웹 에이전트뿐 아니라 예측 후 행동하는 다양한 AI 시스템을 평가하는 데 중요한 기준이 될 수 있습니다.

출처: arXiv