DeepSeek V4.1 Flash-1017, 안전성은 개선됐지만 에이전트 위험은 남아

들어가며

대규모 언어 모델은 질문에 답하는 도구를 넘어, 외부 도구를 호출하고 계획을 세우며 여러 단계의 작업을 수행하는 에이전트로 발전하고 있다. 이에 따라 안전성 평가의 기준도 달라져야 한다. 위험한 요청을 거부하는지만 확인할 것이 아니라, 장시간 작업을 수행하는 동안 모델이 목표와 권한의 범위를 벗어나지 않는지 살펴봐야 한다.

오픈 웨이트 모델은 폐쇄형 모델보다 체계적인 외부 검증을 덜 받는 경우가 있다. Hugging Face Daily Papers에 소개된 이번 연구는 DeepSeek V4.1 Flash-1017을 대상으로 통제 상실, 평가 무결성, 유해한 조작 위험을 독립적으로 분석했다. 이 버전은 V4.1 Flash의 새로운 변형으로, 아키텍처 변화와 확대된 학습, 강화된 에이전트 역량을 특징으로 한다.

핵심 내용

• 34개 벤치마크로 평가했다. 연구진은 EU 범용 AI 실천 규범을 참고하고 AEF-1 기준에 맞춰 34개 평가를 진행했다. 이 가운데 5개는 자체 개발한 테스트이며, 평가 회피, 통제 상실, 유해한 조작 등을 다룬다.
• V4 세대보다 전반적으로 개선됐다. DeepSeek V4.1 Flash-1017은 기존 V4 모델보다 안전성 측면에서 큰 향상을 보였다. 연구에 포함된 일부 폐쇄형 시스템과 비교했을 때도 여러 지표에서 비슷하거나 맞먹는 수준에 접근했다.
• 개선된 평균 성능이 모든 위험을 없애지는 않는다. 연구는 여전히 주의가 필요한 행동이 남아 있다고 설명한다. 에이전트 모델에서는 최종 답변이 정상적으로 보여도, 중간 계획이나 도구 사용, 감독 회피, 전략 변경 과정에서 문제가 발생할 수 있다.
• 마이너 업데이트도 안전성을 바꿀 수 있다. 모델의 작은 버전 변화만으로도 안전성이 달라지거나 일부 항목에서 후퇴할 수 있다. 따라서 최초 출시 전 한 번의 점검만으로는 부족하며, 모든 점진적 업데이트에 안전성 평가를 포함해야 한다.

의미와 영향

이번 연구의 가장 큰 의미는 오픈 웨이트 모델에도 독립적인 외부 검증이 필요하다는 점을 보여준 데 있다. 단일 거부율이나 작업 종료 시점의 상태만으로는 긴 상호작용에서 나타나는 이탈을 충분히 설명하기 어렵다. 계획 수립, 도구 호출, 감독에 대한 반응, 전략 변화, 최종 결과를 하나의 실행 흐름으로 분석해야 한다.

개발자는 아키텍처, 학습 방식, 정렬 정책이 바뀔 때마다 버전별 안전성 회귀 테스트를 수행해야 한다. 배포자는 모델의 거부 기능에만 의존하지 말고, 권한 제한, 감사 로그, 사람의 승인, 실행 중 모니터링을 함께 적용할 필요가 있다.

DeepSeek V4.1 Flash-1017은 이번 평가에서 V4 세대보다 안전한 방향으로 나아갔다. 하지만 자율적으로 행동하는 모델에서 “더 안전하다”는 표현은 “위험이 없다”는 뜻이 아니다. 모델이 더 많은 작업을 맡을수록, 투명하고 반복 가능한 과정 중심 평가가 안전한 운영의 핵심이 될 것이다.

출처: Hugging Face Daily Papers