같은 설명, 다른 행동: 추론형 VLA의 텍스트·행동 분리 위험

들어가며

추론형 시각언어행동(VLA) 모델은 카메라 입력을 해석하고 자연어로 판단 근거를 설명한 뒤, 운전이나 물체 조작에 필요한 행동을 출력한다. 사람이 모델의 이유를 읽을 수 있다는 점은 안전 감독의 장점으로 여겨져 왔다.

하지만 Hugging Face Daily Papers에 소개된 이번 연구는 설명과 행동이 항상 함께 움직이지 않는다는 점을 보여준다. 모델이 같은 이유를 그대로 말하면서도 실제 제어 행동은 달라질 수 있다는 것이다.

핵심 내용

• 설명을 바꾸지 않는 공격. 기존 VLA 추론 공격은 이유 문장을 훼손해 이상 징후를 남기는 경우가 많았다. 이번 연구는 설명을 유지한 채 물리적 행동만 변화시키는 시각적 섭동을 찾는 데 초점을 맞췄다.
• TNAS 제안. 자율주행 모델 Alpamayo와 조작 모델 InstructVLA의 텍스트·행동 공유 인터페이스에서, 행동에는 민감하지만 텍스트 손실에는 상대적으로 중립적인 은닉 상태 방향을 탐색했다. 연구진은 이를 텍스트 중립 행동 부분공간(TNAS)이라고 부른다.
• 텍스트는 행동 상태의 완전한 표현이 아니다. 가장 행동 민감한 방향과 활성 텍스트 손실 그래디언트의 노름 중첩률은 Alpamayo에서 1.87%, InstructVLA에서 5.28%에 불과했다. 따라서 문장이 같다는 사실만으로 제어에 필요한 내부 상태까지 같다고 볼 수 없다.
• 주행 실험에서 안전 허점 확인. 장애물 주석이 있는 Alpamayo 154개 장면에서 TNAS를 사용한 전체 이미지 섭동은 설명이 단어 단위로 동일한 상태에서 52.6%의 장면에 새로운 충돌을 만들었다. 전방 카메라의 국소 패치만 사용해도 35.1%였으며, 비유도 행동 공격은 4.55%였다.
• 조작 작업에도 나타난다. InstructVLA에서도 전체 응답을 그대로 보존하면서 행동 청크를 이동시킬 수 있었다. 이 현상은 자율주행에만 국한되지 않을 가능성을 보여준다.

의미와 영향

이 연구가 모든 VLA가 동일한 방식으로 공격된다고 주장하는 것은 아니다. 다만 설명이 자연스럽고 변하지 않았다는 사실을 안전한 행동의 대리 지표로 사용하는 평가 방식에는 분명한 사각지대가 있다. 언어 출력은 은닉 상태를 여러 상태에서 하나의 문장으로 압축할 수 있으므로, 행동에 중요한 차이가 설명에 드러나지 않을 수 있다.

실제 안전 모니터링은 텍스트 일치 여부뿐 아니라 예측 행동, 이동 궤적, 충돌 위험, 실행 결과를 직접 확인해야 한다. 평가 과정에도 설명은 유지하면서 행동이 변하는지를 측정하는 반사실 테스트를 포함해야 하며, 전체 이미지와 국소 시각 섭동을 모두 다뤄야 한다.

더 큰 질문은 텍스트와 행동이 공유 인터페이스를 사용할 때 두 출력의 정합성을 어떻게 보장할 것인가다. 체화형 AI에서 설명 가능성은 이유를 말할 수 있는 능력만으로 완성되지 않는다. 모델이 말한 내용과 실제 행동이 지속적으로 연결되어 있는지를 별도로 검증해야 한다.

출처: Hugging Face Daily Papers