자율주행 VLM의 ‘미래 궤적 유출’ 문제, DEFT-RLVR가 검증 가능한 추론으로 바꾼다

도입

자율주행 연구에서는 시각-언어-행동을 연결하는 VLA 모델과, 장면을 이해하고 판단 근거를 설명하는 VLM의 역할이 커지고 있다. 모델이 단순히 감속, 차선 유지, 회피 같은 행동을 출력하는 데 그치지 않고, 왜 그런 판단을 했는지 설명할 수 있어야 한다는 요구가 커졌기 때문이다. 이를 위해 많은 학습 파이프라인이 Chain-of-Thought(CoT) 감독을 활용한다.

하지만 이 논문은 그 과정에 중요한 허점이 있다고 지적한다. 교사 모델이 추론 과정을 생성할 때 로그에 기록된 정답 미래 궤적을 미리 보는 경우가 있다는 것이다. 이렇게 되면 모델은 도로 장면의 증거로부터 결정을 추론하기보다, 이미 주어진 결과에 맞춰 그럴듯한 이유를 만들어낼 수 있다. 저자들은 이를 궤적 앵커링 편향이라고 부르며, 특히 인과적으로 까다로운 장면에서 환각과 부정확한 설명을 심화시킬 수 있다고 설명한다.

핵심 내용

• 문제는 CoT가 아니라 정답의 조기 노출이다. 미래 궤적을 먼저 보면 설명은 실제 판단 과정이 아니라 사후 합리화가 되기 쉽다.
• 정답 궤적을 없애는 것만으로는 충분하지 않다. 모델이 자유롭게 미래 궤적을 생성하도록 하면 고수준 의사결정, 기하학적 경로 합성, 저수준 동역학이 뒤섞여 검증이 어려워진다.
• AD-MCQ는 계획을 객관식 문제로 바꾼다. 모델은 궤적을 처음부터 생성하지 않고, 명시적으로 제시된 여러 후보 궤적 중 하나를 선택한다.
• DEFT-RLVR는 미래 궤적의 역할을 바꾼다. 미래 궤적은 결정 전 힌트가 아니라, 결정 이후 검증에 쓰이는 목표가 된다.
• VLM 기반 추론을 유지한다. 후보 구성으로 난이도를 조절할 수 있으며, 논문은 이 방식이 자율주행 추론을 개선하면서 일반 시각 능력도 유지하거나 향상시킬 수 있다고 보고한다.

의미와 영향

이 연구의 핵심 가치는 자율주행 모델의 설명이 정말로 판단 근거에 기반하는지 묻는 데 있다. 안전이 중요한 시스템에서는 그럴듯한 텍스트만으로 충분하지 않다. 정답을 본 뒤 만든 설명은 감사, 디버깅, 검증 과정에서 신뢰도가 떨어질 수 있다.

AD-MCQ는 현실적인 설계이기도 하다. 연속적인 미래 궤적을 완전히 생성하게 하는 것보다, 후보 궤적 중 선택하게 하면 결과를 검증하기 쉽다. 동시에 여러 가능한 주행 의도를 비교하도록 만들 수 있고, 후보와 방해 선택지를 어떻게 구성하느냐에 따라 과제 난이도도 조절할 수 있다.

물론 후보 궤적의 품질과 다양성은 중요한 변수다. 후보가 부실하면 모델이 실제 주행 판단이 아니라 선택지의 패턴을 학습할 위험이 있다. 그럼에도 DEFT-RLVR는 자율주행 VLM 데이터 설계에서 중요한 원칙을 제시한다. 모델에게 미래를 먼저 보여준 뒤, 스스로 추론한 것처럼 만들면 안 된다는 점이다.

출처: Hugging Face Daily Papers