PlannerForge, LLM 에이전트로 자율주행 테스트 파이프라인 통합

들어가며

자율주행 시스템을 테스트하는 일은 단순히 복잡한 교통 장면을 생성하는 것보다 어렵다. 자연어로 표현된 요구사항을 실행 가능한 시나리오로 바꾸고, 적절한 장면을 선택하거나 수정한 뒤, 운동 플래너를 실행하고 결과가 실제 결함을 의미하는지 분석해야 한다. 그러나 기존 시나리오 기반 테스트에서는 이 작업들이 여러 도구에 나뉘어 있고, 각 단계 사이의 상호작용도 제한적이었다. EMNLP 2026에 채택된 PlannerForge는 LLM 에이전트로 이 분절된 과정을 연결하려는 프레임워크다.

핵심 내용

• 테스트 전 과정을 연결한다. PlannerForge는 시나리오 생성, 선택, 수정, 모듈 라우팅, 플래너 테스트, ADS 평가를 하나의 흐름으로 다룬다. LLM을 단순한 장면 생성기가 아니라 전체 작업을 조정하는 계층으로 활용하는 접근이다.
• 확장 단계도 포함한다. 기존의 시나리오 생성부터 평가까지의 과정에 ADS Enhancement와 ADS Benchmarking을 더했다. 전자는 자율주행 시스템의 개선을 지원하고, 후자는 여러 시스템이나 설정을 비교하는 데 초점을 둔다.
• 다양한 모델과 프롬프트를 비교했다. 연구진은 10개의 기성 LLM을 5가지 프롬프트 조건에서 평가했다. 과제별 최고 점수는 0.881.00이었으며, 20B35B 규모 오픈 모델은 대부분의 과제에서 상용 API와 비슷한 수준을 보였다. Qwen3.6:35B는 보고된 5개 과제 중 3개에서 상용 모델과 대등한 결과를 냈다.
• 연결된 파이프라인의 손실을 측정했다. 여러 모듈을 순차적으로 연결했을 때 시작 쿼리의 보존율은 상용 모델에서 83%, 오픈 모델에서 78%였다. 개별 모듈의 높은 점수가 전체 시스템의 품질로 그대로 이어지지 않는다는 뜻이다.
• 자연어 요구를 실행 가능한 장면으로 변환했다. Scenario Factory 2.0과 비교한 실험에서 PlannerForge는 200개의 자연어 요청 중 193개를 실행 가능한 시나리오로 만들었고, 비교 대상은 144개였다. 도시, 도로, 차량 속성의 구현률은 92~96%로 보고됐다.

의미와 한계

PlannerForge의 핵심 의미는 시나리오 생성, 시뮬레이션 실행, 결과 분석을 별개의 도구로만 보지 않고 LLM 에이전트가 서로 연결하도록 설계했다는 데 있다. 엔지니어가 복잡한 테스트 조건을 자연어로 작성하면서도 이를 실행 가능한 검증 절차로 전환할 가능성을 제시한다.

다만 이 결과가 자율주행 안전성 자체가 입증됐다는 뜻은 아니다. 실제 가치는 시뮬레이터의 신뢰성, 시나리오의 현실성, 평가 기준의 충분성, 그리고 에이전트가 생성·판단 과정의 오류를 찾아내는 능력에 달려 있다. 엔드투엔드 보존율은 라우팅과 형식 변환이 여전히 중요한 병목임을 보여준다. 앞으로는 더 복잡한 교통 참여자 상호작용과 실제 데이터, 독립적인 안전 감사 환경에서도 동일한 성능을 유지하는지, 그리고 발견된 문제를 검증 가능한 시스템 개선으로 전환할 수 있는지를 확인해야 한다.

출처: Hugging Face Daily Papers