LLM 에이전트는 각본을 지킬 수 있을까? 장기 일관성 벤치마크

대화형 스토리나 게임에서 어려운 것은 멋진 문장을 만드는 일이 아니라, 긴 상호작용 동안 세계관과 설정을 끝까지 지키는 일입니다. 이 논문은 그 문제를 Narrative Commitment Preservation(NCP) 라고 정의합니다. 즉, 사용자가 자유롭게 개입하고 행동을 바꾸더라도, 모델이 앞서 세운 사실과 이후 반드시 진행해야 할 줄거리를 유지할 수 있는가를 묻습니다.

이를 검증하기 위해 저자들은 NCP-Bench를 만들었습니다. 영화 시놉시스에서 가져온 100개의 서사 환경으로 구성되며, 각 환경에는 이야기의 궤적, 지켜야 할 약속, 초기 사실이 구조화되어 있습니다. 시스템은 플레이어 에이전트와 나레이터 에이전트의 상호작용을 진행하면서 매 턴 자동으로 검증할 수 있습니다.

벤치마크가 보는 항목

• 이미 확립된 사실과 충돌하는지
• 플레이어의 행동에 실제로 반응하는지
• 이후 반드시 달성해야 할 플롯을 잃지 않는지
• 긴 상호작용에서도 일관성을 유지하는지

핵심 결과

• 문장이 유창하다고 해서 일관성이 높은 것은 아니다
• 적대적 개입이 있으면 강한 모델도 논리 충돌을 자주 만든다
• 최고 성능 모델인 GPT-5.2도 20턴 후 무충돌 생존률이 42%에 그쳤다
• 모델별 사실 충돌률은 40%~68% 범위였다
• 100턴 제한 안에서 모든 서사적 약속을 지키며 완주한 사례는 매우 적었다

이 연구의 의미는 분명합니다. AI 게임, 롤플레잉, 장기 메모리 기반 에이전트에서 중요한 것은 단순한 생성 품질이 아니라 상태 유지와 계획 지속성입니다. NCP-Bench는 모델이 겉으로는 자연스럽지만 실제로는 쉽게 무너지는 문제를 드러내는 실용적인 평가 도구입니다.

앞으로의 에이전트는 “잘 말하는” 수준을 넘어, “오래 말해도 설정을 잃지 않는” 능력이 필요합니다.

출처: Hugging Face Daily Papers