LLM은 왜 변하는 사용자 의도를 놓치는가

도입

LLM이 단순 질의응답을 넘어 글쓰기, 코딩, 조사, 도구 사용을 돕는 협업 에이전트로 쓰이면서 사용자 지시는 훨씬 더 유동적인 형태를 띠고 있다. 실제 사용자는 처음부터 완전한 목표와 제약을 제시하지 않는다. 대화를 하며 조건을 덧붙이고, 일부 요구를 수정하고, 우선순위를 바꾸며, 때로는 과제의 방향 자체를 바꾼다. 논문 LLMs Get Lost in Evolving User Intent 는 바로 이 상황에서 현재 LLM이 사용자 의도를 얼마나 잘 따라가는지를 다룬다.

핵심 내용

• 문제는 단순한 맥락 망각이 아니다. 모델이 이전 대화를 갖고 있더라도 사용자의 현재 목표를 안정적으로 유지하지 못할 수 있다. 첫 요청에 과도하게 고정되거나, 반대로 마지막 발화에만 반응해 여전히 유효한 이전 제약을 잊어버리는 식이다.
• 단일 턴 평가는 한계가 있다. 많은 벤치마크는 완전히 명시된 지시를 한 번에 제공한다. 이는 정적인 문제 해결 능력을 재는 데는 유용하지만, 새 정보 통합, 수정 처리, 보충 설명과 방향 전환의 구분 같은 실제 대화 능력을 평가하기 어렵다.
• 기존 벤치마크를 재활용하는 방식이다. 연구진은 정적 단일 턴 과제를 다중 턴 대화로 변환한다. 이 대화에서는 의도가 단계적으로 공개되고, 수정되며, 때로는 중간에 재지정된다. 동시에 원래 과제의 평가 프로토콜을 유지하기 때문에 새로운 대규모 주석 없이도 통제된 테스트베드를 만들 수 있다.
• 강한 정적 성능도 그대로 이어지지 않는다. 논문은 여러 과제에서 진화하는 의도 설정으로 바꾸면 모델 성능이 크게 떨어지는 일관된 현상을 보고한다. 이는 특정 모델 하나의 문제가 아니라 여러 모델 계열에서 나타나는 폭넓은 한계로 해석된다.

의미와 영향

이 연구는 코딩 에이전트나 장기 작업 보조 도구를 개발하는 사람들이 경험해 온 실패 양식을 명확히 이름 붙인다. 사용자는 대화 과정에서 자신이 원하는 바를 발견하지만, 에이전트는 초기에 세운 가정을 최종 목표처럼 다루거나 최신 문장에만 맞춰 전체 목표를 놓칠 수 있다. 도구 호출이 포함된 환경에서는 이런 불일치가 단순한 오답을 넘어 불필요한 API 비용, 잘못된 수정, 심지어 파괴적 행동으로 이어질 수 있다.

따라서 앞으로의 평가는 모델이 명확한 한 문장 지시를 따르는지에 그쳐서는 안 된다. 대화가 진행되며 갱신되는 사용자 의도 표현을 유지하고, 어떤 제약이 여전히 유효하며 어떤 목표가 바뀌었는지 추적할 수 있는지를 봐야 한다. 명시적 의도 추적, 점검 가능한 에이전트 상태, 목표 보존 메커니즘, 상호작용 중심 학습이 더 중요해질 가능성이 크다. 진정한 협업 에이전트는 마지막 문장만 맞추는 시스템이 아니라, 여러 턴에 걸쳐 사용자가 달성하려는 바를 계속 이해하는 시스템이어야 한다.

출처: Hugging Face Daily Papers