DialFork, 대화형 에이전트의 ‘절차적 환각’을 측정하다

들어가며

날씨를 확인해 달라고 요청했을 때, 에이전트가 계속 정중하고 유창하게 답하면서도 정작 예보를 제공하지 않는 경우가 있습니다. 개별 문장에 명백한 사실 오류가 없더라도 사용자의 목표에는 도달하지 못한 것입니다. 문제의 핵심은 무엇을 잘못 말했는지가 아니라, 주어진 작업 절차를 따라 대화를 전진시키지 못했다는 데 있습니다. DialFork 논문은 이를 절차적 환각이라고 부르며, 이 현상을 측정하는 벤치마크를 제안합니다.

주요 내용

• 턴 단위 평가의 한계 보완: 사실성이나 의미적 관련성을 한 번에 한 발화씩 평가하면 필수 단계의 생략, 잘못된 전환, 목표와 무관한 반복을 놓칠 수 있습니다. DialFork는 대화가 전체적으로 어떤 경로를 따라갔는지에 초점을 둡니다.
• 대화 포킹 방식의 데이터 구축: 연구진은 먼저 의도된 절차를 준수하는 대화를 만들고, 특정 턴 위치에서 변화를 주어 이후 대화가 원래 경로에서 갈라지도록 했습니다. 이 분기 위치는 이탈이 시작된 지점을 추정하는 신호로도 활용됩니다.
• 다양한 범위: 데이터셋은 24개 작업과 12개 도메인에 걸친 36,278개의 영어 대화로 구성되며, 네 가지 절차적 환각 유형을 포함합니다. 구축 결과는 30명의 인간 평가자가 검증했습니다.
• 세 가지 평가 과제: 대화 집합 간 거리는 배포된 에이전트 집단을 모니터링하는 데 쓰입니다. 개별 대화 간 거리는 올바른 절차에 가까운 사례를 검색하는 데 활용됩니다. 또한 최초로 경로를 벗어난 턴을 예측하는 과제는 실시간 가드레일을 위한 것입니다.
• 흐름 중심 지표: FlowKL과 FlowScore는 단순한 내용 또는 의미 유사도 대신 대화가 진행되는 방식을 비교합니다. 논문 요약에 따르면 대화 수준 평가에서 FlowScore는 7개 인코더를 사용한 비교에서 평가된 모든 기준선보다 좋은 성능을 보였습니다. 이는 의미가 비슷한 대화와 절차가 비슷한 대화가 다를 수 있음을 보여줍니다.

의미와 영향

이 문제는 고객지원, 예약, 정보 수집, 도구 호출처럼 여러 단계를 거치는 에이전트에서 특히 중요합니다. 각 응답이 개별적으로는 무난해도 전체 작업이 완료되지 않으면 실제 서비스 가치는 낮아집니다. DialFork는 에이전트가 무엇을 말했는지만이 아니라, 목표 달성을 향해 어떻게 진행했는지를 별도의 평가 대상으로 제시합니다. 또한 대화가 완전히 실패한 뒤가 아니라 최초 이탈 지점에서 개입할 가능성도 열어 둡니다.

다만 기준 경로에서 벗어나는 것이 언제나 실패를 뜻하는 것은 아닙니다. 사용자가 중간에 목표를 바꾸거나 새로운 정보에 따라 에이전트가 계획을 조정할 수 있기 때문입니다. 따라서 DialFork 점수는 작업 성공률, 사용자 만족도, 사람의 검토를 대체하기보다 모니터링과 원인 분석을 위한 신호로 보는 편이 적절합니다.

데이터셋과 코드는 MIT 라이선스로 공개됐습니다. DialFork는 대화형 에이전트 평가를 문장 단위의 정답성에서 장기적인 절차 신뢰성으로 확장하는 출발점이 될 수 있습니다.

출처: Hugging Face Daily Papers