UserArena, 장기 쇼핑 행동으로 에이전트를 평가하다
추천 시스템은 한 번의 상품 노출을 최적화하는 단계를 넘어, 사용자의 목표를 파악하고 쇼핑 과정 전체를 지원하는 에이전트로 확장되고 있다. 에이전트는 사용자의 조회, 클릭, 건너뛰기 같은 반응을 바탕으로 다음 추천을 계속 수정해야 한다. 따라서 핵심 평가 질문도 달라진다. 단순히 다음 행동 하나를 맞히는 것이 아니라, 긴 상호작용이 이어지는 동안 시뮬레이션된 사용자가 실제 사용자처럼 행동하는지 확인해야 한다.
정적 로그를 넘어선 UserArena
UserArena는 실제 전자상거래 데이터를 기반으로 한 상호작용형 벤치마크다. 11,010명의 사용자로부터 수집한 64,729개 세션 궤적을 포함하며, 566,102개 상품과 13가지 행동 유형을 다룬다. 연구진은 로그를 단순한 다음 행동 예측 데이터로 사용하지 않고, 과거 궤적과 상호작용 환경을 결합했다. 이를 통해 추천 에이전트는 시뮬레이션된 사용자 반응을 받으며 여러 단계의 결정을 수행할 수 있다.
UserArena의 평가 체계는 다음 다섯 단계로 구성된다.
- 출력 유효성: 환경이 허용하는 행동을 생성하는가
- 국소적 의사결정: 각 단계의 추천이나 응답이 사용자 행동과 맞는가
- 순차 행동: 여러 단계의 전이가 현실적으로 이어지는가
- 개인화: 사용자별 차이를 유지하는가
- 결과: 장기 상호작용의 결과가 실제 경향과 가까운가
또한 통제된 운영 환경의 A/B 테스트 결과와 오프라인 정책 비교를 대조할 수 있다. 이는 시뮬레이터가 겉보기에는 현실적인지 확인하는 데서 그치지 않는다. 추천 정책을 바꾸었을 때 실제 환경에서 나타날 상대적 효과까지 예측하는지 검증할 수 있다는 뜻이다.
학생 모델의 궤적을 감독하는 OPTD
논문은 On-Policy Trajectory Distillation, 즉 OPTD도 제안한다. 일반적인 지도 학습은 기록된 궤적의 개별 행동에 주로 의존한다. 그러나 학생 모델이 다른 행동을 선택하면 이후 상태는 원래 로그와 달라진다. 이 차이가 누적되면 세션 후반부에서 사용자 시뮬레이션이 현실과 크게 어긋날 수 있다.
OPTD는 전체 궤적이 표현하는 사용자 의도를 활용해, 학생 모델이 직접 생성한 rollout에 더 밀도 높은 교사 목표를 제공한다. 모델이 실제로 방문한 상태를 감독하면서도 원래 궤적이 보여주는 행동 방향을 유지하도록 돕는 방식이다. 즉, 개별 다음 행동의 정확도만 높이는 것이 아니라 여러 단계에 걸친 행동의 일관성을 학습하는 데 초점을 둔다.
UserArena의 평가 프로토콜에서 OPTD는 비교된 시뮬레이터 가운데 가장 높은 종합 충실도를 기록했고, 오프라인 시뮬레이션에서 운영 환경에서 관찰된 정책 효과를 가장 가깝게 재현했다. 제공된 자료에는 세부 지표가 포함되어 있지 않으므로, 이 결과는 모든 쇼핑 환경에 대한 보편적 보장이라기보다 해당 벤치마크 안에서의 비교 결과로 해석하는 것이 적절하다.
추천 에이전트 연구에 주는 의미
UserArena의 가장 큰 의미는 사용자 시뮬레이션 평가를 다음 행동 예측에서 장기 궤적 모델링으로 확장했다는 데 있다. 쇼핑 에이전트가 해결해야 할 문제는 한 번의 추천이 그럴듯한지 여부만이 아니다. 변화하는 사용자 목표를 추적하고, 긴 상호작용에서도 안정적으로 판단하며, 서로 다른 정책의 효과를 신뢰성 있게 비교해야 한다.
다만 이 벤치마크는 특정 전자상거래 데이터와 사용자 행동 분포에 기반한다. 따라서 그 환경에서 높은 충실도를 보였다고 해서 다른 플랫폼, 상품군, 사용자 집단으로 자동 전이된다고 볼 수는 없다. 앞으로는 더 다양한 영역에서의 검증과 정책 변화, 사용자 특성 변화에 대한 강건성 평가가 중요해질 것이다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…