더 오래 생각하면 더 나은 상품을 고를까
상품 사진과 설명, 구매 조건을 함께 살펴야 하는 쇼핑 에이전트라면 추론에 더 많은 노력을 들일수록 추천도 좋아질 것이라고 기대하기 쉽습니다. 그러나 대규모 언어 모델을 대상으로 한 이번 평가는 그런 기대에 제동을 겁니다. 추론 노력을 높였을 때 선택의 질이 확실히 좋아지지는 않았고, 모델이 스스로 밝히는 자신감은 오히려 커졌습니다.
연구진은 WebShop, Amazon의 SQID, Wayfair의 WANDS 등 세 가지 상품 선택 벤치마크에서 최첨단 모델 10종을 평가했습니다. 핵심 질문은 두 가지였습니다. 더 많은 추론이 상품 선택을 개선하는지, 그리고 모델이 표현하는 자신감이 실제 정답 가능성을 반영하는지 확인했습니다.
주요 결과
- 판단 품질은 유의미하게 개선되지 않았다. 세 벤치마크 모두에서 추론 노력을 늘려도 의사결정 품질이 통계적으로 유의미하게 높아지지 않았습니다. 이는 평가한 과제에 대한 결과이며, 모든 상황에서 추가 추론이 무용하다는 뜻은 아닙니다.
- 모델의 자신감은 높아졌다. 선택 품질의 유의미한 개선과 달리, 모델이 보고한 자신감은 추론 노력이 늘면서 유의미하게 상승했습니다. 따라서 더 단정적인 추천을 더 정확한 추천으로 간주해서는 안 됩니다.
- 자신감 보정은 미흡했다. 보정은 모델이 밝힌 확신과 실제 정답률이 얼마나 일치하는지를 뜻합니다. 연구에서 대다수 모델은 여러 추론 수준에서 보정이 충분하지 않았습니다. 자신감 점수만으로 답변의 위험을 판단하기 어렵다는 의미입니다.
- 모델들은 오류를 공유했다. 한 모델이 특정 과제에서 틀리면 다른 모델도 같은 과제에서 틀리는 경향이 강했습니다. 여러 모델이 오답을 낸 과제에서는 상당수가 같은 잘못된 상품을 골랐습니다. 여러 AI의 의견이 일치하더라도 정답을 보장하지 않습니다.
쇼핑 에이전트 설계에 주는 시사점
개발자는 추론 예산이나 자신감 있는 표현을 신뢰성의 대리 지표로 삼기보다, 상품 선택이 실제 조건에 부합하는지 직접 평가해야 합니다. 자신감 수치를 소비자에게 보여주거나 자동 구매에 활용하려면 실제 정답률과 얼마나 맞는지도 검증해야 합니다. 또한 여러 모델을 함께 쓰더라도 오류가 서로 겹친다면, 이를 독립적인 교차 검증으로 볼 수 없다는 점을 고려해야 합니다.
이번 결과는 세 가지 벤치마크에 기반하므로 모든 상품군이나 실제 쇼핑 환경에 그대로 적용된다고 볼 수는 없습니다. 다만 평가된 과제에서는 추론을 더 투입해 얻은 것이 신뢰할 만한 선택 개선이 아니라 더 커진 자신감이었다는 점을 분명히 보여줍니다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…