개인 에이전트는 플랫폼 추천 순위를 어떻게 수정하는가

들어가며

추천 시스템은 한 플랫폼이 사용자를 단독으로 분석하는 방식에서, 사용자가 여러 서비스에 걸친 개인 에이전트를 통해 추천을 관리하는 방식으로 이동하고 있다. 개인 에이전트가 다른 서비스의 관심사와 행동 기록을 참고할 수 있다면, 현재 플랫폼의 데이터만으로는 포착하기 어려운 취향을 추천에 반영할 수 있다.

하지만 교차 플랫폼 기록이 항상 플랫폼의 판단보다 우수한 것은 아니다. 플랫폼 추천기는 사용자가 직접 볼 수 없는 대규모 이용 패턴과 집단 통계 정보를 활용한다. 개인 에이전트가 자신의 정보만 믿고 순위를 크게 바꾸면, 원래 순위에 담긴 유용한 대중적 신호까지 잃을 수 있다.

Hugging Face Daily Papers에 소개된 이번 연구는 이 문제를 Personal-Agent Mediated Recommendation이라는 새로운 추천 설정으로 정식화했다. 먼저 플랫폼 추천기가 플랫폼 내부 정보만으로 후보 목록을 정렬한다. 이후 개인 에이전트가 사용자의 허가를 받은 교차 플랫폼 기록을 참고해 순위를 중재하고 최종 Top-K 목록을 출력한다.

핵심 내용

• 역할을 분리한다. 플랫폼은 로컬 상호작용, 콘텐츠 정보, 집단 수준의 증거를 제공하고, 개인 에이전트는 여러 서비스에 걸친 사용자 맥락을 더한다.
• 개입은 선택적이어야 한다. 교차 플랫폼 기록은 플랫폼이 놓친 항목을 구할 수 있지만, 근거가 약한 상태에서 좋은 추천을 잘못 덮어쓸 수도 있다.
• MediateRec을 제안한다. 이 벤치마크는 확장 가능한 대리 교차 플랫폼 환경과, 플랫폼과 에이전트의 정보 경계를 통제한 실제 교차 플랫폼 평가를 포함한다.
• PAMO로 개인 정보의 기여를 측정한다. Personal Attribution Mediation Optimization은 교차 플랫폼 기록을 반사실적으로 마스킹해 해당 정보가 순위 개입을 얼마나 뒷받침했는지 추정한다. 이후 플랫폼 상대 가치의 하한을 유지하면서 순위 인지형 어드밴티지를 재분배한다.

왜 중요한가

최종 결과만 보상하는 강화학습 방식은 결과가 좋아진 이유를 구분하기 어렵다. 개인 기록이 실제로 유용했기 때문인지, 아니면 에이전트가 우연히 순위를 바꿨기 때문인지 알기 힘든 것이다. PAMO는 개인 기록을 제거한 반사실적 상황과 결과를 비교해, 해당 정보가 있었기 때문에 발생한 중재의 가치를 추정하려 한다.

이론적으로 연구진은 PAMO가 컷오프 수준의 어드밴티지 총량을 유지하며, 평균적인 플랫폼 상대 가치를 낮추지 않는 1차 재분배 가운데 국소적으로 최적임을 보였다. MediateRec 실험에서는 개인 에이전트가 플랫폼 추천을 의미 있게 수정할 수 있었지만, 강력한 상용 대규모 언어 모델조차 무시할 수 없는 유해한 덮어쓰기를 발생시켰다. PAMO는 결과만 사용하는 대응 강화학습 방법보다 이미 본 플랫폼과 보지 못한 플랫폼, 그리고 실제 교차 플랫폼 평가에서 일관된 개선을 보였다.

이 연구의 broader한 의미는 개인 에이전트를 단순히 “사용자를 더 잘 아는 추천기”로 봐서는 안 된다는 데 있다. 에이전트는 여러 플랫폼 사이에서 사용자의 권한과 선호를 조정하는 중간 계층이 되어야 한다. 이를 위해 데이터 접근 승인과 철회, 근거 기반 개입, 확신이 낮을 때 원래 플랫폼 순위를 유지하는 안전장치가 필요하다. 향후에는 플랫폼과 사용자의 이해가 충돌할 때의 규칙과 순위 변경을 감사하는 방법도 마련해야 한다.

출처: Hugging Face Daily Papers