이미지 편집 AI, 이제는 화면을 보고 다음 수정안을 제안해야 한다

들어가며

이미지 생성 서비스의 사용 방식은 점점 반복적인 편집 과정으로 바뀌고 있다. 사용자는 한 번의 프롬프트로 끝내지 않고, 생성된 이미지를 보며 배경을 바꾸거나, 요소를 추가하거나, 스타일을 바꾸거나, 구도를 다듬는다. 따라서 대화형 이미지 도구가 “다음에 무엇을 해볼까요?”라고 제안하는 기능은 사용자 경험에서 중요한 역할을 한다.

하지만 기존 대화형 추천 방식은 주로 텍스트 대화에 맞춰져 있었다. 이미지 편집에서는 이것만으로 부족하다. 현재 이미지에 사람이 없는데 “옷을 바꿔보세요”라고 제안하거나, 이미 밤 장면인 이미지에 “밤 분위기로 바꾸기”를 추천한다면 자연스러운 문장이라도 쓸모가 떨어진다. 이 논문은 이미지 생성 대화에서 후속 편집 제안을 현재 이미지와 사용자 의도에 맞게 만드는 문제를 다룬다.

핵심 내용

• 실제 데이터로 확인한 이미지 의존성: 연구진은 Qwen App에서 수집한 실제 다중 턴 이미지 생성 대화 10만 건을 분석했다. 그 결과 후속 상호작용의 80.1%가 현재 이미지 내용에 의존하는 것으로 나타났다. 이는 다음 편집 추천이 단순한 텍스트 추천이 아니라 멀티모달 추천 문제임을 보여준다.
• 사람이 검토한 편집 의도 구축: 첫 번째 단계에서는 실제 온라인 데이터를 활용해 적절한 후속 편집 의도 표를 만들고, 이를 사람이 검토한다. 이렇게 만든 목표는 멀티모달 정책 모델의 SFT에 사용된다. 목적은 그럴듯한 문장을 생성하는 것이 아니라, 실제 사용자가 선택할 법하고 현재 이미지에서 실행 가능한 편집 방향을 학습시키는 것이다.
• 사용자 클릭 피드백 기반 강화학습: 두 번째 단계에서는 사용자가 어떤 추천을 클릭했는지에 대한 피드백을 활용한다. 다목적 강화학습을 통해 규칙 기반 SFT 제안을 실제 사용자 선택과 더 잘 맞추며, 추천의 실사용 가치를 높인다.
• 시각 검증기로 불일치 감소: 세 번째 단계에서는 visual verifier를 추가 학습 신호로 도입한다. 이 검증기는 현재 이미지와 맞지 않는 제안을 벌점 처리해, 문장은 자연스럽지만 화면과 충돌하는 추천을 줄이도록 돕는다.

의미와 영향

이 연구의 설득력은 대규모 온라인 A/B 테스트 결과에서 특히 드러난다. 수백만 명의 사용자를 대상으로 한 실험에서 최종 프레임워크는 시각적 불일치율을 3.7%에서 0.9%로 낮췄다. 또한 추천 CTR은 32.70%, 이미지 take-away rate는 16.32%, 사용자당 평균 대화 턴은 39.90% 향상됐다.

이는 후속 편집 제안이 단순한 편의 기능이 아니라 이미지 생성 제품의 몰입도와 지속 사용성을 높이는 핵심 요소가 될 수 있음을 시사한다. 좋은 AI 이미지 도구는 명령을 기다리는 데서 그치지 않고, 현재 화면을 이해하고 사용자의 취향을 추론하며 실행 가능한 다음 단계를 제안해야 한다. 창작 소프트웨어, AI 드로잉 앱, 멀티모달 에이전트 모두에게 시각적으로 정렬된 추천 기능은 중요한 경쟁력이 될 가능성이 크다.

출처: Hugging Face Daily Papers