画像編集AIは「次に何を直すか」を画像を見て提案する段階へ

導入

画像生成サービスの使われ方は、単発のプロンプト入力から、何度も調整を重ねる共同制作へと変わりつつある。ユーザーは最初の画像を見たあと、背景を変えたい、要素を追加したい、構図を整えたい、別の画風にしたいといった要望を続けて出す。しかし、会話型アシスタントの多くは、次の提案をテキスト履歴だけから作る発想にとどまりがちだ。

画像編集では、それだけでは不十分である。現在の画像に人物がいないのに「服を変える」と提案しても意味が薄い。すでに夜景である画像に「夜にする」と勧めても、ユーザーにとって有益とは言いにくい。この論文が扱うのは、画像生成会話において「次にどの編集を提案すべきか」を、視覚情報に基づいて判断する問題である。

主要ポイント

• 実データが示す画像依存性：著者らは Qwen App から収集した 10 万件の実際の多ターン画像生成会話を分析した。その結果、後続インタラクションの 80.1% が現在の画像に依存していることが分かった。これは、テキストだけの推薦では画像編集支援に限界があることを示している。
• 人手確認済みの編集意図を構築：第一段階では、オンラインデータをもとに適切なフォローアップ編集意図の表を作り、人間がレビューする。これを教師ありファインチューニングの目標として使い、現実の利用場面に近い提案を学習させる。
• クリックフィードバックによる最適化：第二段階では、ユーザーが実際にどの提案をクリックしたかを使い、多目的強化学習でポリシーを最適化する。文として自然かどうかだけでなく、ユーザーが選びたくなるか、会話を続けやすくするかが重視される。
• 視覚検証器で不整合を抑制：第三段階では visual verifier を追加の教師信号として導入し、現在の画像と矛盾する提案を罰する。流暢だが画像と合っていない提案を減らすための仕組みである。

意義と影響

論文で特に重要なのは、数百万人規模のオンライン A/B テストで効果が確認されている点だ。最終フレームワークは、視覚的不整合率を 3.7% から 0.9% に低下させた。さらに、推薦 CTR を 32.70%、画像持ち帰り率を 16.32%、平均会話ターン数を 39.90% 改善している。

これは、次の編集提案が単なる UI の補助機能ではなく、画像生成体験そのものを左右する要素であることを示す。ユーザーが迷ったとき、AI が画像を理解したうえで実行可能な方向性を示せれば、創作は続けやすくなる。今後のマルチモーダルアシスタントは、命令を待つだけでなく、画像の状態とユーザーの意図を読み取り、共同制作者として次の一手を提案する方向へ進むだろう。

出典：Hugging Face Daily Papers