WeVisOne-VL、物体理解から画素レベルの知覚までを統合

画像を説明するだけでなく、正確に指し示す

視覚言語モデルは画像の説明や質問応答では大きく進歩しました。一方で、「その対象は画像のどこにあるのか」を細かく指定する処理には、依然として不安定さが残ります。対象を認識できても位置がずれたり、境界が粗くなったり、存在しない対象を誤って検出したりするためです。

Tencentのチームが発表したWeVisOne-VLは、この問題を対話可能な知覚の課題として捉えます。ユーザーは画像に何が写っているかを尋ねるだけでなく、対象の位置を点やバウンディングボックス、画素マスク、アルファマットとして要求できます。

異なる粒度の出力を1つの枠組みに

従来のコンピュータビジョンの構成では、検出、セグメンテーション、OCR、マッティングに別々のモデルやAPIを使うことが少なくありません。WeVisOne-VLは、構造化されたnext-token predictionによって、これらを1つの視覚言語モデルにまとめようとします。

中心となるのは特殊な<OBJ>トークンです。インスタンス単位の画素情報が必要になると、このトークンを介して軽量なpixel decoderが呼び出されます。言語モデルは指示の解釈や対象の同定、出力形式の整理を担い、画素デコーダーは対象に対応する細かな空間情報を生成します。これにより、点、ボックス、マスク、アルファマットを、完全に独立した処理ではなく、同じ対話フローの異なる出力粒度として扱えます。

報告されている主な機能は次の通りです。

• 物体検出と参照表現による位置特定
• 画像内の対象のカウント
• OCR
• セグメンテーション
• 画像マッティングとアルファマット推定
• 対象が存在しない問い合わせへの拒否

学習設計と評価の見方

学習には、3段階のカリキュラム型教師ありファインチューニングに続き、複数タスクを混ぜた強化学習が使われています。まず多様なタスクの出力形式を学習し、その後、異なる目的の間でより安定した判断と結果生成を促す構成だと考えられます。存在しない対象への拒否を重視している点も重要です。実用的な知覚モデルには、対象を見つける能力だけでなく、見つからないと判断する能力も求められます。

論文の概要では、30以上の物体レベル・画素レベルのベンチマークで高い性能を示したとされています。ただし、今回確認できる素材には個別のスコア、モデル規模、推論コストが含まれていません。そのため、すべてのタスクで一貫して優位だと断定するには、完全な論文と実験結果の確認が必要です。

意義と残る課題

WeVisOne-VLの意義は、画像を「理解する」ことと、対象を「正確に示す」ことの間に共通のインターフェースを設けようとしている点にあります。画像編集、データラベリング、文書理解、コンテンツ審査などでは、指示に応じて出力粒度を選べるモデルが、文章説明だけを返すモデルより導入しやすい可能性があります。

一方、統合アーキテクチャだけで実運用上の信頼性が保証されるわけではありません。複雑な場面での境界精度、複数対象の関係理解、難しいレイアウトのOCR、強化学習後の汎化性能は、コードと公開モデルを含めて検証すべき論点です。オープンソース公開は、こうした評価をコミュニティが進めるための入口になります。

出典：Hugging Face Daily Papers