OpenVLHarness、視覚モデルに再利用可能な証拠と記憶を与える

背景

マルチモーダル大規模言語モデルは画像理解で進歩していますが、正確な測定、外部情報の確認、複数ソースの統合が必要な課題では、モデル内部の推論だけでは限界があります。UCLAの研究チームが発表したOpenVLHarnessは、モデルが画像を見て直接回答するだけでなく、必要な証拠を自ら取得・確認・組み合わせるための推論ハーネスです。

主な仕組み

• 統一されたツール層：タスク単位のインターフェースを通じて、視覚認識やウェブ検索など異なるバックエンドを同じ形式で利用できます。
• 証拠のレンダリング：ツールの生の出力をそのまま渡すのではなく、モデルが読み取りやすい観察結果へ変換します。
• 永続的なマルチモーダルメモリ：画像、構造化データ、ウェブ参照を、クエリの途中で参照可能なアーティファクトとして保持します。
• コードによる統合：生成したプログラムを保存済みデータに対して実行し、複数ツールの結果を計算・比較できます。

ツール利用型推論では、取得した結果をモデルが正しく理解できるか、また初期段階の証拠を後の判断で再利用できるかが重要です。OpenVLHarnessは、証拠を取得し、内容を調べ、コードや別のツールで組み合わせ、その結果を次の推論に渡す反復プロセスを構成します。基盤モデル自体を再学習する必要がない点も特徴です。

評価と意義

22のベンチマークと、オープンおよびプロプライエタリな8種類のバックボーンで評価した結果、対応するツールなしのベースラインに対して平均9.7〜12.6ポイントの向上が報告されました。Qwen3-VL-8Bでは11.2ポイント、Kimi K3では9.7ポイント、GPT-6 Astraでは9.9ポイントの改善となっています。また、GPT-6 Lunaを中程度の推論設定で使った場合、最大設定のベースモデル、Codex、Visual Sketchpadを7.7〜8.5ポイント上回り、モデルのトークンコストはそれらの最大37％に抑えられました。

この結果は、マルチモーダル推論の改善が、パラメータ数や思考トークンの増加だけで決まらないことを示唆します。測定、検証、情報統合を含む課題では、ツールへのアクセス方法と証拠を保持する仕組みが品質を左右します。OpenVLHarnessは新しい単体モデルというより、既存モデルに外部能力を組織的に使わせる基盤です。一方で、ツールの信頼性、証拠間の矛盾処理、長期記憶の管理は今後の課題として残ります。

出典：Hugging Face Daily Papers