記事一覧へ戻る
マルチモーダル

DeepSeek Harness v0.1.0-rc.8、エージェント作業に画像入力を導入

読了目安 3 分

導入

公開ベータの開始からわずか1週間で、DeepSeek Harnessはv0.1.0-rc.8を公開した。今回の更新は14項目で、特に目を引くのがマルチモーダル入力への対応だ。Harnessはネイティブな画像リクエストと、テキスト・画像を組み合わせた入力を受け取れるようになった。

ただし、これは基盤となる純粋なテキストモデル自体が突然、視覚能力を獲得したという意味ではない。より正確には、Harnessの入力処理とタスク編成に画像を扱う経路が追加され、対応するモデルやバックエンドへ画像を渡せるようになったと見るべきだろう。

主な更新

  • 画像および混在入力:テキストだけでなく、画像単体または画像とテキストを含むリクエストに対応する。
  • ワークフローコマンドへの画像入力:/goalや/planへ画像を直接渡せる。画面キャプチャなどを目標や計画の材料にできる点が重要だ。
  • サブエージェント連携の拡張:Claude CodeとCodexがサブエージェント体系にさらに接続された。具体的な割り当て規則や上限は素材で示されていないため、完全なマルチエージェント基盤と断定するのは早い。
  • Windowsの永続PowerShell:セッションを維持できるため、端末環境を何度も作り直す手間を減らせる。
  • 簡易モードのデフォルト化:初期状態の操作を軽くする方向の変更だが、細かな差異は実際のリリースで確認する必要がある。

意味と影響

これまでマルチモーダル機能は、画像をアップロードして1回回答を得るチャット体験として提供されることが多かった。今回の変更は、画像をエージェントの作業フローに組み込む点に意味がある。スクリーンショットを目標の説明に使い、視覚情報を計画作成へ渡せるため、コード作成や画面分析、端末操作に近い使い方が可能になる。

一方で、Harnessが画像リクエストを受け付けても、すべてのバックエンドで同じ視覚理解が得られるとは限らない。対応形式や認識精度、最終的な出力は接続先のモデルやサービスに依存する。したがって、rc.8は新しい基盤モデルの発表というより、マルチモーダルなエージェント作業を支える基盤側の更新と捉えるのが適切だ。

ベータ期間中に入力、サブエージェント、Windows環境を並行して拡張している点も注目される。今後は、画像の文脈が計画から実行まで安定して維持されるか、サブエージェントの役割分担が明確になるか、バックエンド間で体験が揃うかが焦点になる。

出典:OSChina

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
Multimodal Flow、言語と視覚を一つの連続生成プロセスで統合
マルチモーダル
cctest.ai
マルチモーダル

Multimodal Flow、言語と視覚を一つの連続生成プロセスで統合

HUST Vision Lab は、言語と画像を同じ連続空間で扱う Multimodal Flow を提案した。画像を離散トークンへ量子化せず、連続ハイパーチャンクと共有 Flow Matching バックボーンで両モダリティを統一的にモデル化する。

続きを読む
CCTest · Blog
画像生成を視覚推論の中間ステップにするReImaGin
マルチモーダル
cctest.ai
マルチモーダル

画像生成を視覚推論の中間ステップにするReImaGin

ReImaGinは、画像生成モデルをマルチモーダル大規模言語モデルの視覚推論機構として利用する手法です。6種類のタスクで、テキストのみの推論や専用視覚ツールのベースラインを上回り、最大25%の改善が報告されています。

続きを読む
CCTest · Blog
OmniTaskonomyが示す、視覚生成から視覚理解への能力転移
マルチモーダル
cctest.ai
マルチモーダル

OmniTaskonomyが示す、視覚生成から視覚理解への能力転移

画像生成の学習は、条件が合えば視覚理解も高められるのでしょうか。OmniTaskonomyは、19種類の画像間生成タスクと25種類の理解能力を整理し、どのタスク間で転移が起きるのかを分析しました。

続きを読む