記事一覧へ戻る
マルチモーダル

DeepSeek Harness v0.1.0-rc.8、エージェント作業に画像入力を導入

読了目安 3 分

導入

公開ベータの開始からわずか1週間で、DeepSeek Harnessはv0.1.0-rc.8を公開した。今回の更新は14項目で、特に目を引くのがマルチモーダル入力への対応だ。Harnessはネイティブな画像リクエストと、テキスト・画像を組み合わせた入力を受け取れるようになった。

ただし、これは基盤となる純粋なテキストモデル自体が突然、視覚能力を獲得したという意味ではない。より正確には、Harnessの入力処理とタスク編成に画像を扱う経路が追加され、対応するモデルやバックエンドへ画像を渡せるようになったと見るべきだろう。

主な更新

  • 画像および混在入力:テキストだけでなく、画像単体または画像とテキストを含むリクエストに対応する。
  • ワークフローコマンドへの画像入力/goal/planへ画像を直接渡せる。画面キャプチャなどを目標や計画の材料にできる点が重要だ。
  • サブエージェント連携の拡張:Claude CodeとCodexがサブエージェント体系にさらに接続された。具体的な割り当て規則や上限は素材で示されていないため、完全なマルチエージェント基盤と断定するのは早い。
  • Windowsの永続PowerShell:セッションを維持できるため、端末環境を何度も作り直す手間を減らせる。
  • 簡易モードのデフォルト化:初期状態の操作を軽くする方向の変更だが、細かな差異は実際のリリースで確認する必要がある。

意味と影響

これまでマルチモーダル機能は、画像をアップロードして1回回答を得るチャット体験として提供されることが多かった。今回の変更は、画像をエージェントの作業フローに組み込む点に意味がある。スクリーンショットを目標の説明に使い、視覚情報を計画作成へ渡せるため、コード作成や画面分析、端末操作に近い使い方が可能になる。

一方で、Harnessが画像リクエストを受け付けても、すべてのバックエンドで同じ視覚理解が得られるとは限らない。対応形式や認識精度、最終的な出力は接続先のモデルやサービスに依存する。したがって、rc.8は新しい基盤モデルの発表というより、マルチモーダルなエージェント作業を支える基盤側の更新と捉えるのが適切だ。

ベータ期間中に入力、サブエージェント、Windows環境を並行して拡張している点も注目される。今後は、画像の文脈が計画から実行まで安定して維持されるか、サブエージェントの役割分担が明確になるか、バックエンド間で体験が揃うかが焦点になる。

出典:OSChina

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
MOSS-VL、話しながら見続けるリアルタイムVLMを設計
マルチモーダル
cctest.ai
マルチモーダル

MOSS-VL、話しながら見続けるリアルタイムVLMを設計

MOSS-VLは、視覚言語モデルに「話している間も見続ける」能力を組み込むことを目指したオープンモデル群です。ゲート付きクロスアテンション、対話行動を学ぶデータ、段階的な訓練によって、ストリーミング環境への対応を設計段階から行っています。

続きを読む
CCTest · Blog
SPARGen:3D再構成・密な対応付け・空間推論を統合するマルチモーダル生成モデル
マルチモーダル
cctest.ai
マルチモーダル

SPARGen:3D再構成・密な対応付け・空間推論を統合するマルチモーダル生成モデル

SPARGen は、空間理解に関わる複数のタスクを、指示条件付きの生成問題として統一する枠組みだ。個別モジュールではなく、同一のネイティブなマルチモーダル生成モデルで空間表現を学習する点に特徴がある。

続きを読む
CCTest · Blog
UniSwap:顔と声の置き換えを一つのストリーミングモデルへ
マルチモーダル
cctest.ai
マルチモーダル

UniSwap:顔と声の置き換えを一つのストリーミングモデルへ

UniSwap は、話者動画における外見と声質の同時置き換えを目指す音声・映像統合フレームワークです。別々のモデルを後段でつなぐのではなく、単一の音声映像拡散 Transformer 内で両方を扱います。

続きを読む