マルチモーダル

Hallo4Dは、3Dおよび4D生成で起こる形状のずれ、重複、時間的なちらつきを抑えるための枠組みです。基盤となる生成モデルを再学習せず、マルチモーダルLLMを一貫性の判定役として使います。

KnowAct-GUIClaw は、「Know Deeply, Act Perfectly」という考え方に基づき、OpenClaw のクロスプラットフォーム GUI 操作と自己進化機構の不足を補うことを目指す。経験に基づく記憶、自己進化するスキルライブラリ、反省プロセスを組み合わせ、実行能力を継続的に高める設計だ。

arXiv に投稿された CF-Net は、映像内の ambivalence/hesitancy（葛藤やためらい）を認識するためのマルチモーダルモデルだ。典型的な表情ではなく、視覚・音声・テキストの微妙な不一致に注目する。

arXiv に投稿された論文は、マルチモーダル大規模言語モデルを活用する AgentHOI を提案している。固定カテゴリの分類器を学習する代わりに、推論と視覚的グラウンディングを組み合わせて開かれた場面の HOI 検出を行う。

arXivの新論文は、2D事前学習済みの医用マルチモーダル大規模言語モデルに3D体積画像の理解力を持たせるため、スライス単位のデータ合成手法を提案している。診断過程を構造化された推論データとして学習させる点が特徴だ。

AspectCLIP は、画像には複数の意味的側面がある一方で、キャプションはその一部しか記述しないという問題に着目する。テキスト類似性に基づく属性クラスタを使い、一貫性正則化をより適切な範囲に限定する。

Thinking MachinesのInklingがHugging Faceで公開された。画像、テキスト、音声をネイティブに入力できる大規模マルチモーダルモデルで、1MコンテキストとMoE構成を特徴とする。