HeteroFold、異なるモデル間のKV Cache共有を実現
HeteroFoldは、異なるモデルファミリーで構成されたマルチエージェントLLMのための、Prefill不要のKV Cache転送手法です。論文では、32Kコンテキストの一方向で、受信側の通常Prefillに対して約10.7倍の高速化が報告されています。
続きを読むClaude API 中継局のガイド、検出の仕組み、LLM API の実測ノウハウ
全 2320 件の記事
RSS 購読HeteroFoldは、異なるモデルファミリーで構成されたマルチエージェントLLMのための、Prefill不要のKV Cache転送手法です。論文では、32Kコンテキストの一方向で、受信側の通常Prefillに対して約10.7倍の高速化が報告されています。
続きを読むMemFoldは、クエリに関連するテキスト記憶を固定数の連続ベクトルへ圧縮し、その記憶が支える応答行動を基準に最適化する手法です。タスク報酬と、凍結したテキスト記憶教師による信頼度ゲート付きオンポリシー蒸留を組み合わせます。
続きを読む新しい研究は、モデルの重みや数値的なトークン確率を見られない場合でも、テキストの反復サンプリングとアシスタント接頭辞の継続によって生成過程を間接的に制御できる可能性を調べた。
続きを読むStability AIは画像生成中心の事業から、音楽のプロ向けAIツールへ軸足を移そうとしている。ソニー、ワーナー、ユニバーサルから資金と学習用カタログのライセンスを得た。
続きを読むMetaは、AIエージェント「Muse」を電子ペーパーやRaspberry Pi、ESP32などのハードウェアに接続できるコードとSDKを公開しました。家庭機器の操作を想定した限定デバイス「Muse Home Link」も展開します。
続きを読むアマゾンはデータセンター周辺の地域に今後5年間で10億ドル超を拠出し、新規計画での秘密保持契約をやめると発表した。一方、環境団体は発電による汚染や水使用、ディーゼル発電機の問題を十分に扱っていないと批判している。
続きを読むPyTorchはHelionをvLLMのlinear backendに統合し、高水準のカーネルDSLと形状別自動チューニングで、量子化GEMMの実装を簡素化する可能性を検証しました。NVIDIA Hopperでは、評価対象の一部ワークロードで10%超のスループット向上が確認されています。
続きを読む米司法省は、Earthmade ComputerのCEOが虚偽書類とアジアの中継地を使い、NVIDIAのGPUサーバーを中国へ転送したと主張しています。事件は、完成したサーバーに組み込まれたAIチップを追跡する難しさを改めて示しました。
続きを読むAppleは、デスクトップ上で動くAIエージェントがユーザーのファイルやメッセージなどを扱うリスクが高まっているとして、macOSの「フルディスクアクセス」に新たな制御を導入すると明らかにした。単純な権限削減ではなく、より明確な同意を求める変更になる見通しだ。
続きを読むOpenAIのDotsは、クラウド上のコンピューターやデスクトップアプリ、音声入力を組み合わせたAIエージェントだ。実際のテストでは、管理下にあるWeb制作や動画編集には強い一方、認証、ログイン、支払いでは人の介入が多く必要だった。
続きを読むAIは政策や投資の面で存在感を増しているが、消費者向けサービスの有料化は進んでいない。TechCrunchのポッドキャストは、企業向けAIが依然として有力な収益源である理由を解説した。
続きを読むHC-DLMは、離散トークンの読み出しと持続的な連続潜在状態を組み合わせ、並列デコードで失われやすい依存関係の維持を目指す手法です。論文では、数独、Countdown、LM1Bで同規模の拡散モデルベースラインを上回ったと報告しています。
続きを読む同じ科学的内容でも表現が変わると、AI査読者の判断が変わる可能性があります。新研究は修辞的ロバスト性を定義し、全文評価と構造化された科学コアを組み合わせるSciCoreを提案しました。
続きを読むHUST Vision Lab は、言語と画像を同じ連続空間で扱う Multimodal Flow を提案した。画像を離散トークンへ量子化せず、連続ハイパーチャンクと共有 Flow Matching バックボーンで両モダリティを統一的にモデル化する。
続きを読むAutoDataBenchは、学習フレームワークや計算量などの要因を固定し、LLM研究エージェントが学習データを診断・整理・構築する能力を評価する制御型テストベッドです。データ介入の効果を事前に予測できるか、研究軌跡を追加学習に利用できるかも検証します。
続きを読む自律進化型の検索エージェントでは、提案者と解答者が同じ誤りに同意し、内部報酬だけが上昇する場合がある。CrossFitは、学習に使う情報源と評価経路を分離して、この問題を緩和する。
続きを読むMISTテストは、画像が本来無視されるべき課題でも、視覚言語モデルのラベルが変化することを示した。判定を左右するのは画像の意味より、画像が入力に存在するという事実だった。
続きを読むOSWorld-Scienceは、分子描画、病理画像解析、統計計算、物理シミュレーションなどを対象に、コンピューター利用エージェントを評価するベンチマークです。画面操作だけでなく、生成された科学的成果物の正しさも確認します。
続きを読むMetaの研究チームが、循環計算とMoEの疎性、モデル規模、データ量を同時に扱うLoop Scaling Lawsを提案しました。循環と疎性を組み合わせることで、計算効率と容量の新しい設計空間を示します。
続きを読む複数のフローベースVLAモデルを調べた研究から、強化学習による変化がアクションエキスパート内の小さなTimestep Modulesに集中することが分かった。shiftベクトルの更新は、タスク成功や転移関係も示す。
続きを読むMILOは、AIエージェントの実行やツール利用を制御するHarnessと、その探索戦略を同時に進化させる枠組みです。3つの長期タスク向けベンチマークで、既存のHarnessおよび探索手法を上回る結果を報告しています。
続きを読む