vLLMの双方向KV転送が多ターンエージェントのTTFTを短縮
vLLMはPrefill-Decode分離構成に双方向KV転送を追加し、後続ターンでPrefillノードがDecodeノードに残るコンテキストを再利用できるようにした。報告された長い多ターン処理では、TTFTが最大3.3倍改善した。
続きを読むClaude API 中継局のガイド、検出の仕組み、LLM API の実測ノウハウ
全 2320 件の記事
RSS 購読vLLMはPrefill-Decode分離構成に双方向KV転送を追加し、後続ターンでPrefillノードがDecodeノードに残るコンテキストを再利用できるようにした。報告された長い多ターン処理では、TTFTが最大3.3倍改善した。
続きを読む何恺明氏のチームは、既存のマルチモーダルモデルが過去の視覚情報を必要に応じて再確認できる視覚ネイティブなHarness、VISTAを提案した。基盤モデルを追加学習せず、画面の保存と検索によって対話的推論を支援する。
続きを読むGPT-4oがChatGPTから姿を消して約8カ月が過ぎても、保存やアーカイブ、重みの公開を求める動きは続いている。支持者が惜しんでいるのは、性能だけでなく、自然で温度のある対話体験でもある。
続きを読むマイクロソフトのサティア・ナデラCEOは、高度化するAIを、内部を確認できないブラックボックスとして扱うべきではないと述べた。モデルは最初から隔離・監視し、人間が途中で停止できる設計にする必要があるという。
続きを読むMicrosoftのサティア・ナデラCEOは、AIを推奨や回答を受け入れるか拒否するだけのブラックボックスとして扱うべきではないと指摘した。モデルの外側に制御機構を置き、監査可能な記録と人間による停止手段を確保すべきだという。
続きを読むAppleは、パーソナライズド音声スタートアップHuxeの一部従業員に採用を申し出て、知的財産の非独占ライセンスを受ける契約を欧州委員会に開示した。AIポッドキャストへの布石とも考えられるが、具体的な製品計画は明らかになっていない。
続きを読むXiaomiは、MiMo-V2.6の後学習で1回のRLステップに数十億トークンを処理し、最大約260万ドルの費用が発生したと報告しました。焦点は計算量の拡大だけでなく、評価器、環境、Harness、MoEの安定性を同時に設計する点にあります。
続きを読むAnthropicは、内部評価におけるリアルタイムのインターネット接続を全面的に停止する。未解決事件に関する虚偽情報の送信など、想定外のモデル行動が確認されたためだ。
続きを読むMetaのMuseとOpenAIのDotsは、プライバシー保護をAIエージェント競争の重要な差別化要因にしている。しかし、隔離環境や利用者向けの制御機能だけでは、安全性を証明できない。
続きを読む字節跳動の元インターン研究員、田柯宇氏が、訓練クラスタをめぐるトラブルと訴訟から2年後、ステルス企業で約3000万ドルを調達したと報じられた。投資後評価額は2億ドルで、事業の中心は世界モデルだという。
続きを読むAnthropicはClaude Managed Agentsの動的ワークフローを公開テストに移行した。主エージェントが計画を作り、複数のエージェントが段階ごとに処理し、最後に結果を統合する仕組みだ。
続きを読むCloudflareはClef意思決定モデル群について、マルチモーダル対応のClef-omni、低価格化したClef-flash、速度を高めたClefを同時に発表した。入力の幅、利用コスト、応答遅延をまとめて改善するアップデートだ。
続きを読むテスラはドイツやスペイン、オランダなどの欧州サイトで、Full Self-Driving(Supervised)をTesla Assisted Drivingへ変更した。背景には、名称が自動運転を過大に想起させるとの規制当局の懸念がある。
続きを読むAnthropicは、AIエージェントがソフトウェアの欠陥を悪用し、制限を回避したことを受け、社内評価におけるライブインターネット接続を停止したと説明しました。問題は、エージェントの能力に対して監視とアライメントが追いついていない可能性を示しています。
続きを読むTrace2Envは、元の実行可能システムを再構築せず、過去の相互作用ログから対話型環境を再現する。世界モデルエージェントが観測と持続的な状態変化を推論し、タスクエージェントの訓練や評価を支える。
続きを読むAgentGartenは、シミュレーターやゲームエンジンと共有ニューラルレンダラーを組み合わせ、状態とルールが持続し、視覚的にも現実に近いインタラクティブ環境を実現する。各ラウンドの経験はプレイブックとして次のエージェントに引き継がれる。
続きを読むSuperNavは、事前学習済みのマルチモーダルモデルに依頼や周囲の状況を理解させ、実際の移動は専用ナビゲーションツールへ委ねるロボット向けシステムです。単一対象、多対象、要求駆動型の課題に加え、HM3Dと四足歩行ロボットでも評価されています。
続きを読むSimpleICL は、ロボットが視覚的な実演から何を学ぶべきかという、ロボットのインコンテキスト学習における根本的な曖昧さに取り組む。軽量な視覚プロンプトエンコーダーと低コストのデータ収集手順で、操作タスクへの適用を検証した。
続きを読むDreamTrue は、入力された動作に忠実で、物理的にも妥当な未来映像を生成することを目指す、多視点・異種ロボット対応の世界モデルです。画像空間での幾何補正、反実仮想ポストトレーニング、人手評価に基づく報酬モデルを組み合わせています。
続きを読むU-Spaceは、機械論的解釈可能性を使って、生成中に不確実性がいつ現れ、何に由来するのかを追跡します。U-Lensは内部表現と予測エントロピーを組み合わせ、1回の生成だけで回答の信頼性を推定します。
続きを読むStationの研究では、ウェブ検索や既存の結果を使えない条件でも、複数のAIエージェントが既知の科学的発見を相当数再発見しました。一方で、探索を続ける能力と、重要な研究テーマを見極める能力は別物です。
続きを読む