vLLM、16基のH200でGLM-5.3の100万トークン推論を実現
vLLMは、Prefill Context Parallelism、Decode Context Parallelism、Hybrid HiSparseを組み合わせ、8基のH200を備えた2ノードでGLM-5.3を提供する構成を示した。AgentXでは、同じスループットのデータ並列構成に対し、ユーザー単位の速度が1.7~3.2倍となり、試した構成の中で唯一100万トークンのコンテキストを処理できた。
続きを読むClaude API 中継局のガイド、検出の仕組み、LLM API の実測ノウハウ
全 2320 件の記事
RSS 購読vLLMは、Prefill Context Parallelism、Decode Context Parallelism、Hybrid HiSparseを組み合わせ、8基のH200を備えた2ノードでGLM-5.3を提供する構成を示した。AgentXでは、同じスループットのデータ並列構成に対し、ユーザー単位の速度が1.7~3.2倍となり、試した構成の中で唯一100万トークンのコンテキストを処理できた。
続きを読むSpatialScoutは、視覚言語モデルがカメラを操作して視覚的証拠を集め、共通の3D座標系で物体を位置推定できるかを測るベンチマークです。結果は、粗いレイアウトの把握と、完全で精密なメトリックマップの構築との間に大きな差があることを示しました。
続きを読むTencent ARCは、途中の映像コンテキストを見ずに未来の動画チャンクを予測させるFuture Chunk Predictionを提案しました。短期的な画面の連続性への依存を抑え、物理的に妥当な動画生成を目指します。
続きを読むDONIC は、多様な人間の両手動作を一つのポリシーで追跡する汎用バイマニュアル制御手法です。BiHOI データセットと組み合わせることで、追加学習なしに未知の軌道や物体へ一般化します。
続きを読む同じログイン画面でも、「サインイン」の後なら正常、「注文を見る」の後なら攻撃の可能性がある。新研究のLGWMは、次のGUI状態を表現空間で予測し、画面遷移を低遅延で検証する。
続きを読む新たな研究は、エージェントの実行基盤である Harness 自体を強化学習のスケーリング対象として扱います。構造化された複数 Harness で学習することで、未知の設定や外部のブラックボックス Harness への転移性能が高まりました。
続きを読むAgent4Sciは、最先端のコーディングエージェントを20の科学機械学習ベンチマークで長期評価した。性能は伸びたものの、その多くは研究上の洞察ではなく、機械学習エンジニアリングの工夫によるものだった。
続きを読むQwen-Audio-3.1-ASRは、前世代から音声認識を強化し、話者分離付き文字起こしと汎用的な音声理解を追加したモデルファミリーです。多言語・中国語方言に対応し、ストリーミングや対話入力など複数の運用形態を想定しています。
続きを読むWorldStreamは、プレイヤーの進行方向へ地形を継続的に拡張し、実行中の世界に自然言語で作用し、訪問済みの場所と編集内容を復元するオープンエンド型3Dワールドモデルです。階層的計画、決定的コンパイル、ストリーミング、永続的な世界記録を組み合わせています。
続きを読むLLMエージェントには、タスクを解くだけでなく、その結果が正しいかを判定する仕組みも必要です。VerifierBenchは、生成された検証器が誤答を退ける一方で、正しい解答まで過度に拒否しやすいことを示しました。
続きを読むDiffResearchは、マルチエージェント型の深層リサーチ基盤に拡散言語モデルを組み込みました。自律エージェントの構成や検索コードを固定した比較で、エンドツーエンドの遅延を大きく削減し、生成途中で検索クエリを取り出すdFastも提案しています。
続きを読むLM2LMは、別の言語モデルを改善する提案能力を強化学習で学習させる手法です。研究世界モデルによる予測と少数の実験を組み合わせ、高コストな試行回数を抑えます。
続きを読むQuant-Arenaは、仮説の立案からシグナル実装、バックテスト、戦略の凍結まで、LLMが定量リサーチの全工程を遂行できるかを評価する。最上位モデルも、封印された2024年の評価で等ウェイト市場を上回れなかった。
続きを読む合成医療記録を用いた比較研究が、直接ファインチューニング、DP-SGD、プライバシー配慮型の書き換えを検証しました。固有性の高い個人情報を意図的に置き換える方法は、能力低下を抑えながら漏えいリスクを下げる可能性を示しています。
続きを読むFrontierCS 2は、実際のコードリポジトリでパッチを改良し続ける環境を用いて、AIエージェントがコンピューター科学の研究開発を担えるかを評価する。結果は、最先端のエージェントでさえ安定した研究遂行には届かないことを示した。
続きを読むMMedAgent-Plusは、視覚言語プランナーから18の医療専門モデルを呼び出し、12種類のタスクと8つのモダリティを扱う。研究の焦点は、単独の認識精度ではなく、複数の分析を正しく組み合わせて根拠のある回答を生成できるかにある。
続きを読むWildAWM は、GUI、MCP サービス、コマンドラインを一つの状態空間で扱えるコンピューター環境と長期タスクを合成するパイプラインです。合成世界だけで訓練した Qwen モデルが、未見の複数ベンチマークで改善を示しました。
続きを読む長時間動作するLLMエージェントでは、モデル計算そのものよりKVキャッシュの保存や転送が大きな負担になることがあります。AKVは、軌跡を変更せず、再プリフィルも行わずに、利用中のキャッシュを直接制御する仕組みを提案します。
続きを読むAgenticRoboRL は、コーディングエージェントで使われてきたポストトレーニングを、ロボットのハーネス内で動く言語モデルのプランナーに適用する。LIBERO-PRO では、外部メモリなしで 9B モデルの成功率を 18.1% から 71.0% に高めた。
続きを読むMCCLは、エージェントの記憶を単なる情報検索の成否ではなく、将来の意思決定や行動を改善できるかで評価すべきだと提案する。記憶の分類、二重ループ管理、行動中心の評価、スケーリング分析を一体化した枠組みだ。
続きを読むTraceForgeは、教師モデルの非公開な思考過程を復元せず、文脈と最終回答から学生モデルの系列に合った推論トレースを生成する手法です。コードベンチマークでは、他モデルの思考連鎖をそのまま使うより大きな改善が報告されています。
続きを読む