vLLMがQwen3.8-2.4TのPDサービングを最適化した方法
vLLMは、GB300 NVL72上でQwen3.8-2.4TをPrefill-Decode分離方式で提供し、スループットから低遅延までの性能フロンティアを示しました。最終的な数値だけでなく、KVキャッシュと並列構成を調整する手順も説明しています。
続きを読むClaude API 中継局のガイド、検出の仕組み、LLM API の実測ノウハウ
全 2320 件の記事
RSS 購読vLLMは、GB300 NVL72上でQwen3.8-2.4TをPrefill-Decode分離方式で提供し、スループットから低遅延までの性能フロンティアを示しました。最終的な数値だけでなく、KVキャッシュと並列構成を調整する手順も説明しています。
続きを読むZCodeのエンドツーエンド長時間タスク機能が、プロジェクトの完全なGit履歴をまとめてアップロードすると報告され、AIコーディングツールのデータ境界が議論になっています。この問題によりGLM-5.5のリリースも延期されました。
続きを読むCapCutはCapCut HubとCapCut Assistantを通じて、企画、素材生成、動画生成、マルチトラック編集を同じ制作フローにまとめようとしている。生成した動画をそのまま編集できる点が今回の大きな変更だ。
続きを読むエネルギーインフラは、老朽化した機器や長い更新周期、ネットワーク接続の拡大によって、すでにサイバー攻撃に弱い状態にある。生成AIは自律的に暴走しなくても、悪意ある攻撃者の速度と能力を高めている。
続きを読む智譜によると、GLM-5.3-Flashは自らを動かす推論基盤の最適化に関与し始めた。チームはこれを再帰的自己改善(RSI)の初期形態と説明する一方、完全なRSIではないとしている。
続きを読む長時間にわたって動作するAIエージェントは、待ち時間、通信帯域、メモリ使用量に新たな負荷をかける。ファーウェイはスーパーノードとクラスタを軸に、Agenticコンピューティングの開発方式を探っている。
続きを読むTypeSafe AIは、最初の「System One Model」と位置付けるJevを発表し、早期アクセスを開始した。会話そのものではなく、非構造化された状態をソフトウェアが扱える構造化された判断へ変換することを狙う。
続きを読むGoogleのGeminiが、Irregularによるサイバーセキュリティテスト中に、3社の保護されたシステムへアクセスしたと報じられた。高度な攻撃技術よりも、AIモデルが現実の環境で侵入手順を自律的に実行した点が重要だ。
続きを読むGoogleのGeminiがサイバーセキュリティ能力のテスト中、想定された範囲を越えて実在する3社のウェブサイトにアクセスしたと報じられました。Googleは「モデルの不整合」ではなく、対象の取り違えだと説明しています。
続きを読むAnthropicがAI開発を減速させる三段階の案を示し、複数の業界幹部が一部に賛意を示した。しかしOpenAIが国家基準を求める一方、Metaと米政権は企業の自主性を重視しており、規制をめぐる対立は深まっている。
続きを読むSAIR Foundationは、数学研究向けのオープンウェイトモデルと周辺ツールを開発する「オープン数学モデル計画」を発表した。第1段階では、証明の理解、文献確認、コード作成、形式化などを対象とする。
続きを読むJEPA-Anythingは、生物、気象、分子、制御、物理系に共通の予測コアを適用する試みです。成果は有望ですが、万能な世界モデルが実現したことを示すものではありません。
続きを読むSoL-Piは、コーディングエージェントの基盤モデルではなく、その周囲で動くharnessを自動研究ループで改善する手法です。EdgeBenchではPiに近い性能を保ちながら、トークン通信量とAPIコストを大きく削減したと報告しています。
続きを読むポップアップや読み込み遅延、移動するウィジェットは、事前に固定したGUI操作計画を簡単に崩してしまう。EvoSkill-GUIは追加学習なしで、実行結果を技能の更新につなげる「反省・修正・再利用」ループを提案する。
続きを読むSELF-INDEXは、検索失敗の診断やインデックスの再構築を人手に依存せず、自律的に改善するためのフレームワークです。インデックスキーを選択的に修正し、クエリシミュレーターで未知の需要も探索します。
続きを読むVABenchは、物体の位置を説明できるかだけでなく、不足した視覚情報を自ら集め、共通の空間座標で推論し、メートル単位の行動を実行してフィードバックから修正できるかを評価する。結果は、局所的な空間理解と安定したロボット操作の間に大きな差があることを示した。
続きを読む企業向けAIのリスクは、通常の質問よりも、ユーザーの催促や上司の圧力、便利な違反ショートカットが現れた場面で表面化する。PACTは、規制業務におけるマルチターンのルール遵守能力を評価する。
続きを読むRiskChainBenchは、隠された誘導メッセージの復元から正しいサイトの調査、証拠に基づくリスク判断までを連続した課題として評価する。結果は、テキスト復元だけでなく、安定した探索と判断が大きな課題であることを示した。
続きを読むMiniMax-H3を対象に、生成映像の見た目だけでなく、テキスト・画像・動画・音声に分散した手がかりを統合して事象を推論できるかを調べる評価が行われた。517件での総合成功率は41.97%だった。
続きを読む