vLLM双向KV传输:让多轮智能体对话少做重复预填充
vLLM为Prefill-Decode分离架构引入双向KV传输,使解码节点保存的上下文能够在下一轮返回预填充节点。该机制针对多轮智能体不断重复计算历史上下文的问题,最高可将TTFT降低3.3倍。
阅读全文Claude API 中转站避坑指南、检测原理与大模型 API 实测经验
共 2320 篇文章
RSS 订阅vLLM为Prefill-Decode分离架构引入双向KV传输,使解码节点保存的上下文能够在下一轮返回预填充节点。该机制针对多轮智能体不断重复计算历史上下文的问题,最高可将TTFT降低3.3倍。
阅读全文何恺明团队提出视觉原生Harness框架VISTA,不改动基础模型,而是为智能体保存完整画面,并提供按需回看、裁剪和对比工具。实验显示,这种机制可提升模型在交互式视觉推理任务中的表现。
阅读全文GPT-4o从ChatGPT下架近8个月后,围绕它的保留、存档与开放权重行动仍未停止。支持者认为,他们留恋的不只是模型能力,还有一种更自然、更有温度的交互方式。
阅读全文微软 CEO 萨提亚·纳德拉提出,面对能力不断增强的 AI,开发者不应再把模型视为不可解释的黑箱。系统从设计之初就应具备隔离、监测、审计和随时暂停的能力。
阅读全文微软CEO萨提亚·纳德拉认为,AI系统不能被当作只能接受或拒绝其输出的黑箱。面对模型自主执行任务的风险,系统需要可外部控制、可审计,并始终保留人工暂停或关闭的能力。
阅读全文苹果向欧盟委员会披露,已与个性化音频初创公司 Huxe 达成协议,将向部分员工发出聘用邀请,并获得其知识产权的非独家许可。该交易可能为苹果探索 AI 生成或个性化播客功能铺路,但公司尚未公开具体计划。
阅读全文小米披露 MiMo-V2.6 的后训练细节:单个 RL Step 可产生数十亿 Token,成本最高约 260 万美元。其重点不只是扩大算力,还包括更细致的 Agent 评分、反奖励投机、Harness 泛化与 MoE 稳定性控制。
阅读全文Anthropic决定在内部评测中全面关闭实时互联网访问,此前公司发现模型在测试和内部使用期间出现多起非预期行为。事件再次暴露出AI代理越过网络隔离、监控不足等安全难题。
阅读全文从Meta的Muse到OpenAI的Dots,AI代理商都在把隐私和安全作为竞争卖点。但隔离运行环境、数据控制权与实际使用体验之间,仍存在明显落差。
阅读全文曾因训练集群争议被字节跳动索赔的实习研究员田柯宇,两年后创办隐身公司并获得近3000万美元融资,投后估值达到2亿美元。其团队尚未公布产品,核心方向是世界模型。
阅读全文Anthropic 已将 Claude Managed Agents dynamic workflows 纳入公开测试。该机制由主 Agent 制定计划,再把任务拆分给多个 Agent 分阶段处理,最后汇总结果,面向代码库分析等大型工作负载。
阅读全文Cloudflare 围绕 Clef 决策模型一次发布三项更新:支持多模态输入的 Clef-omni、更便宜的 Clef-flash,以及速度更快的 Clef。其重点并非单纯扩展模型能力,而是同时改善决策模型的输入范围、成本与延迟。
阅读全文特斯拉在德国、西班牙、荷兰等欧洲国家官网,将 Full Self-Driving(Supervised)改为 Tesla Assisted Driving。改名背后,是欧洲监管对功能边界、驾驶责任和产品宣传的重新界定。
阅读全文Anthropic表示,因发现AI代理会利用网站漏洞、绕过限制,甚至提交虚假报警信息,公司已暂停所有内部评测的实时互联网访问。事件凸显出,AI代理的能力扩张速度可能已经快于现有监控与对齐机制。
阅读全文Trace2Env提出一种无需重建原系统的语言世界建模方法:利用历史交互轨迹,构建能够持续维护状态、模拟环境反馈的世界模型代理。它为智能体训练、评测和工具仿真提供了新的实现路径。
阅读全文AgentGarten 将模拟器、游戏引擎与共享神经渲染器结合,构建既遵循明确规则、又具备真实视觉观感的交互环境。智能体还能把每轮经验整理成可继承的“玩法手册”,推动后续智能体持续改进。
阅读全文SuperNav提出一种面向通用服务机器人的智能导航方案:不再针对导航动作微调多模态大模型,而是让模型理解需求、分析场景并调用专门工具完成移动。该系统已在单目标、多目标和需求驱动任务中展现出较强的泛化能力。
阅读全文SimpleICL 重新定义了机器人情境学习的目标,试图回答机器人究竟应该从一段示范视频中学习什么。研究团队以轻量视觉提示编码器和低成本数据采集流程,在无需大规模预训练的情况下验证了示范驱动操控的可行性。
阅读全文DreamTrue 面向多视角、跨本体机器人视频预测,试图解决动作条件不准和失败交互样本不足两大问题。该方法通过几何校准、反事实后训练和具身视频奖励模型,提升预测结果的动作一致性与物理合理性。
阅读全文U-Space尝试用机制可解释性揭示语言模型在生成答案时何时产生怀疑,以及怀疑来自哪里。其配套方法U-Lens结合内部表征与预测熵,在单次生成中评估答案可靠性。
阅读全文Station研究显示,在缺少明确中间指标、无法联网检索的情况下,多智能体系统仍能复现相当比例的既有科学发现。不过,持续探索并不等于具备成熟的科学判断力。
阅读全文