让通用智能体直接操控机器人:Agent as Policy 如何工作
Agent as Policy 将通用编程智能体接入实体机器人,使其能够根据视觉观察编写程序、发出动作指令,并依据真实世界反馈持续修正策略。研究显示,这种无需任务专门训练的架构已在装配、堆积、投掷和柔性物体操作等任务中展现出可行性。
阅读全文Agent as Policy 将通用编程智能体接入实体机器人,使其能够根据视觉观察编写程序、发出动作指令,并依据真实世界反馈持续修正策略。研究显示,这种无需任务专门训练的架构已在装配、堆积、投掷和柔性物体操作等任务中展现出可行性。
阅读全文MobileVLA-R1 2.0 将结构化具身推理、强化学习与动作解码结合起来,试图解决移动机器人从语言理解到实际执行之间的断层。该框架覆盖导航、四足机器人控制和人形移动操作,并在多项评测中超过前代模型。
阅读全文ReactHuman 将物理仿真、视觉理解与即时行动结合起来,测试多模态大模型能否在家庭危险突发时做出安全决策。结果显示,当前模型仍会误判约三分之一的场景。
阅读全文机器人基础模型在熟悉环境中表现出色,却可能依赖与动作偶然相关的视觉线索。新提出的 Latent Interface Training(LIT)通过分阶段训练和姿态监督,限制视觉信息进入动作生成的方式,从而提升模型面对相机、光照和干扰变化时的稳定性。
阅读全文一台售价约4000美元的Unitree Go2 Pro,展示了足式机器人从实验室走向普通消费者的可能,也暴露出续航、散热和实用性方面的现实限制。
阅读全文MaP-WAM提出“记忆即计划”的世界—动作建模框架,将长期多模态经历转化为分段计划,再交给执行器闭环完成。该方法试图在保留视觉证据的同时,避免不断输入完整历史带来的效率负担。
阅读全文Show-Harness 提出了一种连接 VLM 意图与机器人动作的紧凑语义接口,让模型无需专门的具身预训练即可参与更细粒度的控制决策。该框架还通过 GUI 采集示范,降低跨机器人收集数据的门槛。
阅读全文Maven Robotics以1亿美元A轮融资走出隐身模式,并已在物流仓库部署机器人。它不急于打造全能人形机器人,而是从混合码垛等明确工业任务切入。
阅读全文小米自动驾驶团队提出 DriveZero,将闭环强化学习与视觉基础模型结合,尝试摆脱端到端驾驶对人类轨迹数据的单一依赖。其核心思路是分别训练“如何看”和“如何行动”,再通过蒸馏统一为摄像头端到端规划器。
阅读全文RoboTok 将人类操作视频转化为可检索的数据资源:用户提供一段示范视频,系统便能从互联网视频中找出动作相近的操作案例。其核心是基于以演员为中心的三维手部轨迹表示,提升跨视角、遮挡和场景变化下的检索能力。
阅读全文Qwen-Drive-1.0尝试在保留通用视觉语言能力的同时,将三维感知、视觉问答与运动规划纳入同一套模型框架。其关键设计是借助BEV感知头和规划专家,把共享表示连接到可检查的场景结构与车辆轨迹。
阅读全文Nori Robotics 发布面向机器人开发者和研究人员的低成本双臂移动平台,售价 1688 美元,预计 2026 年秋季发货。它通过轮式底盘、普通伺服电机和外部算力,压低了人形机器人原型的进入门槛。
阅读全文NavMCP 将视觉语言模型的任务级推理能力,与导航基础模型的闭环执行能力结合起来,使机器人能够在多轮探索中持续积累证据并完成更远距离的目标。
阅读全文机器人数据难以像互联网图文数据那样规模化,VLA模型的瓶颈因此不只是数据量,也在于如何从有限轨迹中学习可迁移的视觉—动作表示。VLAct通过多本体继续预训练,在较低算力与下游数据预算下取得了较强表现。
阅读全文美国正通过关税和技术限制减少对中国无人机、先进机器人的依赖,但这未必会形成彻底的中美市场切割。中国制造商的成本、供应链和规模优势,可能推动竞争转向更多区域市场。
阅读全文Meta正测试多种机器人,让它们在数据中心执行插拔线缆、服务器重启、巡检和搬运等任务。自动化可能缓解技术人员短缺,但也正在引发岗位质量和就业前景的担忧。
阅读全文TacForcing提出一种流式动作生成框架,将执行过程中的实时触觉反馈直接纳入视觉语言动作模型,而不再依赖独立的高频反应控制器。实验显示,该方法在仿真和真实接触丰富操作任务中均优于强基线。
阅读全文Zero-WAM 将人类操作视频作为机器人策略的上下文提示,使机器人无需更新参数即可尝试训练阶段未出现的操作任务。研究团队还构建了包含 7.42 万组人机配对样本的 HumanGen 数据集,并在仿真测试中验证了方法的跨任务泛化能力。
阅读全文Anthropic推出处于研究预览阶段的模型硬件标准(MHS),试图像MCP连接软件一样,让Claude发现并调用机械臂、显微镜和实验仪器。它探索的不是为模型打造固定身体,而是让AI临时借用不同设备完成任务。
阅读全文StreamPI在不增加模型参数的前提下,为以单帧输入为主的视觉语言动作模型引入流式时序建模。通过指令锚定注意力与随机间隔训练,它试图让机器人更好地利用历史观察,并适应真实部署中的异步视觉输入。
阅读全文GigaBrain-0.7试图把理解、预测与行动统一到一个具身基础模型中,并通过三系统架构引入面向行动前模拟和评估的世界模型。论文称,该模型在超过3.7万小时异构具身数据上预训练,面向多种机器人展现出更强的任务适应性。
阅读全文