RobotWorld:让多模态智能体接受真实机器人能力的系统考验
RobotWorld 提供了一个覆盖多种机器人形态与任务类型的仿真测试平台,用来评估多模态智能体能否把语言、视觉和代码能力转化为稳定的物理操作。研究显示,智能体已经能够搭建复杂的感知与控制流程,但距离可靠完成任务仍有明显差距。
阅读全文RobotWorld 提供了一个覆盖多种机器人形态与任务类型的仿真测试平台,用来评估多模态智能体能否把语言、视觉和代码能力转化为稳定的物理操作。研究显示,智能体已经能够搭建复杂的感知与控制流程,但距离可靠完成任务仍有明显差距。
阅读全文NVIDIA 团队提出 Long-WAM,通过自回归视频预训练、流式编码与异步执行,把更长的视觉历史引入实时机器人控制。在 RoboCasa GR-1 等测试中,19.2 秒上下文显著提升了任务成功率。
阅读全文微软研究院等团队提出 DiVeR,通过动作表示的分散程度识别轨迹中的关键决策状态,并据此改进 VLA 模型的测试时动作筛选。该方法无需逐步标注或额外环境交互,即可提升机器人任务成功率。
阅读全文机器人真实执行动作时,常会受到摩擦、回差、负载变化和机械磨损影响,导致动作偏离视觉语言动作模型的指令。来自浦项科技大学的研究提出一种无需任务标签或奖励的在线自补偿方法,并用 RoboStress 系统测试 VLA 的抗执行误差能力。
阅读全文EyeRobot 2.0通过转动双目视点主动锁定场景中的三维目标,并结合注视中心的高密度视觉处理,让机器人在不依赖腕部相机的情况下完成精细双手操作。
阅读全文Skill2Real提出一种面向机器人操作的智能体式技能学习框架,通过统一API、分层记忆和提议者—验证器—治理器闭环,减少仿真到现实迁移中的再训练需求。实验显示,冻结的仿真技能在多项真实操作任务上仍能保持较高完成率。
阅读全文MotorMind提出一种连接通用视觉语言模型与机器人控制器的执行框架,让模型根据视觉观察提出中层动作,并通过异步反馈持续调整。研究显示,在无需任务专用策略训练的情况下,通用VLM也能完成一定程度的零样本机器人操作。
阅读全文一项发表于Hugging Face Daily Papers的研究提出PyRUA-Lean,让机器人智能体通过可执行Python单元组合动作、局部重试,并只请求必要的视觉与状态反馈。在相同语言模型调用预算下,任务成功率从63.1%提升至71.7%,共同完成任务的输入Token减少65%。
阅读全文当目标会在机器人看不见时移动,过去可靠的空间记忆就可能变成误导。EvolvingNav尝试用带时间信息的三维记忆和概率信念,让机器人边预测、边观察、边重新规划。
阅读全文香港科技大学团队提出 WorldLine,一种面向机器人操作的动作驱动视觉模拟器。它将通用的机器人—物体动力学学习与不同机械臂的动作控制对齐分开处理,试图降低真实机器人试错成本。
阅读全文EmbodiedMemory-Bench 将具身记忆从抽象能力变成可执行的长期交互评测,覆盖视觉细节、动态状态、交互结果和经验迁移四类挑战。研究同时提出结构化外部记忆系统 Embodied-Memorizer,以及能够管理和调用记忆的 EMem-8B 策略模型。
阅读全文RoboFoundry提出“系统即策略”的具身智能演化框架,不只优化模型或单项工具,而是让上下文、记忆、技能与执行接口共同形成可持续改进的系统。实验显示,该方法在多个具身任务与长期记忆基准上取得显著提升。
阅读全文HexaFuture 提出 Physical Coding,把机器人所处的世界状态、执行策略和恢复流程表示为可检查、可修改的代码。实验显示,这种由工具、反馈和可复用轨迹组成的架构,有望缓解传统 VLA 模型对固定场景和动作序列的依赖。
阅读全文加州大学伯克利分校团队提出三阶段 Morphometric Imitation 框架,将重建的人手—物体交互转换为机器人可执行的视觉运动策略。在三种机器人手和十类交互任务的实验中,系统实现了较高的真实世界零样本成功率。
阅读全文World Action Agent把视觉语言模型放进一个可交互的视觉行动工作区,让机器人动作在执行前先被预览、修改和校正。实验显示,这种“观察—排练—执行—纠偏”的闭环,有助于提升跨任务、跨环境的操作能力。
阅读全文特斯拉正把更多资源转向人形机器人Optimus,但复杂的灵巧手、生产线精度、数据采集和员工抵触,正在拖慢其规模化进程。公司仍瞄准2026年底每周生产超过1000台。
阅读全文Skild AI让人形机器人在虚拟足球场中与自身历史版本反复对抗,仅以进球作为最终目标,逐渐学会盘带、护球、抢断和倒地起身。这个案例展示了强化学习从数字环境走向真实机器人的一种可能路径。
阅读全文前华为大模型负责人李寅与多模态科学家张含望共同创办息壤开物,试图用大规模预训练构建面向物理世界的基础模型。其核心问题是:机器人能否像语言模型一样,通过规模化训练获得跨本体、跨任务的通用能力?
阅读全文Spatial-Interactor 将空间推理从静态识别推进到动态状态建模,通过交互轨迹训练视觉语言模型理解物体运动、视角变化与长期空间依赖。
阅读全文RoboFollow 指出,许多具身智能体的任务成功率并不等于真正的指令遵循能力。当一个场景只有一种合理任务时,模型甚至可以忽略语言,仅凭视觉完成操作。
阅读全文