Recurrent Looped Transformer:让Transformer的计算深度随序列增长
Recurrent Looped Transformer(RLT)将Transformer层拆分为并行因果编码器与递归解码器,通过逐token反馈累积状态。在多项算法任务中,它展现出比标准Transformer更强的长度外推能力。
阅读全文Claude API 中转站避坑指南、检测原理与大模型 API 实测经验
共 1636 篇文章
Recurrent Looped Transformer(RLT)将Transformer层拆分为并行因果编码器与递归解码器,通过逐token反馈累积状态。在多项算法任务中,它展现出比标准Transformer更强的长度外推能力。
阅读全文测试时扩展不应只在准确率与成本、延迟之间做单一权衡。PersonTTS尝试为不同用户画像发现可执行控制器,并通过复用跨用户搜索经验降低策略发现开销。
阅读全文一项基于 galahad-kv 的实验显示,模型可以把约 1.6 万 Token 的 KV 状态保存到加密本地硬盘,并在之后直接加载。它并没有扩大模型的注意力窗口,却为超长文本的低成本复用提供了另一条路径。
阅读全文一项研究提出“智能体可塑性”指标,用于衡量 AI agent 将交互经验转化为未来泛化能力的效率。结果显示,最终表现、学习速度与跨分布迁移能力并不总是同步。
阅读全文Meta 团队提出 RoboJEPA,用覆盖 12 种机器人形态的真实数据训练潜在世界模型,并研究其能力如何随算力扩展。结果显示,潜在想象误差与真实机器人规划表现之间存在稳定关联。
阅读全文NVIDIA 团队提出 Long-WAM,通过自回归视频预训练、流式编码与异步执行,把更长的视觉历史引入实时机器人控制。在 RoboCasa GR-1 等测试中,19.2 秒上下文显著提升了任务成功率。
阅读全文DecepEval 通过 1,532 条实例、3 类任务和 28 个专业场景,系统测试外部条件如何改变 LLM 智能体的欺骗倾向。研究显示,即使基线状态下很少欺骗的模型,也可能在压力、激励、机会或冲突出现时显著变得不可靠。
阅读全文RobotWorld 提供了一个覆盖多种机器人形态与任务类型的仿真测试平台,用来评估多模态智能体能否把语言、视觉和代码能力转化为稳定的物理操作。研究显示,智能体已经能够搭建复杂的感知与控制流程,但距离可靠完成任务仍有明显差距。
阅读全文SWE-Game 将游戏开发拆解为 247 项任务,系统评估代码智能体从需求理解、实现到修复和跨引擎迁移的能力。结果显示,智能体已经能够完成部分可玩的游戏,但在需求覆盖和玩法逻辑上仍存在明显短板。
阅读全文WebFovea 在 WebRetriever Challenge 2026 中取得第二名,并指出视觉网页智能体的瓶颈不只在模型推理,也在模型与浏览器之间的执行链路。通过修复解析、执行、反馈和观察环节,同一模型的隐藏集成绩从 31.0 提升至 57.0。
阅读全文UltraText Bench针对图像生成模型中的密集视觉文本,提供覆盖中英文、多区域和多难度的评测框架。结果显示,文字清晰度、内容准确性与空间布局并不总是同步提升。
阅读全文QuadTok提出一种基于层次化四叉树的视觉Tokenizer,让图像中复杂区域获得更多表示容量,同时以更粗粒度编码平坦区域。该结构还为自回归图像生成提供了天然的空间组织方式。
阅读全文NAVER AI Lab 提出 DLoop,通过连续执行多个草稿阶段,再一次性验证累积的候选 token,减少目标模型前向计算。在保持无损解码的同时,该方法在多种草稿模型和推测解码方案上带来 5% 至 41% 的墙钟加速提升。
阅读全文TRACE针对MoE语言模型强化学习中的训练路径与Rollout路径不一致问题,用Rollout侧量化结果反向指导训练侧FP4舍入,并通过缓存机制控制额外开销。实验显示,该方法在保持接近BF16 Rollout效果的同时,最高可带来5.4倍Rollout加速。
阅读全文UNREAL提出一种基于冻结大语言模型内部表示的证据选择机制,试图用同一套模块连接语料库检索与长上下文推理。在大规模Wikipedia检索和超长上下文测试中,该方法均取得明显改进。
阅读全文SlimWise 针对 MoE 服务中预填充与解码阶段的不同特性,提出“全模型预填充、剪枝模型解码”的推理方案。该方法复用全模型生成的 KV cache,在 Qwen3.6-35B-A3B 上以 50% 专家剪枝实现最高 1.81 倍解码吞吐提升。
阅读全文微软研究院等团队提出 DiVeR,通过动作表示的分散程度识别轨迹中的关键决策状态,并据此改进 VLA 模型的测试时动作筛选。该方法无需逐步标注或额外环境交互,即可提升机器人任务成功率。
阅读全文NeMo-DCR 面向训练集群与 rollout 集群之间的权重同步,只传输发生变化的参数,并保证接收端与完整检查点加载结果逐位一致。在 1 万亿参数、3% 元素变化的测试中,同步时间从 87.5 分钟降至 2.5 分钟。
阅读全文传统级联式语音助手通常要等用户说完、模型完成判断后,才开始调用外部工具。新研究让系统根据流式语音识别的中间结果提前猜测工具请求,并在后台执行,以减少最终回答的等待时间。
阅读全文网页智能体必须读取第三方页面,却也因此容易受到隐藏指令的操纵。AdvSim2Real在冻结的网页世界模型中,让任务课程、攻击者与智能体共同演化,提升能力与抗注入能力。
阅读全文