让大模型同时观察、思考与行动：AsyncLLM探索通用异步智能体

2026年9月30日阅读约 3 分钟

导语

大模型智能体的常见运行方式仍然像一个循环：接收输入，完成一轮思考，生成回复或调用工具，然后再等待下一次输入。这种模式适合问答和短流程自动化，却不适合持续变化的现实环境。语音助手需要在处理上一句话时继续接收声音，机器人要边观察边规划动作，监控系统也不能因为一次分析尚未完成就停止接收新事件。

Yandex Research发布的开源框架AsyncLLM，试图把这类“非顺序交互”抽象成一种更通用的智能体运行方式。论文《LLMs are General Asynchronous Agents》提出，异步能力不应只依赖外围服务或特定任务架构，也可以直接成为大模型推理过程的一部分。

并发发生在推理内部。 AsyncLLM不是简单地在多个API请求外层套一层异步调用，而是允许多个推理流程同时运行，并相互读取仍在变化的状态。
用协程描述智能体。 一个智能体可以由多个Python async/await协程组成，不同协程分别负责观察、分析、记忆更新或行动，并通过事件、锁和队列进行协调。
缓存块承载共享状态。 每个协程可以写入缓存块，同时通过缓存视图选择需要关注的内容。这样，不同任务既能共享信息，又不必让每次推理都访问完整上下文。
兼容多类模型能力。 框架建立在Mini-SGLang推理引擎之上，可对多个协程的请求进行批处理，并支持完整注意力机制、Gated DeltaNet以及多模态M-RoPE模型。
不依赖额外任务训练。 研究团队展示了Qwen 3.x模型在流式视频理解、电子游戏和监控场景中的异步运行能力，重点在于改变推理组织方式，而不是为每个场景单独训练模型。

传统智能体框架往往把并发交给应用层处理：应用程序负责启动多个请求，模型则依旧逐次完成自己的输入与输出。这种方式容易造成状态同步、上下文重复传递和响应延迟等问题。AsyncLLM的思路是把并发提升为模型推理的基本抽象，让多个“思考线程”共享逐步演化的记忆状态。

这为持续视频分析、实时监控和交互式游戏等应用提供了更自然的实现路径。一个协程可以持续接收视觉流，另一个协程进行较慢但更深入的判断，还有协程负责对异常作出行动，而不必让所有环节严格排队。对于工程人员而言，基于标准asyncio机制定义协调逻辑，也降低了尝试复杂智能体流程的门槛。

不过，这项工作展示的是框架能力，而不是对所有异步任务性能的普遍保证。并发状态如何避免冲突、何时应该中断或覆盖旧计划、不同协程如何控制计算成本，仍是部署时需要解决的问题。异步推理扩大了智能体的行动空间，也同时提高了调度、可解释性和安全控制的要求。

总体来看，AsyncLLM的价值在于提供了一种统一视角：大模型不必只能“一次读完、一次想完、一次输出”，而可以像由多个协同过程组成的系统，在输入持续到来时同步观察、推理与行动。