用李雅普诺夫指数做奖励：强化学习重新审视倒立摆稳定控制

导语

倒立摆是控制理论和强化学习中最常见的基准问题之一：系统本身不稳定，轻微扰动就可能让摆杆偏离竖直位置。arXiv 论文《Lyapunov Exponent as Physics-Informed Dense Reward》把这个经典问题放在一个更具物理意味的场景中讨论——通过垂直运动来稳定倒立摆，并尝试用李雅普诺夫特征指数（LCE）作为强化学习的密集奖励信号。

这项工作的关键不在于又训练了一个会“扶正倒立摆”的智能体，而在于奖励设计。论文作者认为，LCE 可以直接反映系统轨道对微小扰动的敏感性，因此比单纯根据角度偏差、存活时间或是否失败来给奖励，更接近稳定性这一控制目标本身。

核心要点

• 物理信息奖励替代简单手工奖励：传统强化学习控制任务常依赖人工设定的奖励函数，例如越接近竖直越高分、越晚倒下越高分。本文提出用李雅普诺夫特征指数作为密集反馈，让智能体在学习过程中持续获得与动力学稳定性相关的信号。
• 目标问题是垂直驱动倒立摆：该系统与著名的 Kapitza 摆相关。Kapitza 摆展示了一个反直觉现象：在合适的高频垂直振动下，原本不稳定的倒立位置可以变得稳定。
• 智能体复现并超越经典稳定方式：根据摘要，强化学习智能体不仅找到了类似 Kapitza 摆的振荡运动，还进一步抑制了摆轴的摆动，使系统停留在严格直立位置。
• 强调“密集奖励”的价值：相较只在失败或成功时给信号的稀疏奖励，LCE 作为连续评价指标，可能降低探索难度，并把学习过程引向更符合物理稳定性的策略。

意义与影响

这篇论文的启发在于：强化学习在物理系统中不一定只能依赖经验性奖励，也可以把动力系统理论中的稳定性指标直接嵌入训练目标。李雅普诺夫指数长期用于分析混沌与稳定性，如果它能在控制学习中充当有效奖励，就为“物理知情强化学习”提供了一个简洁范例。

对 AI 控制与机器人研究而言，这类思路尤其重要。真实系统的奖励往往难以定义，且试错成本高。若奖励信号能来自系统本身的物理性质，智能体或许更容易学到可解释、可迁移的控制策略。不过，目前公开素材主要是论文摘要，尚无法判断其训练算法、环境设置、计算 LCE 的方式以及结果稳健性。后续仍需结合全文和复现实验，评估这一方法是否能推广到更复杂的非线性控制任务。

来源：arXiv