Lighthouse RL：用“灯塔”重置提升模拟电路优化效率

导语

模拟电路尺寸优化一直是自动化设计中的难题：每一次候选配置都可能需要昂贵的仿真评估，而设计目标又常常随项目变化。arXiv 论文《Lighthouse RL: Sample-Efficient Circuit Optimization via Strategic Reset Points》提出的 Lighthouse RL，试图用一种更“会回到好地方”的强化学习策略，减少无效探索，把计算资源集中到更有希望的设计区域。

核心要点

• 问题背景：传统模拟电路优化方法往往难以在不同性能目标之间泛化；标准强化学习虽然具备自适应探索能力，但可能在大量低价值区域反复试错，造成样本浪费。
• 方法思路：Lighthouse RL 在训练过程中记录已发现的高性能配置，并将这些状态称为“lighthouses（灯塔）”。后续 episode 不总是从常规初始点开始，而是可以从这些更接近目标的状态重置。
• 为什么有效：这些“灯塔”相当于给智能体提供了阶段性路标，使探索更容易围绕高潜力区域展开，而不是每次都从远离目标的位置重新摸索。
• 实验范围：论文在一个二维基准问题和两个模拟电路优化任务上进行了验证，并与文献中的强化学习方法和贝叶斯优化方法比较。
• 报告结果：作者称 Lighthouse RL 在样本效率上最高快 1.72 倍；在优化成功率上达到 100%，对比方法为 0% 到 87%；在外推泛化成功率上达到 75%，对比方法为 0% 到 50%。

意义与影响

这项工作的价值不在于提出一个完全替代现有优化框架的系统，而在于给强化学习式黑盒优化提供了一个相对通用的增强模块。对于模拟电路设计这类评估成本高、参数空间复杂、目标经常变化的任务，少做无效仿真本身就意味着更低的研发成本和更快的迭代速度。

从方法论看，“战略性重置”也很值得关注。强化学习常被批评样本效率低，而 Lighthouse RL 的做法并不是简单增加探索次数或调整奖励函数，而是改变训练回合的起点分布：让智能体从已知较优位置继续寻找更优解。这种思想可能适用于其他计算昂贵的黑盒优化问题，前提是任务中存在可复用的高质量中间状态。

不过，论文摘要层面展示的仍是有限任务规模上的结果。未来能否在更多类型电路、更高维设计空间以及真实工业约束下保持稳定优势，还需要进一步验证。即便如此，Lighthouse RL 已经给模拟电路自动化优化提供了一个清晰方向：与其让智能体一遍遍迷路，不如让它记住曾经看到过的灯塔。

来源：arXiv