RainDancer：用 RGB-Event 融合与脉冲动态提升视频去雨

导语

雨天视频去雨看似是图像增强问题，实际会直接影响自动驾驶、机器人和户外监控等系统的感知可靠性。传统方法多依赖 RGB 视频帧之间的时间冗余：如果某些条纹只在少数帧中出现，就可能被判断为雨。但在动态场景里，雨丝、物体纹理、边缘、运动模糊和遮挡常常呈现相似视觉模式，单靠 RGB 很容易把背景细节当成雨删掉，或把雨纹误保留下来。

arXiv 新论文《RainDancer: RGB-Event Video Deraining with Rain-Oriented Spiking Dynamics》尝试用事件相机补上这一短板。事件相机不输出常规帧，而是在亮度变化时产生异步事件，具备高时间分辨率和运动敏感性。雨滴和雨丝带来的快速、稀疏、突发变化，理论上更容易被事件流捕捉。

核心要点

• 问题不只是“多模态融合”：论文指出，事件流也并不天然干净。传感器噪声、背景运动、边缘变化都可能触发事件，如果直接把 RGB 与事件特征融合，反而会引入跨模态干扰。
• “先分解、再交互”范式：RainDancer 的关键设计是在每个模态内部先区分雨水与背景。RGB 分支会逐步把帧特征拆成雨相关表示和背景表示，减少二者纠缠。
• 雨导向脉冲动态建模：事件分支引入 rain-oriented spiking neural network 模块，用脉冲神经网络刻画雨运动对应的稀疏、爆发式事件动态。这一设计更贴近事件相机数据的时序特性。
• 组件级融合：系统并非把所有特征混在一起，而是在语义对齐的雨/背景组件之间交互。这样既有助于抑制雨纹，也能更好保留场景结构。
• 事件域监督：作者还加入稀疏事件重建、结构一致性和梯度方向相关约束，用于规范事件分支学习，降低噪声与背景触发事件的影响。

意义与影响

RainDancer 的价值在于把视频去雨从单一 RGB 恢复推进到更精细的跨传感器协同。事件相机提供的不是普通“额外通道”，而是关于快速运动和瞬态变化的补充证据；但论文也强调，这类证据必须经过分解和约束，才能真正服务于恢复任务。

从应用角度看，雨天场景中的视觉质量提升并不是终点。论文称其在合成与真实 RGB-Event 视频去雨数据集上取得更好的定量表现、视觉质量和下游感知鲁棒性。这意味着该方向可能对自动驾驶、移动机器人、智能交通等需要恶劣天气感知的系统更有现实意义。

当然，素材未提供具体指标、数据集细节和计算开销，因此仍需阅读论文全文评估其泛化能力与部署成本。但 RainDancer 提出的“分解后融合”思路，为 RGB-Event 视觉增强提供了一个值得关注的架构方向。

来源：arXiv