从“能解码”到“能理解”：JEPA潜在世界的可解释性路线

2026年10月20日阅读约 3 分钟

导语

当模型能够预测未来、制定计划并影响行动时，仅仅知道它“记住了什么”已经不够。近年来兴起的联合嵌入预测架构（JEPA）正从传统表征学习走向潜在世界模型：模型不一定直接重建像素或文本，而是在内部状态中预测环境、对象及其变化。但这些潜在状态没有天然的人类可读接口，也因此带来了新的可解释性问题。

围绕JEPA的解释工作，常见做法是训练探针或使用其他方法，从潜变量中读取位置、物体属性等信息。这类结果能够说明某些信息“存在”于表示中，却不能回答更关键的问题：

这篇观点文章的核心判断是，信息可访问性只是解释的起点。对于承担预测、规划和控制功能的模型，研究重点应从“表示编码了什么”转向“潜在世界如何运行”。

作者提出Ground–Structure–Verify–Act框架。Ground旨在把潜变量与可观察对象、事件或环境属性建立联系，为后续分析提供语义落点。Structure进一步研究潜在变量的组织方式，包括它们之间的关系、层级和动态变化，而不是孤立地解读单个维度。

Verify强调因果检验：研究者需要区分相关性与真正的预测作用，确认某一内部因素是否确实参与了模型的推断过程。Act则把解释推进到干预层面，通过修改或操纵潜在状态，观察预测、规划和行动是否随之发生可预期的变化。只有当解释能够指导验证和干预，潜在世界才可能成为可操作的研究对象。

这一路线意味着，世界模型的可解释性不能简单复制图像分类器或语言模型的表示分析方法。未来的评估对象不应只是单个概念是否可被探针读出，还应包括内部结构是否稳定、动态是否一致、因果关系能否复现，以及干预是否具有可预测后果。

文章同时指出，现有JEPA可解释性研究已经为Ground阶段提供了早期证据，但对潜在结构、因果验证和干预的系统研究仍相对不足。这为后续工作留下了清晰空间：建立面向动态潜变量的分析工具和验证标准，让模型内部的“世界”不仅可被描述，也能够被检验、理解并用于行动。