不传向量，只传符号：SYNC让异构大模型无需训练也能共享事实

导语

多智能体系统要想协作，关键不只是让模型“会回答”，还要让它们能够高效交换彼此掌握的信息。文本消息最通用，却带来较高的上下文开销；直接传递隐藏状态则更紧凑，但不同模型的维度、层结构和表示空间通常并不兼容。现有方案往往需要训练一个翻译器，或假设参与通信的模型具有相近架构。

来自南洋理工大学团队的研究提出了 SYNC（Symbol-Indexed Neural Communication）。它的核心思路是：不要共享模型内部的向量，而是共享一个词语列表中的索引，再由接收模型用自己的表示空间恢复事实。

核心机制

• 发送端只发送符号索引。 发送模型根据自己看到的对象描述，从共享词表中挑选能够代表属性的词，并为每个对象发送相应索引。发送端看不到后续问题，因此测试的重点不是记住答案，而是传递可复用的事实。
• 接收端使用本地方向写入信息。 研究者一次性从接收模型的激活中拟合词语方向，随后把收到的事实写入模型隐藏状态。这个过程不需要针对通信任务微调，也不需要训练跨架构翻译器。
• 在早期层写入，而非简单注入中间层。 团队先在四个开发接收模型上选择写入层，之后固定这一选择，并在新的模型和场景中测试其稳定性。
• 通过属性交换检验选择性使用。 实验将两个对象的某一属性互换，再要求模型同时回答改变属性与未改变属性在交换前后的问题，共计四个答案。这种设置可以检验模型是否真正读懂了指定事实，而不是只依赖整体提示模式。

实验结果与边界

在三个发送模型和来自五个家族的九个新接收模型上，新的场景取得了 72.0% 至 98.3% 的四问全对成功率。与在中间层写入相比，最佳情况下提升最高达到 96 个百分点；其中两个规模最大的接收模型达到了与普通文本通信相当的表现。一个不依赖具体任务的探针还提前预测了新接收模型可用的写入深度，45 个测试案例全部判断正确。

在消息包含全部事实、场景布局发生变化的测试中，方法保持了 89.6% 至 100% 的成功率，说明这种接口不只适用于单一排列方式。不过，在使用多词符号的地标任务中，符号通信成功率为 23.9% 至 64.0%，虽然明显高于没有消息时的 0%，但仍低于文本通信。这表明符号索引适合结构化、离散的事实传递，却还不能全面替代自然语言。

意义与影响

SYNC展示了一条介于文本通信和向量通信之间的路线：发送端不必暴露内部表示，接收端也不必理解发送模型的向量空间。共享词表提供了轻量的公共协议，而接收模型的本地词方向则保留了架构差异带来的灵活性。

对多智能体系统而言，这种设计可能降低跨模型协作的接入成本，尤其适合多个不同家族模型共同处理结构化世界状态或对象属性的场景。与此同时，实验规模和任务类型仍然有限，复杂关系、开放词汇和长程推理是否同样有效，还需要更多验证。更现实的应用路径，可能是让SYNC负责传递紧凑事实，再由文本消息补充解释和不确定性。

来源：Hugging Face Daily Papers