把自然语言编译成本地神经函数：Compile by Training 提升复用性与准确率

导语

许多文本处理任务并不难描述，却很难稳定地写成规则。过去，开发者通常有两种选择：每次调用大型远程模型，承担持续的延迟、费用和服务依赖；或者为每个任务单独设计程序和数据流程。Compile by Training 提出了一条中间路线：把自然语言规格编译成一个可以反复调用的本地神经函数。

核心方法：先生成示例，再完成编译

这项工作建立在 Program-as-Weights（PAW）之上。PAW 的目标，是将“这个函数应该做什么”的自然语言描述，转化为运行在共享 0.6B 本地解释器上的小型神经程序。原有快速编译器只需一次前向计算，几秒内即可完成转换。

Compile by Training 增加了一个更注重准确率的模式，流程大致分为三步：

• 读取用户提供的自然语言任务说明；
• 在编译阶段调用教师模型，为该任务合成示例输入与输出；
• 使用这些任务专属样本，微调一个轻量适配器，使本地解释器适应目标函数。

完成后，教师模型不必参与每次推理。生成的 PAW 程序可以在本地运行，也能够像普通软件函数一样被保存、版本化和组合。论文展示的应用包括英语与“Claude 风格”文本互译、面向实时 3D 角色的自然语言动作控制，以及本地个人信息检测与遮蔽。

准确率与成本的交换

在 FuzzyBench-Hard 的一个子集上，快速 PAW 编译器没有产生精确匹配结果，而 Compile by Training 达到了 83.6% 的语义准确率。这个结果说明，任务相关的合成示例和微调，能够弥补“一次前向编译”在复杂或模糊规格上的不足。

但它并不是免费提升。快速模式的编译通常只需数秒，而训练模式大约需要一分钟。这里的成本发生在编译阶段，而不是每次调用阶段：一旦函数生成，推理可以摆脱教师模型，减少远程大模型带来的延迟和持续调用开销。因此，它更适合需要反复使用、希望在本地部署，或需要降低外部服务依赖的文本功能。

仍需关注的边界

这种方法的行为很大程度上取决于教师模型生成了什么示例。如果示例没有覆盖少见输入、边界情况或分布外场景，本地函数可能在这些情况下表现不稳定，而且错误未必容易被发现。与此同时，规格发生变化后重新编译得到的函数，是否始终准确反映新要求，也需要更系统的版本对比和回归测试。

总体来看，Compile by Training 的价值不在于让小模型普遍替代大模型，而在于提供一种“按需生成小型本地工具”的工程范式：把一次性的模型调用，转化为可部署、可复用的任务函数。它将编译成本换成后续运行效率，也把评测、示例覆盖和版本管理放到了系统设计的核心位置。

来源：Hugging Face Daily Papers