DeltaMerge-LowRes：把语言适配与任务适配拆开，再在权重空间合并

2026年7月15日阅读约 2 分钟

导语

低资源语言的 NLP 适配常常面临一个尴尬问题：目标语言标注数据很少，但模型既要学会这种语言，又要学会具体任务。传统做法通常把“语言”和“任务”绑在一起微调，这不仅成本较高，也让研究者难以判断性能提升到底来自语言适配，还是任务适配。

arXiv 新论文 DeltaMerge-LowRes: Composing Language and Task Deltas for Low-Resource Adaptation 提出了一种更模块化的思路：把两类适配拆开训练，再在权重空间中重新组合。

拆分两个适配轴：方法先用未标注的单语文本学习语言增量 ΔL，再用英文标注数据学习任务增量 ΔT。推理时，不再重新进行昂贵的语言—任务联合微调，而是把这两个 delta 合成到多语言编码器上。
比较四类合并规则：论文考察了 additive、activation-guided、sparsity-aware，以及新提出的 cross-axis TIES。其中 cross-axis TIES 将 TIES-Merging 中的裁剪、符号投票和合并步骤，从“多个任务轴”改造为“语言轴 + 任务轴”。
实验覆盖面较广：作者在四类任务家族和四种非洲语言上评估，共包含 158 个评估单元，并对每个单元使用 10,000 次样本配对 bootstrap，以减少偶然性解释。
不同规则适合不同目标：在摘要任务中，cross-axis TIES 在 4 种语言中的 3 种取得领先，chrF 提升约 4 到 7 分，整体 chrF 为 18.59，高于 task-only 的 13.80。问答任务中，该规则也带来 F1 +2.32、EM +2.91 的提升。分类任务则显示，sparsity-aware 合并在宏 F1 基本持平时，将 ECE 降低 36%。

这项工作的价值不只在于某个新合并公式，而在于它把低资源适配问题重新表述为“可组合的权重编辑”。如果语言能力可以从未标注文本中学习，任务能力可以从资源更充足的英文数据中学习，那么面向新语言、新任务时，就可能减少昂贵的联合微调需求。

同时，论文也提醒：delta 合并不是简单相加。不同组合规则会改变模型保留什么、抑制什么，以及输出置信度是否可靠。对于低资源语言应用，这一点尤其关键，因为数据稀缺时，错误校准往往比单纯的准确率下降更难发现。

当然，这仍是一篇以多语言编码器和特定任务集合为背景的研究，结论是否能推广到更大生成式模型、更多语言和真实部署场景，还需要进一步验证。但它提供了一个清晰信号：未来的低资源 NLP 适配，可能会越来越像搭积木——分别训练语言模块和任务模块，再选择合适的规则进行组合。

来源：arXiv