DeltaMerge-LowRes：言語適応とタスク適応を分けて学習し、重み空間で合成する

導入

低リソース言語で NLP モデルを使うとき、モデルには二つの適応が同時に求められる。ひとつは新しい言語を扱う能力、もうひとつは要約、質問応答、分類などのタスク能力だ。しかし、対象言語のラベル付きデータが数百件程度しかない場合、言語とタスクを一体化して微調整する従来型の方法はコストが高く、どの要素が性能向上に寄与したのかも見えにくい。

arXiv の論文 DeltaMerge-LowRes: Composing Language and Task Deltas for Low-Resource Adaptation は、この問題に対してよりモジュール化されたアプローチを提案している。言語適応とタスク適応を別々の重み差分として学習し、それらを推論時に重み空間で合成するという考え方だ。

重要なポイント

• 二つの delta を分離して学習：DeltaMerge-LowRes は、未ラベルの単言語テキストから言語 delta ΔL を学習し、英語のラベル付きデータからタスク delta ΔT を学習する。これにより、言語とタスクの組み合わせごとに高価な共同微調整を行う必要を減らすことを狙う。
• 四つの合成規則を比較：論文では additive、activation-guided、sparsity-aware、そして新しい cross-axis TIES を比較している。cross-axis TIES は、TIES-Merging のトリミング、符号選択、マージの手順を、二つのタスク軸ではなく言語軸とタスク軸に適用する。
• 低リソース設定での評価：評価は四つのタスクファミリーと四つのアフリカ言語で行われ、合計 158 の評価セルを含む。各セルで 10,000 サンプルの paired bootstrap を用いており、比較の偶然性を抑えようとしている。
• 合成規則によって得意分野が異なる：cross-axis TIES は要約で 4 言語中 3 言語において最良となり、chrF を約 4〜7 ポイント改善した。全体では chrF 18.59 を示し、task-only の 13.80 を上回る。質問応答では F1 が 2.32、EM が 2.91 改善した。一方、分類では sparsity-aware 合成が macro-F1 をほぼ維持しながら ECE を 36% 低下させた。

意義と影響

この研究の意義は、単に新しいマージ手法を提案した点だけではない。低リソース適応を、再利用可能な重み差分の合成問題として捉え直している点にある。言語能力は未ラベルテキストから、タスク能力はリソースの豊富な英語データから学べるなら、新しい言語とタスクの組み合わせをより低コストに構築できる可能性がある。

また、delta の合成は単純な足し算では済まないことも示されている。どの規則を使うかによって、モデルが何を保持し、何を抑制し、予測の信頼度をどの程度適切に校正できるかが変わる。ラベル付き検証データが少ない低リソース環境では、この点は実用上も重要だ。

ただし、今回の結果は多言語エンコーダ、四つのタスクファミリー、四つのアフリカ言語という範囲で得られたものだ。より大規模な生成モデルや幅広い実運用環境に同じ傾向が当てはまるかは、今後の検証が必要である。それでも、DeltaMerge-LowRes は低リソース NLP をより組み合わせ可能で効率的な方向へ進める手がかりを示している。

出典：arXiv