記事一覧へ戻る

学習なしで算術回路をLLMの重みに組み込む試み

読了目安 3 分

大規模言語モデルは計算式らしい答えを出せても、多桁の演算では誤ることがある。一般的な対策は追加学習や計算機などの外部ツールだ。本研究は別の方法として、決定的な計算回路を事前学習済みモデルの重みに直接組み込む。勾配更新も学習例も使わず、推論時の外部フックも加えない。実行には通常の model.generate() を用いる。

これは計算手順をプロンプトに書くだけの方法ではない。自動コンパイラにより、符号付きの加算・減算・乗算に加え、Boolean、Majority、Parityの回路をモデル構造へ写像する。課題の一つは、正規化によって内部表現のスケールが変わること、そしてトークンをまたいでオペランドを伝える必要があることだ。研究ではMellin-GLUによってRMSNorm由来のスケール変動に対応し、AttentionやGatedDeltaNetなどでトークン間の情報を扱う。さらに隠れ次元の拡張と出力写像の調整を用いて、結果を所定の形式で出力する。

論文によると、6桁算術のALU-prefix精度はGranite 4.2 3Bで99.17%、Qwen 3.5 4Bで100%だった。FP32の回路サイドカーを使った評価では100%に達したという。Boolean回路は1,728件のテストで、MajorityとParityも評価対象で100%と報告されている。追加されるアクティブ重みは0.06%未満とされる。また、11,134件のドメイン外入力で誤作動がなく、14の事前登録済み自然言語評価分割でも非劣性上の問題は確認されなかったとする。

この結果は、モデルの重みがデータから学んだパターンだけでなく、明示的で決定的なプログラムも担える可能性を示す。ただし、ベンチマークでの精度は、あらゆる表現、桁数、精度設定での信頼性を保証しない。提示された情報だけでは、適用範囲の境界を独立に判断する材料も限られる。今後はプロンプト形式、モデル構造、量子化条件を変えた再現検証と、より広い言語能力評価が重要になる。

この方式が追試を通じて確かめられれば、微調整やツール呼び出しとは異なる、限定的で予測しやすい機能追加の選択肢になり得る。推論経路をモデル内にまとめられる一方、コンパイラと重み変更を慎重に設計・検証しなければならない。本研究が示すのは、LLMがあらゆる数学に強くなったということではない。範囲の明確な計算を、既存モデルへ構造的に組み込み、検証できるかを探る試みである。

Hugging Face Daily Papers

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
LLMの重みを0.05%未満削除するだけで後学習が可能に
大規模言語モデル
cctest.ai
大規模言語モデル

LLMの重みを0.05%未満削除するだけで後学習が可能に

新たな研究は、事前学習済みLLMの重みを0.05%未満ゼロ化するだけで、複数の後学習設定において全量ファインチューニングに匹敵する性能を得られると報告しました。更新データを大幅に小さくし、既存能力の忘却も抑えられる点が特徴です。

続きを読む
CCTest · Blog
疎なオートエンコーダーが明らかにするMoE専門家の細かな分業
大規模言語モデル
cctest.ai
大規模言語モデル

疎なオートエンコーダーが明らかにするMoE専門家の細かな分業

Qwen3-30B-A3Bを対象に、MoEの各専門家が実際にどの特徴へ寄与しているかを疎なオートエンコーダーで分析した研究が発表されました。専門家の役割は「コード」や「数学」といった大分類より細かく、Java、フロントエンド、幾何、算術などに分かれていました。

続きを読む