大規模言語モデルは計算式らしい答えを出せても、多桁の演算では誤ることがある。一般的な対策は追加学習や計算機などの外部ツールだ。本研究は別の方法として、決定的な計算回路を事前学習済みモデルの重みに直接組み込む。勾配更新も学習例も使わず、推論時の外部フックも加えない。実行には通常の model.generate() を用いる。
これは計算手順をプロンプトに書くだけの方法ではない。自動コンパイラにより、符号付きの加算・減算・乗算に加え、Boolean、Majority、Parityの回路をモデル構造へ写像する。課題の一つは、正規化によって内部表現のスケールが変わること、そしてトークンをまたいでオペランドを伝える必要があることだ。研究ではMellin-GLUによってRMSNorm由来のスケール変動に対応し、AttentionやGatedDeltaNetなどでトークン間の情報を扱う。さらに隠れ次元の拡張と出力写像の調整を用いて、結果を所定の形式で出力する。
論文によると、6桁算術のALU-prefix精度はGranite 4.2 3Bで99.17%、Qwen 3.5 4Bで100%だった。FP32の回路サイドカーを使った評価では100%に達したという。Boolean回路は1,728件のテストで、MajorityとParityも評価対象で100%と報告されている。追加されるアクティブ重みは0.06%未満とされる。また、11,134件のドメイン外入力で誤作動がなく、14の事前登録済み自然言語評価分割でも非劣性上の問題は確認されなかったとする。
この結果は、モデルの重みがデータから学んだパターンだけでなく、明示的で決定的なプログラムも担える可能性を示す。ただし、ベンチマークでの精度は、あらゆる表現、桁数、精度設定での信頼性を保証しない。提示された情報だけでは、適用範囲の境界を独立に判断する材料も限られる。今後はプロンプト形式、モデル構造、量子化条件を変えた再現検証と、より広い言語能力評価が重要になる。
この方式が追試を通じて確かめられれば、微調整やツール呼び出しとは異なる、限定的で予測しやすい機能追加の選択肢になり得る。推論経路をモデル内にまとめられる一方、コンパイラと重み変更を慎重に設計・検証しなければならない。本研究が示すのは、LLMがあらゆる数学に強くなったということではない。範囲の明確な計算を、既存モデルへ構造的に組み込み、検証できるかを探る試みである。
コメント
ログイン状態を確認中…
コメントを読み込み中…