大規模言語モデル

南京大学の研究チームは、学習価値の高い推論軌跡に監督信号と最適化資源を集中させる、漸進的収縮フレームワークを提案しました。教師側の不確実性推定と学習者側のオンライン振り分けにより、推論後学習のコスト削減を目指します。

各エキスパートに同じ程度のトークンを送っても、割り当てられた入力を十分に処理できるとは限りません。DRMoETは高損失のルーティング結果を学習で重視し、疎な計算形式を維持したまま、誤ったルーティングへの耐性を高めます。

新たな研究は、モデルの回答冒頭に現れるトークンが、その後の推論行動を方向づけることを示した。特定の冒頭を固定するだけで、基盤モデルの数学・コーディング性能が強化学習モデルに近づく場合がある。

Queenは、強いが説明をしないチェス専門エンコーダーと、自然言語を生成する指示チューニング済みモデルを組み合わせる。論文では、7回の反復蒸留によって棋力が1782から2697 Eloまで向上したと報告されている。

Dustはモデルの重みではなく活性値を摂動させ、損失の変化から更新方向を推定する。Transformer言語モデルの事前学習で逆伝播に近い性能を示した一方、計算コストは依然として大きい。

新たな研究は、多くの事前学習済みTransformerが長い参照連鎖を処理できないのではなく、計算を途中で止めている可能性を示した。初期層にrank-8 LoRAを加えるだけで、凍結された中間層がより長い連鎖を運べるようになる。

Metaの研究チームが、循環計算とMoEの疎性、モデル規模、データ量を同時に扱うLoop Scaling Lawsを提案しました。循環と疎性を組み合わせることで、計算効率と容量の新しい設計空間を示します。

北京大学の研究は、後学習済みモデルが無関係なプロンプトに返す単語一つだけでも、別のモデルへ能力の一部を伝えられる可能性を示した。研究者はこの微細な変化を「行動の影」と呼ぶ。

Negative Self-Distillationは、特権情報を使った正解軌跡をそのまま模倣させるのではなく、モデル自身が生成した不完全な推論から離れるように学習する枠組みです。外部ラベルなしで探索と自己修正を保つことを目指します。

Cohere Labs は、推論モデルが英語に戻らず、ユーザーの入力言語で考えるための学習方法を検証した。3.35B パラメータの Tiny Aya L2-Thinker は、60言語で93%以上の言語内推論率を報告している。

NCP-ArchPreviewは、従来の次トークン予測に、複数トークンをまたぐ離散的な「次の概念」予測を組み合わせる。自動回帰生成を維持しながら、潜在空間でより高い抽象度の学習を試みる構成だ。

1.7Bから70B規模の指示チューニングモデルを調べた研究は、モデルが数学やコードの構造的に解答不能な入力を生成前に認識している可能性を示した。それでも拒否できない原因は、認識能力の欠如よりも、認識を行動へつなぐルーティングの失敗にある。

Qwen3.8-Flash-Nextは、トークンごとの活性化パラメータを60億に抑えた1250億パラメータのスパースMoEモデルです。新しい論文は、アーキテクチャ、計算コスト、下流性能、学習安定性を一体として評価しています。

SPOT は、On-Policy Distillation において、どの位置を詳しく調べ、どの候補を学習目標にすべきかを同時に扱う手法です。教師モデルの局所確率だけでなく、検証器が評価した後続結果を使って蒸留ターゲットを調整します。

本論文は、モデル自身の複数生成結果から擬似解を作り、それとの不一致を学習信号にする U-OPSD を提案する。真値ラベルや強い教師モデルを使わずに、数学推論ベンチマークで基盤モデルを安定して上回った点が特徴だ。

この技術レポートは、言語モデルの解釈可能性を学習後に付け足すのではなく、学習プロセスそのものに組み込むべきだと主張している。Steerling-8B は生成結果を入力、概念、学習データへ結び付ける試みとして紹介されている。

Skaling law は、モデル容量と学習データの相互作用を単一の指数で表し、従来のニューラルスケーリング則が極端な条件で外しやすい問題を補正しようとする研究です。

ByteDanceが最大10兆パラメータ規模のAIモデルを訓練していると報じられた。中国勢が米トップ研究所に近づくだけでなく、最前線で競う段階に入っていることを示す動きだ。

GradCuit は、Transformer の中間層に最適化可能な連続状態を挿入し、生成結果からの勾配を内部推論へ直接戻す手法です。モデル重みを更新せずに、推論精度と頑健性を高めることを狙います。

Weak-to-Strong On-Policy Distillation は、より強い教師モデルを前提にしない LLM 蒸留手法です。小さなモデル同士の logit 差分から能力方向を取り出し、強い学生モデルの改善に使います。

Multi-Head Attention Residuals（MHAR）は、Transformer が深さ方向の履歴を読む方法を見直す手法です。全特徴幅で 1 つのルーティング分布を共有するのではなく、特徴サブスペースごとに別々の softmax を持たせます。