大規模言語モデル

本論文は、オフポリシー生成をそのまま模倣するのではなく、各トークンが正しいかどうかを学習するTOPLを提案する。要約と翻訳の両方で、分布ずれに対する頑健性が示された。

Hugging Face Daily Papers に掲載された論文は、MoE 構成のループ型 Transformer「Loopie」を紹介している。著者らは、同じ事前学習計算量の下で通常の Transformer ベースラインを上回り、後処理学習によって強い推論能力を得たと主張する。

DeepLoop は、同じ Transformer ブロックを繰り返し使うと残差スケーリングの前提が変わる点に注目した研究です。名目上の層数だけでなく、パラメータが何度訪問されるかを考慮した設計を提案しています。

GigaWorld-Policy-0.5 は、推論時に未来動画を生成する World Action Models の重さに焦点を当てている。訓練では未来の視覚変化を活用し、実行時には行動のみを出力する設計が特徴だ。

arXivに投稿された論文は、LLMの誤った推論ステップをユーザーが元の回答上で直接編集し、その修正済みCoTを蒸留プロンプトとして再利用する Deep Interaction を提案している。

arXiv の新論文は、Transformer のフィードフォワードブロックを、深さ方向にどれだけ勾配のランクを保てるかという観点から再解釈している。残差接続、正規化の位置、幅の拡張は、単なるスケール制御ではなくランク崩壊を避ける仕組みとして整理される。

DeltaMerge-LowRes は、低リソース言語で新しいタスクに対応する際の高コストな共同微調整を避けるための手法だ。言語 delta とタスク delta を別々に学習し、推論時に合成する。