大規模言語モデル

GigaWorld-Policy-0.5 は、推論時に未来動画を生成する World Action Models の重さに焦点を当てている。訓練では未来の視覚変化を活用し、実行時には行動のみを出力する設計が特徴だ。

arXivに投稿された論文は、LLMの誤った推論ステップをユーザーが元の回答上で直接編集し、その修正済みCoTを蒸留プロンプトとして再利用する Deep Interaction を提案している。

arXiv の新論文は、Transformer のフィードフォワードブロックを、深さ方向にどれだけ勾配のランクを保てるかという観点から再解釈している。残差接続、正規化の位置、幅の拡張は、単なるスケール制御ではなくランク崩壊を避ける仕組みとして整理される。

DeltaMerge-LowRes は、低リソース言語で新しいタスクに対応する際の高コストな共同微調整を避けるための手法だ。言語 delta とタスク delta を別々に学習し、推論時に合成する。