Axion 1.0：3段階の学習で構築するオープンなエージェントモデル

概要

エージェントモデルには、質問への回答能力だけでなく、目標の分解、情報検索、ツール呼び出し、複数ステップの実行、環境からのフィードバックに応じた修正が求められます。Yuqi Jia氏らが提案するAxion 1.0は、こうした能力を複雑な後学習工程の積み重ねではなく、比較的シンプルな3段階で育成する方法を示します。

3段階の学習設計

学習工程は、2段階の軽量な教師ありファインチューニングと、その後の強化学習から構成されます。

• 自律的な推論を学ぶ。 第1段階では、外部ツールを必要としない科学問題を扱います。基盤モデル自身が示した比較的成功した解答戦略を参考に難問を作り、さらに対抗的な強化を施すことで、推論の頑健性を高めます。
• ツールを使った調査へ拡張する。 第2段階では、現実のデータソースから情報を取得したり、決定論的な計算を行ったり、外部ツールを呼び出したりする課題を導入します。多様なタスクを生成し、自動検証できる点が特徴です。
• 相互作用を強化する。 第3段階ではエージェントの軌跡を使って強化学習を行い、長い推論系列と、ツールや環境との継続的なやり取りを改善します。

公式説明によれば、専用の中間学習、直接選好最適化（DPO）、オンポリシー蒸留（OPD）は採用していません。また、教師あり微調整の例は約1万8,000件で、Axion 1.0には35Bと122Bのモデルが用意されています。

評価と公開範囲

評価対象はHLE、BioMysteryBench、SEAL-0、HiPhO、そしてFrontierScienceのOlympiadおよびResearch分割です。35B再現チェックポイントについて、公式にはそれぞれ52.8、35.3、60.4、45.9、85.0、55.0という数値が示されています。ただし、プロンプトやツール環境を含む評価条件が揃わなければ、実装間の単純比較はできません。

公開対象は重みだけではありません。データの構築・生成、フィルタリング、検証、プロンプト、訓練コード、訓練データ、35B再現モデルが提供されています。再現モデルはApache 2.0で公開されており、研究者が手法を検証・拡張するための入口になります。

意義と注意点

Axion 1.0の意義は、エージェント能力を「自力で解く」「ツールで調べる」「相互作用の中で学ぶ」という順序で整理したことにあります。公開された工程が安定して再現できれば、タスク設計、自動検証器、強化学習が結果に与える影響を分けて検討しやすくなります。

一方、学習レシピが短いことは、実装コストが低いことを意味しません。生成タスクの質、検証器の網羅性、ツール環境の信頼性、長期軌跡での強化学習の安定性は、結果を左右する可能性があります。したがって、Axion 1.0は汎用エージェント能力の最終回答というより、オープンな研究基盤として捉えるのが適切です。

出典：Hugging Face Daily Papers