MLExpert：機械学習実験を自律的に改善するエージェント

導入

機械学習のコードを一度生成することと、機械学習エンジニアリングを自律的に進めることは同じではありません。実際の開発では、データ処理、モデル構成、ハイパーパラメータ、実験実行、結果の評価、次の試行の選択を繰り返す必要があります。初期の判断が後続の結果に影響するため、これは長期的な意思決定問題になります。MLExpertは、この実験ループをエージェントに担わせようとする研究です。

提案モデルは35BのMixture-of-Expertsエージェントです。固定的な手作業ワークフローをそのまま再現するのではなく、ツールを使って実験を組み立て、実行結果に応じて最適化方針を変更することを目指します。

主なポイント

• 実行可能なタスク環境。 Kaggle-MLE Factoryは、機械学習エンジニアリングの課題と、モデルがコードを書き、実験を実行し、結果を確認するための対話ハーネスを構築します。
• 階層型のエージェント微調整。 Hierarchical Agentic SFTは、一般的なコーディング能力とツール利用能力をMLEの文脈へ移し、長い対話軌跡から実験結果に結び付いた有用な教師信号を選びます。
• 実行ウィンドウによる報酬。 Windowed Interaction Reinforcement Learning（WIRL）は、二つの実験結果の間にある複数ターンの判断を一つの実行ウィンドウとして扱います。その間の行動に共通の結果ベース報酬を与え、遅れて得られる実験結果から学習しやすくします。
• 軌跡の完了前に更新。 非同期のデータ収集とポリシー補正により、長い実験が終わる前から方策を更新できるよう設計されています。コストの高い試行が多数含まれるMLEでは、この点が重要です。
• ベンチマークでの改善。 MLE-Bench Liteでは、ベースモデルの平均メダル率が37.9%から72.7%へ上昇しました。論文は、NatureBench Lite、エージェント・スキャフォールド最適化、アルゴリズム最適化についても追加実験を報告しています。

意義と限界

この研究の核心は、MLEを単なるコード生成ではなく、結果を見ながら次の行動を選ぶ逐次意思決定として扱った点にあります。最終スコアは、データ処理やモデル選択など複数の判断の積み重ねで決まります。WIRLは、結果とその前に行われた判断の関係を、実行ウィンドウ単位で学習させようとします。

これはAIがAIの開発を支援するAI4AIの流れにもつながります。実験の整理や反復的な探索を自動化できれば、研究者が手作業で行うワークフロー管理を減らせる可能性があります。一方、今回の数値は特定のベンチマークと実行環境に基づくものであり、オープンエンドな研究で同じ安定性が得られるとは限りません。計算資源の管理、失敗したコードからの復旧、結果の再現性、実験結論の信頼性、分野をまたぐ汎化については、さらなる検証が必要です。

今後は、モデルがコードを書けるかだけでなく、相互に関連した高コストの実験計画をどこまで長期的に管理できるかが評価の焦点になりそうです。

出典：Hugging Face Daily Papers