成功した軌跡が、よい教材とは限らない
エージェントの後学習では、タスクを完了した軌跡が有用な教師データとして扱われがちだ。しかし成功に至った過程には、裏付けのない仮定、成果につながらない反復、形式だけの確認が含まれることもある。成否だけを基準にデータを選べば、望ましい行動と一緒に、こうした癖まで学習させる可能性がある。
AutoMasterが問うのは、教師モデルを別のモデルに置き換えずに、より役立つ示範を作れるかという点だ。提案手法のSkill-FT(Skill-Guided Fine-Tuning)は、自然言語のスキル指示で教師のロールアウトを導く。望ましくない習慣を抑え、データ中であまり見られない有効な振る舞いを引き出したうえで、その軌跡を使って対象モデルを教師あり微調整する。
軌跡分析から評価までを反復
AutoMasterはLLMエージェントを用い、軌跡の行動パターンを分析し、スキルを設計・改良し、価値の高いデモを選ぶ。教師の新たなロールアウトと対象モデルの評価結果を次の改善に反映する仕組みだ。つまり、成功例を選別するだけでなく、成功例がどのような行動を示すかも調整する。
この違いは重要だ。タスクの成功ラベルだけでは、モデルが仮定を適切に確認したか、不要な操作を繰り返さなかったかは分からない。自然言語のスキルは、そうした過程上の好みを明示し、教師の示範に反映させる手段となる。
報告された結果と指示文の役割
実験対象はTerminal、Search、ソフトウェアエンジニアリングのタスクで、対象モデルは4Bと9B。成功したものの未誘導の教師軌跡を使う通常のSFTと比べ、AutoMasterは平均性能を1.42~8.99ポイント高めた。教師、タスクプール、訓練データ数、SFTのレシピは固定されており、主な比較対象は示範行動を導く効果である。
もう一つの検討点は、微調整時にスキル指示を残すかどうかだ。評価時には指示を与えず、教師あり出力も同じであるにもかかわらず、指示を残す方式は6つすべての設定で指示を除く方式を上回り、その差は2.15~4.01ポイントだった。示範の周囲にある文脈も、単なる一時的な生成指示ではなく、行動パターンの学習に関わる可能性を示している。
意義と今後の課題
AutoMasterは、成功した軌跡を増やしたり選別したりするだけでなく、「よい軌跡にどんな振る舞いが必要か」を明示する後学習の考え方を示す。複数段階の操作を行うエージェントでは、最終結果だけでなく、確認の確かさや行動の効率も重要になるため、この視点には実用的な意味がある。
ただし、報告された結果は特定のタスク、モデル規模、実験設定に基づく。あらゆるエージェントで効果が出ることや、学習した振る舞いがすべての運用環境で維持されることまでは示していない。堅実な結論は、成功というラベルだけでは教材としての質を判断しきれず、教師が示す行動を明示的に設計する価値がある、という点だ。
コメント
ログイン状態を確認中…
コメントを読み込み中…