MicrosoftのAI Frontiersが終了、研究とスケーリングの溝が浮き彫りに
はじめに
Microsoft ResearchのAI Frontiers(AIF)が終了した。創設リーダーの一人であるJohn Langfordは、チームがMicrosoft AIに組み込まれた後に退社したと説明している。また、ほかの創設時のリーダーも同様の判断に至ったようだ。今回確認できる内容の中心はLangford本人の発信であり、Microsoftによる全面的な公式説明ではない。そのため、以下は再編を経験した当事者による見方として読む必要がある。
なぜAIFは作られたのか
Langfordによれば、ChatGPTの登場後、研究を一人の研究者に任せる従来型の進め方では競争に対応しにくくなった。面白いアイデアがあっても、十分な計算資源や強力な比較対象を一人で用意するのは難しい。結果として、研究成果が出るころには遅く見えたり、説得力を示せなかったりする可能性がある。
そこで2023年、Microsoft Research内の複数の研究者がAIFを立ち上げた。完全なトップダウンでも、個々人に任せるボトムアップでもなく、関連するテーマを組織しながら研究の自由度を残すことが狙いだった。
チームはエージェント分野で、AutoGenのようなオーケストレーション基盤や、コンピューター操作エージェントのFaraに取り組んだ。ニューヨークのメンバーは、Next Latentという学習目標、Dion3、再帰によってモデルの能力を高めるFull Bandwidth Transformerなど、より基礎的な方向も検討した。また、Microsoft Research内で共有しやすいコード基盤を整備し、研究インフラの重複を減らそうとした。
Microsoft AIへの統合で生じた摩擦
AIFは9月初めにMicrosoft AIへ再編された。組織をまとめれば計算資源や人材を集中できるため、合併そのものには合理性がある。しかしLangfordは、実際には研究哲学の違いが大きかったと語る。
- スケーリングを優先: Microsoft AIはモデル、データ、学習運用の拡大を重視し、研究主導の革新とは距離があったという。
- リスクの捉え方が異なる: 規模拡大は効果を予測しやすい一方、研究は不確実だが効率や能力を大きく変える可能性がある。
- 実用化への道が弱い: AIFの成果が新組織で真剣に検討され、利用される経路を見いだせなかったとされる。
- 研究組織への信頼が低下: 良い研究をすれば支援や成果につながるという関係が、再編によって揺らいだとLangfordは受け止めている。
影響と意味
AIFの終了だけで、その研究方針が失敗したと判断することはできない。むしろ今回の件は、大手AI企業が抱える難題を明確にした。巨大なモデルを訓練するには工学的な規律と大規模投資が必要だが、学習目標やモデル構造を変える研究も、将来の能力やコストを左右する。
訓練・推論費用が増える中、少ない資源で同等の能力を実現する研究には事業上の価値がある。LangfordはFull Bandwidth Transformerに関する実験をその例として挙げるが、素材内の情報だけでは主張を独立に検証できない。今後は公開された実験と再現可能な比較が重要になる。
Microsoftにとって問われるのは、AIFという名称を残すかどうかではない。研究者が自由に探索しつつ、成果を製品へ届けられる仕組みを作れるかである。スケーリングだけに寄れば新しい突破口を逃す恐れがあり、研究だけで実用化の道がなければ影響力を示しにくい。AIFの終了は、その両立がなお難しいことを示す一例だ。
出典:Hacker News
コメント
ログイン状態を確認中…
コメントを読み込み中…