Kubeflow、クラウドネイティブAIを拡張しCNCF卒業へ前進

導入

Kubeflowは、Kubernetes上で機械学習を実行するための部品群から、AI開発ライフサイクル全体を支えるプラットフォームへと範囲を広げている。今回の更新は、ノートブック、データ処理、パイプライン、分散学習、モデル管理、推論、セキュリティ、コミュニティ運営にまたがる。CNCF卒業が近づく中、プロジェクトが本番運用に必要な標準化と管理性を重視していることがうかがえる。

主な変更点

• 実験からパイプラインへの移行を簡素化。 Kale 2.0はネイティブSparkをサポートし、注釈を付けたJupyter Notebookを本番向けパイプラインへ変換できる。Kubeflow Pipelines v2に対応するため、データサイエンティストがKFP SDKのコードを手作業で作成する負担を減らせる。
• ノートブック環境を宣言的に管理。 Notebooks v2はCRDを中心に再設計され、プラットフォームチームがJupyterLabやVS Codeなどの環境をテンプレートで統一管理できる。現在はAlpha版が提供されている。
• AI学習とHPCを接近させる。 Kubeflow SDKは、Sparkによるデータ処理、パイプライン、分散学習、ハイパーパラメータ調整のためのPythonインターフェースを提供する。大規模言語モデルのファインチューニング用ブループリントも含まれる。新しいTrainerはMPIに対応し、Flux Frameworkとの統合によって、AIジョブと大規模HPCシミュレーションを同じKubernetes環境で調整できる。
• モデル管理と推論を拡張。 Model RegistryはHubに改称され、Model CatalogとMCP Catalogを含む構成になった。OCIをモデルやMCPサーバーの保存・配布に使う。KServeのLLMInferenceService CRDは、大規模モデル推論をプラットフォームの基本機能として扱い、マルチノード推論とOpenAI互換APIを支援する。
• 安全性と観測性を強化。 Kubeflow Community Distribution 26.03はKubernetes 1.34以降を正式に検証し、マルチテナントの初期設定を強化した。Pod Security StandardsのRestrictedポリシーにも対応する。今後はOpenTelemetryによる計測とMLflowトラッキングも予定されている。

意味と課題

本番向けのクラウドネイティブAI基盤には、アクセラレーターへのアクセスだけでなく、ノートブックからデータ処理、学習、モデル資産、推論サービスまでを接続する仕組みが必要になる。KubeflowはCRD、OCI、OpenAI互換APIなどを利用し、個別の統合作業を減らそうとしている。

一方、CNCF卒業がすべての機能の成熟を意味するわけではない。KaleやNotebooks v2は多様な組織の運用で検証する必要があり、分散学習、マルチノード推論、SparkとHPCの併用はスケジューリングと運用を複雑にする可能性がある。今後は安定性、エコシステムの連携、本番ユーザーからのフィードバックが重要になる。Outreach ProgramとML Experience Working Groupは、利用者と貢献者の参加障壁を下げる取り組みとして位置づけられる。

出典：InfoQ 中文