Meshy T2：Flow Matchingでネイティブなメッシュ生成を高速化

導入

映画、ゲーム、インタラクティブな3Dアプリケーションでは、ポリゴンメッシュが今も標準的な表面表現として使われています。編集、最適化、アニメーション、レンダリングといった後工程に載せやすいからです。一方で、多くのAIメッシュ生成手法は、メッシュをトークン列へ直列化し、自己回帰的に1つずつ復号します。この方式は扱いやすい反面、推論が遅く、途中の誤りが後続の生成に影響しやすいという弱点があります。

Hugging Face Daily Papersに掲載された論文「Meshy T2: Fast Native Mesh Generation with Flow Matching」は、この課題に対して別の設計を提示しています。メッシュを長い列として書き出すのではなく、Flow Matchingを使って、より並列的かつネイティブな形でメッシュを生成するという発想です。

主要ポイント

• 頂点ごとの連続潜在表現：Meshy T2の中心にはvertex-set mesh VAEがあります。これは各頂点を1つの連続潜在トークンとして符号化し、頂点の量子化や後処理の溶接に依存しません。
• トポロジーを一括復号：デコーダは頂点位置だけでなく、エッジ接続と面の巻き順も1回の処理で復元します。高精度な形状と、アーティストが作成したようなトポロジーの保持を狙っています。
• 粗から細への2段階生成：まず画像条件付きのボクセルフローが、全体形状を粗い占有グリッドとして描きます。次にメッシュフローが、画像、足場となるボクセル、要求された頂点数を条件として、頂点ごとの潜在トークンを生成します。
• 複雑度の制御：頂点予算を指定できるため、最終メッシュの密度や面数に近い性質を実用的に調整できます。
• 複数パーツへの対応：論文では、マルチパートのアセットが生成された接続関係から直接現れると説明されています。

意義と影響

Meshy T2の重要性は、制作パイプラインで扱いやすいメッシュ形式を保ちながら、生成速度を高めようとしている点にあります。論文によれば、画像からメッシュまでのエンドツーエンド生成は中央値で6秒以内に完了し、自己回帰型のベースラインより1桁以上高速です。また、著者らの実験では幾何学的な忠実度でも最先端水準に達したとされています。

もしコードと重みの公開後に同様の結果が再現されれば、Meshy T2は3Dアセットのラフ作成、コンセプト検証、対話的な反復制作に役立つ可能性があります。3D生成においては、見た目がそれらしいだけでは不十分です。ポリゴン数を制御でき、接続構造が扱いやすく、下流ツールで編集可能な形になっていることが重要です。

もちろん、摘要から分かる範囲では、カテゴリをまたいだ安定性、マテリアルやテクスチャとの統合、DCCツール上でのトポロジー品質などは今後確認すべき点です。それでもMeshy T2は、逐次的なメッシュ記述から、並列的なネイティブメッシュ合成へ向かう流れを示す研究と言えます。

出典：Hugging Face Daily Papers