Thinking MachinesがInklingを公開：1兆規模に迫るオープンなマルチモーダルモデル

導入

Thinking Machinesは、Hugging Face上でオープンなマルチモーダルモデルInklingを公開した。最大の特徴は、975Bの総パラメータ、41Bのアクティブパラメータ、そして最大1Mのコンテキストウィンドウだ。さらに、テキストだけでなく画像と音声もネイティブに入力できる点を前面に出している。

Inklingは、既存の言語モデルに視覚や音声の部品を後付けするというより、複数モダリティを同一の生成モデルの枠組みで扱う基盤モデルとして設計されている。公開資料では、マルチモーダル推論とドメイン適応のためのファインチューニングが主な用途として示されている。

主要ポイント

• 巨大だがスパースなMoE：Inklingはdecoder-onlyのMixture-of-Expertsモデルで、総パラメータは975B。ただし推論時にアクティブになるのは約41Bで、256個の専門家を持つ。ルーティングされる専門家に加え、常時有効な共有専門家も使われる。
• 画像・音声・テキストを入力可能：画像は階層的なMLP patchifierによって段階的にパッチ埋め込みへ変換される。音声はmelスペクトログラムを離散化し、その値を音声埋め込みとしてモデルに渡す。
• 1Mコンテキストと注意機構：位置情報には一般的なRoPEではなく相対注意を用いる。レイヤーはスライディングウィンドウ注意とグローバル注意を5:1の比率で組み合わせ、最後の層ではグローバル注意を使う。
• 局所表現を補うSConv：短い1次元畳み込みで現在のトークンと直前の隠れ状態を読む。これにより局所的なパターン処理を補い、注意機構やMoEに別の表現能力を持たせる狙いがある。
• 推論スタックへの対応：transformersでのday-0サポートが提供され、SGLangやvLLMなどの推論エンジンにも対応する。llama.cpp向けのggml量子化も示されている。

意味と影響

Inklingの登場は、オープンモデルの競争軸が単なるテキスト性能から、長コンテキストとマルチモーダル推論を含む基盤能力へ移っていることを示している。文書、画像、音声をまたぐ業務アプリケーションや、複数の入力形式を扱うエージェント型ワークフローにとって、こうしたモデルは設計を単純化する可能性がある。

一方で、利用コストは大きな課題だ。BF16チェックポイントには約2TBのVRAMが必要で、NVFP4版でも約600GBのVRAMが必要とされる。そのため、多くの開発者はフルモデルをローカルで動かすのではなく、ホスト型推論、推論プロバイダー、あるいは量子化版を通じて触れることになるだろう。

Inklingはすぐに誰もが手元で動かせるモデルというより、大規模なマルチモーダル研究と応用開発のための新しいオープン基盤と見るべきだ。実際の価値は、今後の評価結果、コミュニティによる最適化、そしてコストに見合う用途がどれだけ見つかるかに左右される。

出典：Hugging Face Blog