ベクトルではなく記号を共有：異なるLLMを訓練なしでつなぐSYNC

導入

複数の言語モデルが協力するシステムでは、どのモデルが何を知っているかを効率よく伝える通信機構が重要になる。テキストは最も汎用的な共通形式だが、コンテキストを消費し、定型的な事実の受け渡しにも多くのトークンを使う。一方、隠れ状態を直接共有すれば効率化できそうだが、モデルごとに次元数、層構造、表現空間が異なるため、そのままでは互換性がない。従来は、学習済みの変換器や、参加モデルが似た構造を持つという前提が必要だった。

南洋理工大学の研究チームが提案したSYNC（Symbol-Indexed Neural Communication）は、この問題に対して別の考え方を示す。モデルのベクトルを共有するのではなく、共通の単語リストにおけるインデックスを送り、受信モデルが自分の表現空間で意味を復元する。

仕組み

• 送信するのは単語の番号。 送信モデルは自分が見た物体の説明から、属性を表す単語を共通リスト内で選び、そのインデックスを物体ごとに送る。評価時の質問は見ないため、質問への直接的なヒントではなく、再利用可能な事実を伝えられるかが試される。
• 受信側の表現を使って書き込む。 研究者は受信モデルの活性値から、各単語に対応する方向を一度だけ推定する。受信したインデックスは、送信モデルのベクトルを翻訳せず、受信側固有の方向によって隠れ状態に書き込まれる。
• 書き込み層を先に固定する。 4つの開発用受信モデルで適切な層を選び、その後の評価では調整しない。これにより、モデルごとの再学習なしで新しい受信モデルに移せるかを検証した。
• 情報の選択的利用を測る。 2つの物体の属性を1つだけ入れ替え、入れ替え前後の変更された属性と変更されていない属性について、合計4問に答えさせる。単にメッセージを受け取るだけでなく、必要な事実を選んで使う能力を確認する設定だ。

結果と限界

3つの送信モデルと、5つの系統に属する9つの新しい受信モデルを用いた評価では、新しい場面における4問全正解率が72.0〜98.3%となった。中間層へ書き込む方式と比べ、最大で96ポイントの改善が得られ、最大規模の2モデルでは通常のテキスト通信と同程度だった。また、具体的なタスクを使わないプローブが、各新規受信モデルで利用可能な深さを事前に予測し、45件すべてで正しい判定を示した。

すべての事実を列挙するメッセージを新しい配置で使っても、再調整なしで89.6〜100%の成功率を維持した。特定の配置だけを記憶した結果ではない可能性を示す結果である。ただし、複数トークンの記号を用いるランドマーク課題では23.9〜64.0%にとどまり、メッセージなしの0%は上回ったものの、テキスト通信には及ばなかった。

意義

SYNCは、完全な隠れ状態を公開したり、モデル間のベクトル変換器を学習したりしなくても、異なるモデルを接続できる可能性を示す。共有語彙が小さな通信プロトコルとなり、受信側固有の単語方向がモデルごとの差異を吸収する構成だ。

多エージェントシステムで物体属性や構造化された状態を交換する場合、導入コストを下げられる可能性がある。一方、開放語彙の関係、曖昧さ、長距離推論、説明や不確実性の伝達まで同じ方式で扱えるかは未検証だ。現実的には、SYNCで簡潔な事実を送り、複雑な例外や理由はテキストで補う組み合わせが有望だろう。

出典：Hugging Face Daily Papers