RIBOSPAN、全長RNAを扱うネイティブ長文脈モデルを提案

導入

RNA基盤モデルの多くは、完全な転写産物より短いウィンドウで学習されています。特にメッセンジャーRNAでは、入力を断片に分割しなければならないケースがあり、コード領域と非コード領域の関係や、配列上で離れた位置にある情報を同時に扱いにくくなります。RIBOSPANは、この問題を推論時の単純な文脈拡張ではなく、事前学習の段階から長文脈を扱うことで解決しようとします。

主なポイント

• 最大10,240ヌクレオチドで事前学習。 RIBOSPANは16.1億パラメータの双方向モデルです。各位置がRNA配列の前後両方から情報を利用できる構成で、最大10,240ヌクレオチドの文脈を学習しました。
• 単一ヌクレオチドの解像度。 RNAを粗い単位にまとめず、1ヌクレオチドを基本トークンとして扱います。これにより、全長配列を入力しながら局所的な配列情報も保持することを目指しています。
• 系列間の注意を分離。 学習時に複数の配列をまとめて処理する一方、異なる配列同士の注意計算は分離します。計算資源を効率よく使いながら、無関係な配列が互いの表現を汚染することを避ける設計です。
• 長文脈を複数の角度から評価。 ヌクレオチド再構成、制御された長文脈表現ベンチマーク、RNAタイプ別の凍結表現評価を実施しました。原生10Kモデルは最長の評価長でも再構成能力を保ち、文脈への応答性や文脈ごとの表現分離も示しました。
• 強いマスク破損への対応。 マスク率40%で継続事前学習すると、大きく破損した入力からの復元能力が向上しました。その一方、報告された評価では表現品質も維持されています。
• 推論時拡張には副作用。 YaRNによる推論時の文脈拡張は、短文脈モデルを直接外挿した場合に失われる文脈構造の多くを回復します。しかし、遠距離の表現拡散は大きくなりました。長距離情報を扱う能力を学習段階から獲得することの重要性が示唆されます。
• 生成と設計への展開。 同じバックボーンを使い、多次元条件付きの離散拡散フレームワークを構築しました。全長mRNAの生成・再設計に加え、タンパク質配列を保ったまま同義コドンを最適化する方法も扱っています。

意義と限界

RIBOSPANの特徴は、単に入力可能な長さを増やしたことではありません。完全な転写産物を一つのモデリング単位として扱い、長い配列の中で情報が安定して整理されるかを評価している点にあります。局所的な変化による表現の影響が広範囲に拡散しにくいという結果は、長文脈モデルの品質を考えるうえで重要です。

また、全長RNAの表現学習から生成・最適化へ進む流れも明確です。転写産物全体を理解できる表現は、短い断片だけで学習したモデルより、全体構造を考慮する設計タスクに適した基盤となる可能性があります。ただし、今回の材料が示すのは再構成、表現評価、モデル上の生成・再設計能力です。設計されたmRNAが実際に生物学的機能を持つかどうかは、今後の実験検証が必要です。

Source: Hugging Face Daily Papers