VAIOM：連続入力で為替リターンを扱う Transformer

導入

金融時系列は、自然言語とはかなり性質が異なる。価格、スプレッド、ボラティリティ、ギャップ、銘柄属性などは連続値であり、しかも異質でノイズが大きい。一方、decoder-only 型の next-token モデルは、通常は離散的な記号列を前提に設計されている。arXiv 論文「VAIOM: Continuous-Input, Discrete-Output Decoder-Only Financial Sequence Modeling」は、このギャップを埋めるため、入力では連続的な金融イベントベクトルを使い、出力では離散化されたリターン区間の確率分布を予測する構成を採っている。

核心ポイント

• 連続入力と離散出力の分離：VAIOM は、多変量の金融イベントを連続ベクトルとして Transformer に入力する。これにより数値的な構造を保ちつつ、次の波動率正規化リターンの区間をカテゴリ分布として出力し、交差エントロピーで学習できる。
• 対象は確率的リターンモデリング：モデルは1時間足の外国為替バーに対する次期リターンの確率分布を推定する。論文は直接的な売買シグナル生成ではなく、尤度評価可能な予測分布に焦点を当てている。
• ハイブリッドな入力設計：選択された 0.9M パラメータの Hybrid Continuous Input モデルは、連続イベント特徴とカテゴリ型の資産メタデータを組み合わせる。
• 補助目的と混合ヘッド：Mixture-of-Market-States リターンヘッドに加え、Gap、ボラティリティ・レジーム、Ordinal の補助目的を導入し、表現学習を補強している。
• 全系列での監督：最後の位置だけで学習するのではなく、系列全体に対して監督をかける点も重要な設計要素とされる。

結果の読み方

評価手順は比較的慎重に設計されている。前処理とモデル学習は 2024 年以前の Train データで行い、2024 年下半期の Validation でモデルを選択し、その後 2025 年の2つの Test 期間で再学習なしに評価する。論文によれば、3つの独立した学習シードにおいて、すべてのモデルが両方のテスト半期で固定の単一バー LightGBM ベースラインを上回った。canonical checkpoint では、LightGBM に対するペア比較の改善幅はイベントあたり 0.029 および 0.043 bits と報告されている。

ただし、この結果は慎重に解釈すべきだ。尤度の改善は、取引コストやスリッページ、リスク制約を考慮した実運用上の利益を意味しない。論文が示しているのは、少なくとも設定された確率予測タスクにおいて、系列文脈を使うモデルが単一バーの勾配ブースティング基準線より多くの情報を捉えた可能性である。

消融実験も示唆的だ。同じカテゴリ型リターン目標のもとで、連続入力は離散 token 入力を上回った。全系列監督は最終位置のみの学習より良く、補助的な表現形成と混合構造のリターンヘッドも尤度改善につながった。さらに容量研究では、今回のコーパスでは評価された完全構成の中で最小の段階が最良の Validation 尤度を示しており、金融モデルでは単純な大型化が常に有利とは限らないことを示している。

意義と影響

VAIOM の意義は、市場データを無理に言語 token のように扱わない点にある。数値関係が重要な入力部分では連続性を保ち、学習と評価に適した出力部分では離散分布を使う。この分離は、金融に限らず、ノイズが大きく連続的なイベント列を Transformer で扱う場合にも参考になり得る。

量的研究者にとって、本研究は完成された取引戦略というより、入力表現、監督位置、補助目的、時系列分割による検証をどう設計するかを示す事例といえる。金融 AI では、アーキテクチャの新規性だけでなく、評価プロトコルの堅牢さが同じくらい重要であることを改めて示している。

出典：arXiv