VAIOM：面向外汇收益预测的连续输入 Transformer

导语

金融时间序列一直是 Transformer 模型较难直接套用的场景：价格、波动率、价差和资产属性往往是连续、异构且噪声很强的数据，而 decoder-only 模型传统上更擅长处理离散 token。arXiv 论文《VAIOM: Continuous-Input, Discrete-Output Decoder-Only Financial Sequence Modeling》提出的 VAIOM，正是围绕这个错位展开：不把金融观测强行全部离散化，而是让模型在输入端接收连续向量，在输出端仍采用可训练、可评估的离散收益分布。

核心要点

• 连续输入、离散输出：VAIOM 将多变量金融事件表示为连续向量，以保留数值结构；预测目标则是下一小时外汇 bar 的波动率归一化收益桶，用交叉熵进行训练和似然评估。
• decoder-only 架构用于收益建模：论文关注的是概率式下一收益预测，而非直接给出交易信号。模型输出的是不同收益区间的概率分布。
• 混合连续输入模型：被选中的 0.9M 参数 Hybrid Continuous Input 模型结合了连续事件特征与类别型资产元数据，并使用 Mixture-of-Market-States 收益头。
• 加入辅助目标：模型还引入 Gap、波动率状态和 Ordinal 等辅助目标，用于塑造表征；训练方式采用全序列监督，而不是只在最后位置计算目标。
• 时间切分较严格：预处理和模型训练使用 2024 年以前的数据，模型选择基于 2024 年下半年验证集，并在两个 2025 年测试区间上不重新拟合地评估。

结果与解读

论文报告称，在三个独立训练种子下，所有模型在两个 2025 测试半段中都超过固定的单 bar LightGBM 基线。对于 canonical checkpoint，相对 LightGBM 的配对提升分别为每事件 0.029 和 0.043 bits。这个幅度并不意味着模型已经能直接转化为交易收益，但说明在论文设定的概率似然指标上，序列模型确实捕捉到了一些基线没有利用到的上下文信息。

更有价值的是消融结论：在相同的分类收益目标下，连续输入优于离散 token 输入；全序列监督优于只训练最后位置；辅助表征塑造与混合结构收益头也能改善收益似然。容量研究还显示，在当前语料上，最小的完整架构档位反而取得了最强验证似然，这提醒金融建模不一定遵循“越大越好”的规律。

意义与影响

VAIOM 的启发在于，它没有简单把金融数据改造成语言 token，而是将“连续观测”和“离散概率评估”拆开处理。这种设计或许更适合噪声高、样本分布随时间漂移的市场数据。与此同时，论文仍停留在预测似然层面的评估，没有声称能带来可交易的稳定收益；外汇市场中的交易成本、滑点、风险约束和制度变化，仍会显著影响实际应用。

总体来看，VAIOM 更像是对金融序列建模范式的一次工程化探索：让 decoder-only Transformer 适配连续金融事件，而不是让金融数据迁就文本模型。对量化研究者而言，它提供了一个值得参考的建模方向，也提醒人们在金融 AI 中应更重视输入表示、监督位置和评估切分的设计。

来源：arXiv