認識できても根拠は揃わない：多言語財務抽出の盲点

導入

多言語の財務開示を比較する際、文章を会計概念に対応付けるだけでは不十分だ。関連する金額、比率、期間、その他の数値事実をすべて回収し、どの記述がどの証拠を支えているのかを確認しなければならない。モデルがある文章を売上高や負債に関するものだと理解していても、同じ文脈にある複数の数値の一部しか抽出しないことがある。

論文「Recognition Is Not Grounding」は、この認識と根拠回収のずれを調べる MULTIFINGROUND を提案した。焦点は、モデルが概念を見抜けるかだけでなく、その概念を表す証拠を同じ文脈から漏れなく取り出せるかにある。

主なポイント

• 英語・フランス語・ギリシャ語を対象にする。 ベンチマークは90社のFY2025開示資料から構成され、独立して作成された報告書を共通の会計分類体系で対応付けている。
• 事実レベルで追跡できる。 概念ラベルだけでなく、その概念を表現する具体的な数値事実を注釈化しているため、正解かどうかに加えて根拠が揃っているかを検証できる。
• 複数の能力を分けて測る。 財務事実の識別、概念認識、事実の網羅的選択、候補ラベルなしでの概念識別を評価する。
• 高い認識精度の後に漏れが残る。 15モデルの評価では、8つのAPIおよびオープンウェイトの基準モデルが概念認識で97.3〜99.4%を達成した。それでも、正しく認識したグループの26.6〜41.9%で、少なくとも1つの対象事実を取りこぼした。
• 金融特化だけでは十分でない。 概念の区別にはモデル間で大きな差があり、評価された金融特化モデルの改善幅も限定的だった。

意義と影響

この結果は、一般的な金融NLP評価がモデルの実力を過大評価し得ることを示す。概念ラベルだけを採点すると、投資調査、監査、規制対応、財務報告で重要な「根拠の抜け」を見逃してしまう。比較対象の期間や金額を1つ落とすだけでも、比率計算や前年同期との解釈が変わる可能性がある。

今後の評価では、意味の認識と証拠の網羅的な回収を一体として測る必要がある。開発側には、表・段落・複数文に分散した情報を連携して扱う仕組みや、抽出漏れを検出する再確認工程が求められる。利用者も、もっともらしい単一の数値を完全な回答とみなさず、出典とカバー範囲を確認すべきだ。

MULTIFINGROUND の重要性は、見えにくかった失敗を測定可能にした点にある。モデルは内容を理解しているように見えても、その理解を裏付ける材料をすべて集めているとは限らない。財務領域では、この差が回答の信頼性を左右する。

出典：Hugging Face Daily Papers