BI-AgentとBI-Benchが目指すエンドツーエンドBIの自動化

はじめに

Power BIやTableauのようなBIツールでは、利用者が質問を入力すればすぐにグラフや数値が表示されるように見えます。しかし実際には、回答の前に複数の準備作業があります。関連するテーブルを探し、列や値を変換し、テーブル間の関係を設定したうえで、初めて指標を計算できます。途中の判断を誤れば、最終的な回答も信頼できません。

論文「BI-Agent and BI-Bench: Towards Automating End-to-End Business Intelligence」は、大規模言語モデルがこうした一連の工程を、利用者による手作業なしで処理できるかを検証しています。

主なポイント

• 実際のBI資料を基にした評価基盤。 研究チームは公開されているBIプロジェクトを収集し、実際のユーザーダッシュボードから質問と正解を手作業で抽出しました。これが、エンドツーエンドのBI能力を評価するBI-Benchです。
• 汎用モデルの性能には限界がある。 論文によれば、最先端の大規模言語モデルでもBI-Benchの正解率は50％未満でした。データに関する一般的な推論能力だけでは、企業の複雑な分析工程を安定して処理できません。
• BI-Agentは工程を分解する。 システムはタスクを検索、結合、変換などの構造化データ処理に分け、各段階で専門的なデータ管理手法を組み合わせます。
• 現実のプロジェクトから学習軌跡を作成。 研究者はBIプロジェクトから訓練軌跡を合成し、教師あり微調整と強化学習の両方を用いてエージェントを追加学習しました。
• ツール利用と追加学習に効果。 論文では、ツール拡張型の手法が、モデルをそのまま使う場合と比べて最大40ポイントの正解率向上を示したと報告されています。追加学習後のBI-Agentについては、最大30ポイントの向上が報告されています。結果はモデルや実験条件に依存します。

意義と影響

この研究が示すのは、企業向けAIの課題が単にSQLを生成できるかどうかではないということです。重要なのは、データ資産の構造を理解し、自然言語の業務質問をテーブル選択、変換、結合、指標定義へと正しくつなげる能力です。実用的なBIアシスタントには、一度の回答生成ではなく、複数段階のワークフローを管理する仕組みが求められます。

BI-Benchは、単独のコード生成や質問応答ではなく、質問から答えに至る全体の工程を評価しようとする点で意義があります。ただし、ベンチマークの改善だけで企業業務を完全に任せられるわけではありません。権限管理、指標の定義差、欠損値、異常データ、結果の監査は、導入時に残る重要な課題です。

今後のBIエージェントは、モデルの規模だけでなく、ツールの連携、領域特化学習、処理過程の説明、そして企業のデータガバナンスへの適合性によって評価されるでしょう。

出典：Hugging Face Daily Papers