Source-linked AI summary
FinSearchComp: Towards a Realistic, Expert-Level Evaluation of Financial Search and Reasoning
Liang Hu, Jianpeng Jiao, Jiashuo Liu, Yanle Ren, Zhoufutu Wen, Kaiyuan Zhang, Xuanliang Zhang, Xiang Gao, Tianci He, Fei Hu, Yali Liao, Zaiyuan Wang, Chenghao Yang, Qianyu Yang, Mingren Yin, Zhiyuan Zeng, Ge Zhang, Xinyi Zhang, Xiying Zhao, Zhenwei Zhu, Hongseok Namkoong, Wenhao Huang, Yuwen Tang
TL;DR
FinSearchCompは、エージェントが時間依存性の高い専門領域のアナリスト業務に対応する、現実的な金融検索・推論のためのオープンなエンドツーエンドベンチマークの欠如に対処する。専門家の知見と公開評価ツールを用いて構築した、3つのタスク群にまたがる635問のベンチマークを導入する。Global subsetではGrok 4 (web)、Greater ChinaではDouBao (web)が首位となり、web searchとfinancial pluginsの併用で性能は向上するが、重要な設定では依然としてシステムは脆弱で、人間の性能を下回る。
問題
既存のオープンな金融データセットは、現実的で複雑かつ時間依存性の高いアナリスト業務におけるエンドツーエンドのエージェント検索を評価していない。
手法
本論文は、3つのアナリスト型タスク群、2つの市場subset、決定論的な解答、公開評価harnessからなる、専門家がキュレーションした635問のFinSearchCompを構築する。
結果
Global subsetではGrok 4 (web)、Greater ChinaではDouBao (web)が首位となり、エージェントにweb searchとfinancial pluginsを装備するとFinSearchCompの性能が向上する。
示唆と限界
FinSearchCompは、現実的な金融検索・推論を測定する高難度のテストベッドを提供するとともに、検索の深さ、鮮度認識、証拠統合における弱点を明らかにする。
Abstract
from arXiv · showhide
Search has emerged as core infrastructure for LLM-based agents and is widely viewed as critical on the path toward more general intelligence. Finance is a particularly demanding proving ground: analysts routinely conduct complex, multi-step searches over time-sensitive, domain-specific data, making it ideal for assessing both search proficiency and knowledge-grounded reasoning. Yet no existing open financial datasets evaluate data searching capability of end-to-end agents, largely because constructing realistic, complicated tasks requires deep financial expertise and time-sensitive data is hard to evaluate. We present FinSearchComp, the first fully open-source agent benchmark for realistic, open-domain financial search and reasoning. FinSearchComp comprises three tasks -- Time-Sensitive Data Fetching, Simple Historical Lookup, and Complex Historical Investigation -- closely reproduce real-world financial analyst workflows. To ensure difficulty and reliability, we engage 70 professional financial experts for annotation and implement a rigorous multi-stage quality-assurance pipeline. The benchmark includes 635 questions spanning global and Greater China markets, and we evaluate 21 models (products) on it. Grok 4 (web) tops the global subset, approaching expert-level accuracy. DouBao (web) leads on the Greater China subset. Experimental analyses show that equipping agents with web search and financial plugins substantially improves results on FinSearchComp, and the country origin of models and tools impact performance significantly.By aligning with realistic analyst tasks and providing end-to-end evaluation, FinSearchComp offers a professional, high-difficulty testbed for complex financial search and reasoning.
1 はじめに
FinSearchCompは、時間依存の検索、過去情報の参照、複数ソースを用いるアナリスト業務をモデル化することで、現実的なエンドツーエンド金融検索ベンチマークの不足に対応する。その評価は、進展が大きい一方で一様ではないことを示す。web searchとfinancial pluginsは有効だが、最先端システムも依然として専門家に及ばず、情報の鮮度や照合の失敗に対して脆弱である。
- 結果: Global subsetでは、Grok 4 (web)が68.9%を獲得し、GPT-5-Thinking (web)を5.0 pp上回る一方、人間の専門家には6.1 pp及ばない。Greater ChinaではDouBao (web)が首位だが、すべてのモデルが人間を34 pp超下回る。これらの結果は、Figure 1の全体比較に基づく。
- ベンチマーク設計: FinSearchCompは、3種類のアナリスト型タスク群とGlobalおよびGreater China市場にまたがる635 expert-curated questionsを通じて、現実的な金融検索を評価する。タスクは、Time-Sensitive Data Fetching、Simple Historical Lookup、Complex Historical Investigationを対象とし、多段階検証とrubric-based scoringを備える。
- 貢献: FinSearchCompは、決定論的な正解を備えたopen-source datasetと、エンドツーエンド金融検索を評価するための公開evaluation harnessを提供する。このベンチマークは、現実的な金融検索における専門家レベルの能力への近さを測定することを目的とする。
- 分析: 評価対象となった21モデル全体で、web searchとfinancial pluginsは性能を向上させるが、反復的に見られる誤りには、浅い検索、古い証拠、抽出ミス、単位間または暦の不整合が含まれる。分析では、専門ツールの利用と証拠の鮮度を、具体的な改善対象として特定する。
- 動機: このベンチマークは、一般的なブラウジングデータセットでは扱われない能力、すなわち時間的妥当性、単位の整合、報告暦の整合、ソース間のprovenance reconciliationを対象とする。これらの要件は、リアルタイムのシグナル、過去の開示情報、非構造化コンテキストを組み合わせる金融業務を反映する。
2 FinSearchComp
FinSearchCompは、鮮度、過去時点との整合性、複数期間にわたる統合の水準が段階的に高まる、現実的な金融アナリストの業務フローを軸に設計されている。その評価では、rubricに基づく判定を許容誤差を考慮したスコアリングおよび人手による検証と組み合わせている。
- 構築と品質管理: FinSearchCompは、情報源の選定、曖昧性の緩和、複数専門家による検証、rubricベースの品質管理を適用し、質問の信頼性を高めている。構築プロセスでは、3つのタスクに対して個別のパイプラインを用いる一方、全タスクに一貫した品質管理を適用している。
- 設計原則: このbenchmarkは、市場、言語、報告慣行、規制環境をまたぐ専門的な金融業務を反映することを意図している。GlobalサブセットとGreater Chinaサブセットでは、英語および中国語の質問、対応関係を持つタスクテンプレート、セクターと規模によって均衡化された対象企業のカバレッジを用いている。
- タスク設計: T1は急速に変化するデータを取得し、T2は固定された過去の事実を取得し、T3は長期間にわたる情報を集約または統合する。各タスクはそれぞれ、鮮度とカレンダー処理、報告慣行と単位の忠実性、長期的な検索と複数ステップ推論を重視する。
- タスク設計: FinSearchCompは、アナリスト型の検索を、時間依存データの取得、単純な検索、複雑な過去調査へと進む3つのタスクに整理している。タスク群は、鮮度の管理、特定時点との整合性、複数期間にわたる統合を扱い、難易度はT1からT3にかけて高くなる。
3 実験
FinSearchCompは、GlobalおよびGreater Chinaサブセットにおいて、22の主要製品と人間ベースラインを評価し、タスク、地域、モデルに依存する性能差を明らかにする。
- 3.1 全体結果: Grok-4 (web)とGPT-5-ThinkingがGlobalの上位層を形成する一方、中国製品はGreater Chinaサブセットで首位に立つものの、人間の専門家には及ばない。報告された順位はサブセット間で異なり、Grok-4 (web)がGlobalで最高スコアを獲得し、DouBao (web)がGreater Chinaで首位となる。
- 3.2 異なるタスク間の結果: 性能はT1からT2、T3へと単調に低下し、multi-hop retrieval、temporal reasoning、entity resolution、evidence reconciliationを含む、ますます要求の高いアナリスト業務を反映する。最も難しいタスクではさらに、開示資料、disclosure、会計用語、corporate actionの金融固有の解釈が求められる。
- 3.2 異なるタスク間の結果: Globalセットでは米国モデルが、Greater Chinaでは中国モデルが首位となる。この傾向は、地域別のコーパスカバレッジ、言語慣習、alignmentまたはrecency効果に起因するとされる。これらの要因は、データリーケージを意味することなく、ホームフィールドでの性能を向上させると説明される。
- 3.2 異なるタスク間の結果: タスク難度が上がるほど、Grok-4 (web)とGPT-5-Thinkingは他のシステムを上回り、その最大の差はT3で生じる。この向上はmulti-step reasoning、timeline alignment、entity disambiguationによるものと論文は結び付けており、Grok-4 (web)はGreater ChinaのT3でも首位となる。
4 ケーススタディ
ケーススタディは、検索および金融プラグインへのアクセスが性能に実質的な影響を与える一方、残る差異はタスク構造とモデルの推論能力によって形作られることを示している。
- 4.1 検索能力: 検索対応モデルは、T1、T2、T3でそれぞれ40.8、29.0、8.1ポイント向上するのに対し、検索機能を持たないモデルのT1スコアは0である。検索は過去データを扱うタスクでも有効であるが、より深い推論と統合が必要になるにつれて、その向上幅は小さくなる。
- 4.2 金融プラグイン: 金融プラグインはYuanBao上でのDeepSeek R1の性能を向上させ、比較設定を31.9 pp上回るT1改善をもたらす。プラグインは現在および過去の金融データへの直接アクセスを提供するが、YuanBao-R1は依然として最適とはいえず、モデル固有の能力も重要であることを示している。
- 4.3 モデルの出自: 米国モデルは概してグローバル資産で、中国モデルは中国資産で高い性能を示すが、T3では大半のモデルが100%を超えるGlobal-to-Chineseスコア比を示す。DoubaoとKimi k2は中国モデルの中で最も高い比率を示しており、地域間で比較的均衡した性能を示唆している。
- 4.1 検索能力: Grok 4 (web)は多様で信頼できる情報源を利用することでT2で首位となる一方、パラメトリックメモリによる回答やニュースのみの検索では、公式提出書類の詳細な情報を見落とすことが多い。引用された例には、損益計算書情報など、過去の財務開示が含まれる。
- 4.1 検索能力: T3で30を超える製品はGrok 4 (web)とGPT-5-Thinking (web)を除いて存在しない。これは、複雑な調査にAPIまたはSQLを通じた構造化検索が必要なためである。成功した試行の大半は、必要なデータポイントが5未満のクエリに限られる。
- 4.4 推論能力: 推論能力はT1の性能を平均7.0ポイント低下させる一方、T2とT3への影響は無視できる程度である。論文は、T1の低下をタスクの複雑性が低いことと、推論モデルが過剰に思考する可能性に帰している。
5 関連研究
既存の金融ベンチマークはドメイン知識と推論能力を測定するが、関連データをあらかじめ提供することが多い。一方、エージェント型ベンチマークはツールとのインタラクションを拡張しているものの、現実的なオープンドメイン金融検索を十分に対象としていない。
- 金融ベンチマーク: FinQAとConvFinQAは、テキストおよび表形式のエビデンスからマルチステップ・プログラムを構成することで、年次報告書上の数値推論を評価する。その他のベンチマーク群は、分類、抽出、生成、および関連する金融能力にまたがってタスクと言語の対象範囲を拡張している。
- 金融ベンチマーク: 既存の金融データセットは関連する金融データを提供することで検索の難しさを大幅に低減しており、Finance Agent Benchmarkも静的な過去検索に限定されている。そのため、記憶に基づく回答の余地が残り、時間依存のオープンドメイン検索を十分に検証できない。
- エージェント型ベンチマーク: エージェント型ベンチマークは外部ツールとの目標指向のインタラクションを評価し、BrowseCompの派生ベンチマークは持続的なウェブナビゲーションと創造的な検索戦略を検証する。引用した金融および一般分野のベンチマークは、計画立案、API利用、長期的推論、またはウェブナビゲーションを重視している。
6 結論
FinSearchCompは、現実的な金融データ検索のエンドツーエンド評価における空白を埋め、専門家が精選したオープンベンチマークとして、ツールを駆使する高難度タスクを網羅する。
- 6 結論: FinSearchCompは、検証可能な金融上の回答を得るためにSQL、API、web searchを必要とする3つの高難度タスクについて、専門家が精選した635問を提供する。このベンチマークは、LLMベースのエージェントによる現実的で文脈に依存しない金融データ検索を想定して設計されている。
- 6 結論: 最先端のエージェントは人間を大幅に下回っており、その主因は検索の深さが不十分であることと、情報が古いことである。このベンチマークは、より頑健で信頼性の高い金融エージェントの開発を支援するために公開される。
7 貢献
本論文は中核貢献者を列挙し、責任著者とByteDance Seedの所属を特定している。
- Liang HuとZhoufutu Wenは中核貢献者として記されている。
- Liang HuとZhoufutu Wenは、ダガー記号により責任著者として特定されている。
- 明示的な所属がない貢献者はByteDance Seed所属であり、Xuanliang ZhangとYanle Renは同社のインターンであった。
8 Xpert Platform
Xpertは、複雑な現実世界のタスクと分散提供されるベンチマーク成果物に焦点を当てた、専門的な訓練データと評価のためのエキスパートレベルのプラットフォームである。
- 8.1 Xpert Platformとは: Xpertは、専門的な訓練データと評価ソリューションを提供するエキスパートレベルのデータサービスプラットフォームである。
- このプラットフォームは、一般的な試験志向の評価ではなく、エキスパートレベルの複雑な現実世界のタスクに対するAI評価を重視する。
- FinSearchCompは、質問、回答、ツール、トレースを含むJSONL filesとして、サンドボックス化されたトレース再生ハーネスおよびドキュメントとともに配布される。
A.2 同一指標における計算方法の不一致の例
付録では、計算上の慣行が統一されていないため、金融指標が機関やデータプロバイダーによって異なり得ることを示す。
- 先行調整および遡及調整後の株価はデータベース間で大きく異なり得るため、ベンチマークでは未調整価格を照会する。
- PE (TTM) は、機関によって利益の定義が異なる場合があるため曖昧である。
- 重複上場企業の時価総額は、上場ごとの価値を合計するか、発行済み株式総数を乗じるかなど、指定された計算式に依存する。
- 先物の連続契約は、機関ごとにメイン限月の切り替え方法や構築アルゴリズムが異なるため、値が変わる。
- 暗号資産の価格は取引所によって異なり、情報源に依存した値となる。
A.3 曖昧性軽減ガイド
FinSearchCompでは、質問内で基準、単位、通貨、精度、計算規則を指定し、正当な回答のばらつきにも対応することで、曖昧性を軽減している。
- Table 4に、FinSearchCompにおける曖昧性軽減のためのアノテーション指針を集約している。
- A.3 曖昧性軽減ガイド: 質問では、GAAPやNon-GAAPなどの会計基準を指定し、回答が比較可能な正解データの基準に従うようにする。
- 質問では、回答を直接比較できるよう、通貨、単位、必要な数値精度を明記する。
- 業界およびデュアルリスティングに関する質問では、曖昧な表現に頼らず、分類基準と時価総額の計算式を指定する必要がある。
- Futures answers may accept both decimal and hexadecimal-style quote formats when they represent the same value.
B FinSearchCompの詳細スコア
本節では、Table 5に各種モデルのFinSearchCompにおける詳細なスコアを示す。
- Table 5では、FinSearchCompで評価した各種モデルの詳細なスコアを示す。
- この表は、主要な比較結果を超えて、モデル単位で性能を精査するためのものである。
- これらの詳細な結果は、モデル性能に関するベンチマークのより広範な評価を補完する。
C プロンプト
判定者は、信頼できる参照情報に照らして金融回答を採点し、必須内容を確認するとともに、タスク固有の数値正確性ルールを適用する。例からは、内容が完全でも値に一貫性がなければ0点となり、許容範囲内の値には1点が与えられることが分かる。
- 採点ルール: 判定者はReal-time Authentic Informationを正しいground truthとして扱い、その正確性基準に基づいて必須内容を採点する。必須情報が欠落している場合は0点となり、追加情報は減点されない。
- 正確性基準: 丸めのみの基準では、小数点以下の丸めによる差異を許容し、high-low基準では参照範囲内の任意の値を許容する。例では、絶対誤差基準と拡張範囲基準も定義されている。
- 正確性基準: 日付は直接採点されないため、最新日付と特定日付の違いやタイムゾーンの不一致は、数値が正しければ得点を下げない。判定者は価格や指数などの数値に焦点を当てる。
- 例: NVDAの例では、始値、高値、安値が正しくても、変化率が誤っていれば相殺できず、最終得点は0点となる。USD/CNYとCOMEX goldの例では、回答が指定された許容範囲内にあるため1点となる。
- 採点ルール: 回答は、必須の全キーポイントを含み、提示されたすべての値が該当する正確性要件を満たす場合にのみ1点を得る。部分的な回答や内容の欠落は0点となる。
D ケース
各ケースは、検索ツールの利用と情報源の検証が金融質問への回答に及ぼす影響を示す。検索なしで過去データの検索に失敗した例、プラグイン支援による取得に成功した例、株式分割を複数情報源で検証した調査例を含む。
- ケーススタディ: Walmartのケースでは、現在の株価データに予測、options commentary、financial databaseの情報、その他のWeb情報源を組み合わせている。列挙された情報源には、Traders Union、Benzinga、Tencent Financial Industry Database、market data pagesが含まれる。
- Case studies: A current Walmart lookup reports a $96.08 close, 0.03% daily gain, $96.32 high, $95.60 low, and $1.241 billion turnover on August 27, 2025.The response also reports a $96.05 previous close and a 6.33% five-day decline.
- ケーススタディ: Webベースの製品は検索ツールを使用しないため、単純な過去データ取得の質問に失敗する。このケースでは、Appleの2021年の投資キャッシュフローを百万ドル単位で尋ねている。
- ケーススタディ: Webベースの製品は、Nasdaqを信頼できる情報源として利用し、取得したデータを検証するために逆引き検索を行うことで、複雑な過去データ調査に成功する。Appleの株式分割のケースでは、Nasdaqおよび追加の情報源を横断して過去の終値と始値を検索した後、結果を報告する。
- Case studies: The Apple stock-split response reports a 4-for-1 split effective August 31, 2020, with opening price $127.58 versus prior close $499.23, a -$371.65 change.These figures are presented as the final response to the investigation question.