Source-linked AI summary
FinSearchComp: Towards a Realistic, Expert-Level Evaluation of Financial Search and Reasoning
Liang Hu, Jianpeng Jiao, Jiashuo Liu, Yanle Ren, Zhoufutu Wen, Kaiyuan Zhang, Xuanliang Zhang, Xiang Gao, Tianci He, Fei Hu, Yali Liao, Zaiyuan Wang, Chenghao Yang, Qianyu Yang, Mingren Yin, Zhiyuan Zeng, Ge Zhang, Xinyi Zhang, Xiying Zhao, Zhenwei Zhu, Hongseok Namkoong, Wenhao Huang, Yuwen Tang
TL;DR
FinSearchComp는 에이전트가 시간 민감하고 도메인 특화된 분석가 업무를 처리해야 하는 현실적인 금융 검색 및 추론을 위한 공개 end-to-end benchmark의 부재를 해결한다. 세 가지 task family에 걸친 635개 질문 benchmark를 제시하며, 전문 지식과 공개 evaluation tooling으로 구성했다. Grok 4 (web)는 Global subset에서, DouBao (web)는 Greater China에서 선두를 차지하고, web search와 financial plugin을 함께 사용하면 성능이 향상되지만 중요한 설정에서는 시스템이 여전히 취약하고 인간 성능에 미치지 못한다.
문제
기존 공개 금융 데이터셋은 현실적이고 복잡하며 시간 민감한 분석가 업무에서 end-to-end agent search를 평가하지 않는다.
방법
이 논문은 분석가 업무 형식을 따른 세 가지 task family, 두 시장 subset, 결정론적 답변, 공개 evaluation harness에 걸쳐 전문가가 선별한 635 expert-curated questions로 FinSearchComp를 구축한다.
결과
Grok 4 (web)는 Global subset에서, DouBao (web)는 Greater China에서 선두를 차지하며, 에이전트에 web search와 financial plugin을 장착하면 FinSearchComp 성능이 향상된다.
시사점 및 한계
FinSearchComp는 현실적인 금융 검색 및 추론을 측정하기 위한 high-difficulty testbed를 제공하는 동시에 검색 깊이, 최신성 인식, 증거 통합의 취약점을 드러낸다.
Abstract
from arXiv · showhide
Search has emerged as core infrastructure for LLM-based agents and is widely viewed as critical on the path toward more general intelligence. Finance is a particularly demanding proving ground: analysts routinely conduct complex, multi-step searches over time-sensitive, domain-specific data, making it ideal for assessing both search proficiency and knowledge-grounded reasoning. Yet no existing open financial datasets evaluate data searching capability of end-to-end agents, largely because constructing realistic, complicated tasks requires deep financial expertise and time-sensitive data is hard to evaluate. We present FinSearchComp, the first fully open-source agent benchmark for realistic, open-domain financial search and reasoning. FinSearchComp comprises three tasks -- Time-Sensitive Data Fetching, Simple Historical Lookup, and Complex Historical Investigation -- closely reproduce real-world financial analyst workflows. To ensure difficulty and reliability, we engage 70 professional financial experts for annotation and implement a rigorous multi-stage quality-assurance pipeline. The benchmark includes 635 questions spanning global and Greater China markets, and we evaluate 21 models (products) on it. Grok 4 (web) tops the global subset, approaching expert-level accuracy. DouBao (web) leads on the Greater China subset. Experimental analyses show that equipping agents with web search and financial plugins substantially improves results on FinSearchComp, and the country origin of models and tools impact performance significantly.By aligning with realistic analyst tasks and providing end-to-end evaluation, FinSearchComp offers a professional, high-difficulty testbed for complex financial search and reasoning.
1 서론
FinSearchComp는 time-sensitive retrieval, historical lookup, multi-source analyst workflow를 모델링해 현실적인 end-to-end financial search benchmark의 부재를 해결한다. 평가 결과는 강하지만 고르지 않은 진전을 보여준다. web search와 financial plugin은 성능을 높이지만, 선도 시스템도 여전히 전문가에 못 미치며 freshness와 reconciliation 오류에 취약하다.
- 결과: Global subset에서 Grok 4 (web)는 68.9%를 기록해 GPT-5-Thinking (web)를 5.0 pp 앞서고, human expert보다 6.1 pp 낮았다. Greater China에서는 DouBao (web)가 선두를 차지했지만, 모든 모델이 human보다 여전히 34 pp 이상 낮았다.이 결과는 Figure 1의 전체 비교에서 도출됐다.
- Benchmark 설계: FinSearchComp는 세 가지 analyst-style task family와 Global 및 Greater China 시장에 걸친 635 expert-curated questions로 현실적인 financial search를 평가한다.과제는 Time-Sensitive Data Fetching, Simple Historical Lookup, Complex Historical Investigation을 포함하며, multi-stage verification과 rubric-based scoring을 사용한다.
- 기여: FinSearchComp는 deterministic gold answer를 갖춘 open-source dataset과 end-to-end financial search 평가를 위한 open evaluation harness를 제공한다.이 benchmark는 현실적인 financial search에서 expert-level competence에 얼마나 근접했는지를 측정하도록 설계됐다.
- 분석: 평가된 21개 모델 전반에서 web search와 financial plugin이 성능을 향상시키지만, 반복되는 오류로는 shallow search, stale evidence, incorrect extraction, cross-unit 또는 calendar misalignment가 있다.분석은 specialized-tool 사용과 evidence freshness를 구체적인 개선 대상으로 제시한다.
- 동기: 이 benchmark는 일반적인 browsing dataset이 다루지 않는 temporal validity, unit alignment, reporting-calendar alignment, source 간 provenance reconciliation을 포함한 능력을 평가 대상으로 삼는다.이러한 요구사항은 real-time signal, historical disclosure, unstructured context를 결합하는 finance workflow를 반영한다.
2 FinSearchComp
FinSearchComp는 현실적인 금융 애널리스트 업무 흐름을 중심으로 설계되었으며, 데이터의 최신성, 과거 사실에 대한 충실도, 여러 기간에 걸친 종합 수준을 단계적으로 높여 간다. 평가는 rubric 기반 판단과 허용오차를 고려한 scoring, human validation을 결합한다.
- 구축 및 Quality Control: FinSearchComp는 source selection, ambiguity mitigation, multi-expert verification, rubric 기반 quality control을 적용해 질문의 신뢰도를 높인다.구축 과정에서는 세 task에 대해 별도의 pipeline을 사용하되, 모든 task에 일관된 quality control을 적용한다.
- 설계 원칙: 이 benchmark는 시장, 언어, reporting convention, regulatory setting을 아우르는 전문 금융 업무를 반영하도록 설계되었다.Global 및 Greater China subset은 영어와 중국어 질문, 대응되는 task template, sector와 규모별 균형 잡힌 entity coverage를 사용한다.
- Task Design: T1은 빠르게 변하는 데이터를 검색하고, T2는 고정된 과거 사실을 검색하며, T3는 장기간에 걸친 정보를 집계하거나 종합한다.각 task는 각각 최신성과 calendar handling, reporting convention과 unit fidelity, 장기 범위 검색 및 multi-step reasoning을 중점적으로 평가한다.
- Task Design: FinSearchComp는 애널리스트 방식의 검색을 세 task로 구성하며, time-sensitive fetching에서 simple lookup, complex historical investigation으로 단계적으로 확장한다.Task family는 최신성 관리, 특정 시점의 충실도, 여러 기간에 걸친 종합을 다루며, 난이도는 T1에서 T3로 높아진다.
3 실험
FinSearchComp는 Global과 Greater China subset에서 22개 주요 제품과 human baseline을 평가해 task·region·model에 따른 성능 차이를 보여준다.
- 3.1 종합 결과: Grok-4 (web)와 GPT-5-Thinking이 global 선도 tier를 형성하는 반면, Chinese 제품들은 Greater China subset에서 앞서지만 human expert에는 미치지 못한다.보고된 ranking은 subset별로 다르며, Grok-4 (web)가 Global 최고 점수를 기록하고 DouBao (web)가 Greater China에서 선두를 차지한다.
- 3.2 Task별 결과: 성능은 T1에서 T2, T3로 갈수록 monotonic하게 하락하며, multi-hop retrieval, temporal reasoning, entity resolution, evidence reconciliation을 포함하는 점점 더 까다로운 analyst workflow를 반영한다.가장 어려운 task는 추가로 filing, disclosure, accounting terminology, corporate action에 대한 finance-specific interpretation을 요구한다.
- 3.2 Task별 결과: US model은 Global set에서, Chinese model은 Greater China에서 앞서며, 이는 regional corpus coverage, linguistic convention, alignment 또는 recency effect에 따른 것으로 해석된다.이러한 요인은 data leakage를 의미하지 않으면서도 home-field performance를 향상시키는 것으로 설명된다.
- 3.2 Task별 결과: Grok-4 (web)와 GPT-5-Thinking은 task difficulty가 높아질수록 다른 system을 더욱 크게 앞서며, T3에서 가장 큰 margin을 보인다.The paper links these gains to multi-step reasoning, timeline alignment, and entity disambiguation; Grok-4 (web) also tops T3 in Greater China.
4 사례 연구
사례 연구는 search와 financial-plugin access가 성능에 실질적인 영향을 미치는 한편, task structure와 model reasoning capability가 나머지 차이를 형성함을 보여준다.
- 4.1 Search Capability: Search-enabled models는 T1, T2, T3에서 각각 40.8, 29.0, 8.1 points를 얻는 반면, search가 없는 models는 T1에서 0점을 기록한다.Search는 historical tasks에서도 여전히 유용하지만, task에 더 심층적인 reasoning과 synthesis가 요구될수록 gains는 작아진다.
- 4.2 Financial Plugins: Financial plugins는 YuanBao에서 DeepSeek R1의 performance를 향상시키며, comparison setting 대비 T1에서 31.9 pp 개선을 보인다.Plugins는 current 및 historical financial data에 직접 접근하게 하지만, YuanBao-R1은 여전히 최적이 아니며 intrinsic model capability도 중요함을 보여준다.
- 4.3 Model Origin: US models는 대체로 global assets에서, Chinese models는 Chinese assets에서 더 우수한 performance를 보이지만, 대부분의 models는 T3에서 100%를 초과하는 Global-to-Chinese score ratio를 기록한다.Doubao와 Kimi k2는 Chinese models 중 가장 높은 ratios를 보여, 비교적 균형 잡힌 regional performance를 시사한다.
- 4.1 Search Capability: Grok 4 (web)는 다양하고 신뢰할 수 있는 sources를 활용해 T2에서 가장 높은 순위를 차지하는 반면, parametric-memory answers와 news-only retrieval은 세부적인 official-filing details를 놓치는 경우가 많다.인용된 examples에는 income-statement information과 같은 historical financial disclosures가 포함된다.
- 4.1 Search Capability: Grok 4 (web)와 GPT-5-Thinking (web)를 제외하면 어떤 product도 T3에서 30을 초과하지 못한다. complex investigation에는 APIs 또는 SQL을 통한 structured retrieval이 필요하기 때문이다.Successful attempts는 대체로 fewer than five data points를 요구하는 queries에 한정된다.
- 4.4 Reasoning Capability: Reasoning capacity는 T1 performance를 평균 7.0 points 낮추지만, T2와 T3에 미치는 effect는 negligible하다.논문은 T1의 decline을 task의 낮은 complexity와 reasoning models의 possible overthinking 탓으로 본다.
5 관련 연구
기존 금융 벤치마크는 도메인 지식과 추론을 측정하지만 관련 데이터를 미리 제공하는 경우가 많고, agentic 벤치마크는 도구 상호작용의 범위를 넓혔으나 현실적인 open-domain 금융 검색을 충분히 다루지 못한다.
- 금융 벤치마크: FinQA와 ConvFinQA는 텍스트 및 표 형식의 근거에서 multi-step programs를 구성해 연차보고서에 대한 수치 추론을 평가한다.다른 벤치마크 모음은 분류, 추출, 생성 및 관련 금융 역량 전반으로 과제와 언어의 범위를 확장한다.
- 금융 벤치마크: 기존 금융 데이터셋은 관련 금융 데이터를 제공해 검색 과제를 크게 완화하며, Finance Agent Benchmark는 static historical search로 제한된다.따라서 암기할 여지가 남고 time-sensitive open-domain retrieval을 충분히 검증하지 못한다.
- Agentic 벤치마크: Agentic 벤치마크는 외부 도구와의 goal-directed interaction을 평가하고, BrowseComp 변형은 지속적인 웹 탐색과 창의적인 검색 전략을 검증한다.인용된 금융 및 일반 벤치마크는 planning, API 사용, 장기 추론 또는 웹 탐색을 강조한다.
6 결론
FinSearchComp는 전문가가 선별한 공개 benchmark를 통해, 도구 오케스트레이션이 필요한 고난도 과제를 아우르는 현실적 금융 데이터 검색의 end-to-end 평가 공백을 메운다.
- 6 결론: FinSearchComp는 검증 가능한 금융 답변을 얻기 위해 SQL, APIs, web search가 필요한 세 가지 고난도 과제에 걸쳐 전문가가 선별한 635개 질문을 제공한다.이 benchmark는 LLM 기반 에이전트가 현실적이고 맥락이 주어지지 않은 금융 데이터 검색을 수행하도록 설계되었다.
- 6 결론: 최첨단 에이전트는 인간보다 유의하게 낮은 성능을 보이며, 이는 종종 불충분한 검색 깊이와 오래된 정보 때문인 것으로 나타난다.이 benchmark는 더욱 견고하고 신뢰할 수 있는 금융 에이전트 개발을 지원하기 위해 공개되었다.
7 기여
논문은 핵심 기여자를 나열하고 교신저자와 ByteDance Seed 소속을 밝힌다.
- Liang Hu와 Zhoufutu Wen이 핵심 기여자로 표시된다.
- Liang Hu와 Zhoufutu Wen은 dagger 표기로 교신저자로 식별된다.
- 명시적인 소속이 없는 기여자는 ByteDance Seed 소속이며, Xuanliang Zhang과 Yanle Ren은 그곳의 인턴이었다.
8 Xpert 플랫폼
Xpert는 복잡한 실제 과제와 분산된 benchmark 산출물에 초점을 둔, 전문화된 학습 데이터와 평가를 위한 전문가 수준의 플랫폼이다.
- 8.1 Xpert 플랫폼이란 무엇인가: Xpert는 전문화된 학습 데이터와 평가 솔루션을 제공하는 전문가 수준의 데이터 서비스 플랫폼이다.
- 이 플랫폼은 대중적인 시험 중심 평가보다 전문가 수준의 복잡한 실제 과제에 대한 AI 평가를 중시한다.
- FinSearchComp는 질문, 답변, 도구, trace가 포함된 JSONL files와 함께 sandbox 환경의 trace-replay harness 및 문서를 제공한다.
A.2 동일 지표의 불일치하는 계산 방법 예시
금융 지표는 계산 관행이 통일되어 있지 않아 기관과 데이터 제공업체에 따라 달라질 수 있음을 부록에서 보인다.
- 전방 조정 및 후방 조정 주가는 데이터베이스마다 상당한 차이를 보일 수 있으므로, 벤치마크에서는 비조정 주가를 질의한다.
- PE (TTM)는 기관마다 이익의 정의가 다를 수 있어 모호하다.
- 복수 상장 기업의 시가총액은 상장별 가치를 합산하거나 총 발행주식 수를 곱하는 등 지정된 산식에 따라 달라진다.
- 선물 연속계약은 기관마다 주계약 전환 방식과 구성 알고리즘이 달라진다.
- 암호화폐 가격은 거래소마다 달라 출처에 따라 값이 달라진다.
A.3 모호성 완화 가이드
FinSearchComp는 질문에 기준, 단위, 통화, 정밀도, 계산 규칙을 명시하고 정당한 답변의 변형을 허용해 모호성을 완화한다.
- Table 4는 FinSearchComp의 모호성 완화를 위한 annotation guidance를 정리한다.
- A.3 모호성 완화 가이드: 질문에는 GAAP 또는 Non-GAAP와 같은 회계 기준을 명시해 답변이 서로 비교 가능한 ground-truth 관례를 따르도록 해야 한다.
- 질문에는 통화, 단위, 요구되는 수치 정밀도를 명시해 답변을 직접 비교할 수 있도록 해야 한다.
- 산업 및 dual-listing 관련 질문은 모호한 표현에 의존하지 말고 분류 기준과 시가총액 계산식을 명시해야 한다.
- Futures 답변은 동일한 값을 나타내는 경우 decimal 및 hexadecimal-style quote format을 모두 허용할 수 있다.
B FinSearchComp 상세 점수
이 절에서는 Table 5의 다양한 모델에 대한 FinSearchComp 상세 점수를 보고한다.
- Table 5는 FinSearchComp에서 평가된 다양한 모델의 상세 점수를 제시한다.
- 이 표는 주요 비교 결과를 넘어 모델별 성능을 점검할 수 있도록 한다.
- 이러한 상세 결과는 모델 성능에 대한 benchmark의 폭넓은 평가를 보완한다.
C 프롬프트
judge는 신뢰할 수 있는 reference information과 financial answer를 대조해 필수 content를 확인하고 task-specific numerical accuracy rules를 적용해 점수를 매긴다. 예시에서 complete content도 값이 일관되지 않으면 0점을 받을 수 있지만, 허용 범위 내의 값은 1점을 받는다.
- Scoring rules: judge는 Real-time Authentic Information을 올바른 ground truth로 간주하고, accuracy criteria에 따라 필수 content를 평가한다.필수 information이 누락되면 0점이며, 추가 information에는 감점이 없다.
- Accuracy criteria: Rounding-only criteria는 소수점 반올림으로 인해 달라지는 값을 허용하고, high-low criteria는 reference range 내의 모든 값을 허용한다.예시에서는 absolute-error criteria와 expanded-range criteria도 정의한다.
- Accuracy criteria: Dates are not scored directly이므로, numerical values가 정확하다면 latest-versus-specific dates 또는 time zones와 관련된 불일치는 점수를 낮추지 않는다.judge는 prices와 indices 같은 numerical values에 초점을 둔다.
- Examples: NVDA 예시에서는 정확한 opening, high, low prices도 잘못된 change percentage를 상쇄할 수 없어 final score of 0이 된다.USD/CNY와 COMEX gold 예시에서는 answers가 지정된 acceptable ranges 안에 있으므로 1점을 받는다.
- Scoring rules: response는 all required key points를 포함하고 제시된 모든 값이 해당 accuracy requirement를 충족할 때만 1점을 받는다.Partial answers 또는 누락된 content는 0점을 받는다.
D 사례
사례는 search-tool 사용과 source verification이 금융 질의응답에 미치는 영향을 보여준다. 검색 없이 실패한 historical lookup, plugin-assisted retrieval 성공 사례, stock-split research의 교차 검증 사례가 포함된다.
- 사례 연구: Walmart 사례는 current quote data를 forecasts, options commentary, financial-database information 및 기타 web sources와 결합한다.열거된 sources에는 Traders Union, Benzinga, Tencent Financial Industry Database 및 market data pages가 포함된다.
- Case studies: A current Walmart lookup reports a $96.08 close, 0.03% daily gain, $96.32 high, $95.60 low, and $1.241 billion turnover on August 27, 2025.The response also reports a $96.05 previous close and a 6.33% five-day decline.
- 사례 연구: web-based product는 search tool을 사용하지 않아 단순한 historical retrieval 질문에 실패한다.이 사례는 Apple의 2021 investing cash flow를 millions of dollars 단위로 묻는다.
- 사례 연구: web-based product는 Nasdaq을 reliable source로 사용하고 retrieved data를 검증하기 위해 reverse-searching을 수행하여 복잡한 historical investigation에 성공적으로 답한다.Apple stock-split 사례는 결과를 보고하기 전에 Nasdaq 및 추가 sources에서 historical closing and opening prices를 검색한다.
- Case studies: The Apple stock-split response reports a 4-for-1 split effective August 31, 2020, with opening price $127.58 versus prior close $499.23, a -$371.65 change.These figures are presented as the final response to the investigation question.