PaperlayerView exact revision on arXiv

Source-linked AI summary

LLM Agents Already Know When to Call Tools -- Even Without Reasoning

Chung-En Sun, Linbo Liu, Ge Yan, Zimo Wang, Tsui-Wei Weng

arXiv:2605.09252v2cs.CL

TL;DR

기존 tool-use benchmark는 모든 task에 tool이 필요하다고 가정하므로, 불필요한 호출로 API 비용과 latency가 낭비되는데도 tool 필요성 판단은 체계적으로 연구되지 않았다. 이 논문은 When2Tool을 구축하고 hidden state에 linear probe를 적용해 예측된 tool 필요성에 따라 응답을 prefill한다. Probe&Prefill은 Prompt-only 및 Reason-then-Act baseline보다 accuracy–efficiency tradeoff가 엄격히 우수하며, Search-o1 agentic benchmark에서 API 호출을 20–56% 줄인다.

  • 문제

    기존 tool-use benchmark는 모든 task에 tool이 필요하다고 가정하므로, 불필요한 호출로 API 비용과 latency가 낭비되는데도 tool 필요성 판단은 체계적으로 연구되지 않았다.

  • 방법

    이 논문은 When2Tool을 구축하고 hidden state에 linear probe를 적용해 예측된 tool 필요성에 따라 응답을 prefill한다.

  • 결과

    Probe&Prefill은 Prompt-only 및 Reason-then-Act baseline보다 accuracy–efficiency tradeoff가 엄격히 우수하며, Search-o1 agentic benchmark에서 API 호출을 20–56% 줄인다.

  • 시사점 및 한계

    Tool 필요성은 hidden state에 안정적으로 encode되어 있으며, 가벼운 training-free steering으로 tool-augmented agent의 accuracy–efficiency tradeoff를 개선할 수 있다.

Abstract

from arXiv · show

Tool-augmented LLM agents tend to call tools indiscriminately, even when the model can answer directly. Each unnecessary call wastes API fees and latency, yet no existing benchmark systematically studies when a tool call is actually needed. We propose When2Tool, a benchmark of 18 environments (15 single-hop, 3 multi-hop) spanning three categories of tool necessity -- computational scale, knowledge boundaries, and execution reliability -- each with controlled difficulty levels that create a clear decision boundary between tool-necessary and tool-unnecessary tasks. We evaluate two families of training-free baselines: Prompt-only (varying the prompt to discourage unnecessary calls) and Reason-then-Act (requiring the model to reason about tool necessity before acting). Both provide limited control: Prompt-only suppresses necessary calls alongside unnecessary ones, and Reason-then-Act still incurs a disproportionate accuracy cost on hard tasks. To understand why these baselines fail, we probe the models' hidden states and find that tool necessity is linearly decodable from the pre-generation representation with AUROC 0.89--0.96 across six models, substantially exceeding the model's own verbalized reasoning. This reveals that models already know when tools are needed, but fail to act on this knowledge during generation. Building on this finding, we propose Probe&Prefill, which uses a lightweight linear probe to read the hidden-state signal and prefills the model's response with a steering sentence. Across all models tested, Probe&Prefill reduces tool calls by 48% with only 1.7% accuracy loss, while the best baseline at comparable accuracy only reduces 6% of tool calls, or achieves a similar tool call reduction but incurs a 5$\times$ higher accuracy loss. Our code is available at https://github.com/Trustworthy-ML-Lab/when2tool

1 서론

WHEN2TOOL은 LLM 에이전트가 현실적인 API 유사 상호작용에서 도구 호출이 필요한 시점을 판단할 수 있는지 연구하며, PROBE&PREFILL은 hidden-state 신호를 사용해 그 판단을 조정한다. 이 방법은 agentic search를 포함해 tool-call reduction과 정확도 사이의 tradeoff를 개선한다.

  • WHEN2TOOL: WHEN2TOOL은 세 가지 tool-necessity 범주에서 통제된 난이도 수준을 적용한 18개 환경—15개 single-hop과 3개 multi-hop—으로 구성된다.상호작용에서는 올바른 형식의 tool arguments를 작성하고 tool responses를 파싱하고 매칭해야 하며, 실제 API 사용을 모사한다.
  • 실패 분석: Hidden-state probe는 모델 전반에서 AUROC 0.9 초과를 달성하며, 모델이 tool call 필요 여부를 내부적으로 인코딩함을 보여준다.이 신호는 마지막 input token의 hidden state에서 추출되며, 간단한 linear classifier로 예측된다.
  • PROBE&PREFILL: PROBE&PREFILL은 hidden states에 대한 linear probe를 사용해 모델의 tool call 여부를 안내하는 steering sentence를 미리 채우며, 더 나은 tradeoff를 달성한다.probe는 마지막 input-token representation에서 tool necessity를 예측하고, inference-time prefilling은 이후 generation이 tool을 사용하거나 피하도록 유도한다.
  • 실패 분석: Prompt-only와 Reason-then-Act baseline은 제한적이고 거친 제어만 제공하며, hard task에서는 call 하나를 절약할 때마다 불균형적으로 큰 정확도 비용을 치른다.이 benchmark에는 이러한 tool-call 판단을 평가하기 위한 training task 1,080개와 test task 2,700개가 포함된다.
  • 결과: Search-o1 agentic benchmark [Li et al., 2025a]에서 API call을 20–56% 더 적게 사용한다.이는 제안 방법이 WHEN2TOOL benchmark를 넘어 실제 agentic search에도 일반화됨을 보여준다.
  • 결과: 비슷한 정확도에서 최선의 baseline은 tool-call을 6% 줄이는 데 그치며, 비슷한 감소폭을 얻으려면 정확도 손실이 5배 더 크다.이 비교는 기존 baseline이 tool-call 판단을 훨씬 덜 효율적으로 제어함을 보여준다.

2 WHEN2TOOL: Tool 호출 결정 벤치마크

WHEN2TOOL은 모든 작업에 도구가 필요하다고 가정하지 않고, 도구 사용이 필요한지 판단하는 통제된 벤치마크다. 통제된 난이도 수준에서 계산 규모, 지식 경계, 실행 신뢰성을 다루며, single-hop과 multi-hop 작업을 포함한다.

  • 이 벤치마크는 18개 환경으로 구성되며, 15개 single-hop 환경과 3개 multi-hop 환경에서 계산 규모, 지식 경계, 실행 신뢰성을 다룬다.각 범주에는 single-hop 환경 5개와 multi-hop 환경 1개가 포함된다.
  • 세 범주는 모델이 대규모 계산을 수행할 수 있는지, 필요한 사실을 알고 있는지, 순차적 절차를 신뢰성 있게 실행하는지를 평가한다.이 벤치마크는 계산 가능성, 사실 지식의 가용성, 단계별 실행의 충실성을 구분한다.
  • 세 난이도 수준은 쉬운 작업에서의 과도한 호출, 중간 경계에서의 보정된 결정, 어려운 작업에서의 도구 필요성 인식을 평가한다.난이도 할당은 모든 작업에 도구 없이 답하도록 모델을 강제하여 실증적으로 검증된다(Table 6, Appendix A).
  • 데이터셋은 18개 환경에 걸쳐 training task 1,080개와 test task 2,700개로 구성된다.single-hop 환경은 training task 900개와 test task 2,250개를, multi-hop 환경은 training task 180개와 test task 450개를 제공한다.
  • WHEN2TOOL은 통제된 난이도, multi-hop 작업, API 비용 0으로 tool-call 결정을 평가하는 최초의 벤치마크다.

3 실패 분석: 프롬프팅과 명시적 추론의 한계

Prompt-only와 Reason-then-Act 방법은 불필요한 tool call을 선택적으로 줄이지 못한다. 사용을 억제하면 필요한 call도 함께 줄어들고, 명시적 추론은 추가 비용을 치르면서 tradeoff를 부분적으로만 개선한다. 모델 전반에서 prompt 수준 제어는 여전히 거칠고 신뢰하기 어려우며, 이는 모델이 내부적으로 tool necessity를 알고도 그 지식을 행동으로 옮기지 못하는지 조사하게 한다.

  • 3.2 주요 발견: 이러한 결과는 prompt 수준 제어가 모델 전반에서 제한적이고 거칠며 신뢰하기 어려움을 보여주며, 모델이 내부적으로 tool necessity를 알고도 이를 행동으로 옮기지 못하는지에 대한 의문을 제기한다.이는 다음 절의 hidden-state 조사에 동기를 부여한다.
  • 3.1 실험 설정: 이 연구는 Qwen3-1.7B/4B/14B/32B와 Llama-3.1-8B/3.3-70B의 여섯 모델을 평가하며, 각 실험을 서로 다른 random seed로 세 번 반복한다.보고된 결과는 세 번의 실행에 대한 평균이다.
  • 3.1 실험 설정: Prompt-only는 Force, Default, Necessary, Sparse, No Tool 모드를 포괄하며, Reason-then-Act는 각 모드에서 행동하기 전에 necessity-assessment step을 추가한다.추론 지시는 모델이 직접 답할 수 있는지, 아니면 tool이 필요한지를 결정하도록 요구한다.
  • 3.2 주요 발견: 모델은 2,250개의 single-hop task에서 2,100–4,400회의 default tool call을 수행하며, task당 한 번을 초과해 체계적인 tool 과다 사용을 보인다.쉬운 task에서도 Qwen3-1.7B는 864회, Llama-3.3-70B는 1,482회의 call을 유발한다.
  • 3.2 주요 발견: Prompt engineering은 tool call을 무차별적으로 줄이며, tool이 실제로 필요한 어려운 task에서도 call을 줄여 저장된 call당 불균형적으로 큰 accuracy cost를 초래한다.accuracy-cost metric ∆Acc −∆TC는 제거된 각 call에 대해 손실된 accuracy를 정량화하며, 어려운 task가 쉬운 task보다 더 큰 비용을 지불한다.
  • 3.2 주요 발견: Reason-then-Act는 쉬운 task에서 저장된 call당 accuracy cost를 개선하지만, 필요한 어려운 task의 call도 여전히 억제하며 상당한 accuracy loss를 초래한다.Qwen3-14B의 쉬운 task에서는 cost가 −14.9에서 −6.6으로 개선되지만, 어려운 task에서는 여전히 −34.7의 비용이 발생한다.
  • 3.2 주요 발견: 추론은 generation overhead를 추가하고 그 효과가 모델에 따라 달라지므로, 부분적 개선의 신뢰성이 제한된다.Figure 2는 쉬운 task에서 더 가까운 upper-right 위치를 보이지만, 어려운 task에서는 negative efficiency를 보인다.
  • 3.2 주요 발견: 두 baseline 모두 매끄러운 accuracy–tool-call 제어를 제공하지 못한다. 각 prompt mode는 고정된 operating point를 만들고, 여러 mode는 거의 구별되지 않는다.따라서 사용자는 tool-call budget을 설정하고 그 범위에서 accuracy를 최대화할 수 없다.

4 프로빙 분석: 암묵적 도구 필요성 디코딩

도구 필요성은 pre-generation hidden states에 일관되게 인코딩되며, 생성 과정에서 해당 지식이 표현되지 못하는 경우에도 6개 모델에서 선형적으로 디코딩할 수 있다. 이 hidden signal은 도구 호출 결정을 개선하기 위해 모델 출력을 steering하는 근거가 된다.

  • 설정: logistic-regression probe는 한 번의 forward pass에서 수집한 연결된 hidden states로부터 이진 도구 필요성을 예측한다.레이블은 도구 없이 성공한 답변을 tool-unnecessary로, 실패한 답변을 tool-necessary로 표시하며, feature에는 모든 layer의 last-token hidden state를 사용한다.
  • 생성이 실패해도 signal은 존재한다: Llama 모델에서 AUROC above 0.9가 나온다는 것은 생성 과정에서 표현되지 못하더라도 도구 필요성 정보가 계속 인코딩되어 있음을 보여준다.Reason-then-Act는 Llama-3.1-8B와 Llama-3.3-70B에서 도구 호출을 줄이지만, probe는 여전히 해당 signal을 검출한다.
  • 도구 필요성은 선형적으로 디코딩할 수 있다: 6개 모델에서 AUROC 0.89–0.96이 나온다는 것은 model family와 size 전반에서 pre-generation hidden states로부터 도구 필요성을 선형적으로 디코딩할 수 있음을 보여준다.모든 probe가 높은 AUROC를 달성했으며, 대형 모델은 0.95+에 도달하고 difficulty level 전반에서 강한 성능을 보였다. medium task가 가장 어려웠다.
  • 시사점: 디코딩된 hidden-state signal은 짧은 steering sentence를 주입해 암묵적인 도구 필요성 지식을 향상된 도구 호출 결정으로 변환하는 동기를 제공한다.다음 section에서는 이 signal을 사용해 모델의 도구 호출 행동을 직접 steering한다.

5 PROBE&PREFILL: 숨은 지식을 더 나은 의사결정으로 전환

PROBE&PREFILL은 선형 디코딩 가능한 hidden-state 신호를 사용해 필요성을 예측하고 steering sentence를 prefilling함으로써, fine-tuning이나 reasoning overhead 없이 tool-use 결정을 내린다. 쉬운 호출은 적응적으로 건너뛰고 어려운 호출은 유지해 Prompt-only와 Reason-then-Act보다 accuracy–tool-call tradeoff를 개선한다.

  • 방법: 이 방법은 예측에 따라 달라지는 steering sentence를 응답 앞에 붙인 뒤, 모델이 직접 답하거나 tool을 호출하도록 한다.Soft prefill에서는 모델이 제안을 무시할 수 있지만, hard prefill에서는 direct-answer 또는 tool-call 출력 형식을 강제한다. hard prefill은 Llama 모델에서 전체 tradeoff 제어를 회복한다.
  • 방법: 추론 시점에 linear probe는 모든 레이어의 마지막 토큰 hidden states를 확률 p로 매핑하며, threshold τ가 모델의 tool call 생략 또는 실행 여부를 제어한다.낮은 τ는 더 많은 호출을 생략하지만 필요한 호출을 놓칠 위험이 있고, 높은 τ는 더 많은 호출과 정확도를 유지해 효율성–정확도 조절 손잡이 하나를 제공한다.
  • 결과: PROBE&PREFILL은 추가 reasoning tokens 없이, 평가한 모델 전반에서 Prompt-only와 Reason-then-Act보다 더 나은 accuracy–tool-call tradeoff를 달성한다.Qwen 모델에서는 Prompt-only보다 엄밀히 우수하고 대부분의 경우 Reason-then-Act보다 성능이 뛰어나다. Llama 모델에서는 reasoning이 tool calls를 거의 제거할 수 있지만 정확도가 크게 손실된다.
  • 결과: PROBE&PREFILL은 쉬운 tool calls를 적응적으로 생략하면서 어려운 호출은 유지해, 어려운 task 전반에서 saved call당 accuracy cost가 가장 낮다.Table 4는 τ=0.5에서 여섯 모델에 걸쳐 평균한 saved call당 accuracy cost를 보고하며, baseline들은 큰 음의 cost를 보인다.
  • 추가 실험: 추가 실험에서는 multi-hop tasks, held-out environments, probe 및 inference 설계 선택 전반에서 강건성을 검증한다.세 multi-hop environments에서 이 방법은 Qwen 모델의 tool calls를 최대 75% 줄이면서 정확도를 유지하거나 향상한다. 또한 probe는 category 내 held-out environments로 일반화된다.

6 관련 연구

선행 연구는 tool use를 벤치마크하고, training과 optimization을 통해 불필요한 호출을 줄이며, LLM의 동작을 제어하기 위해 hidden representation을 probing하거나 steering한다. When2Tool은 이 세 연구 방향에 위치한다.

  • Agentic Tool-use benchmark: Tool-use benchmark는 다양한 설정에서 외부 데이터 질의응답, API 선택, tool invocation, API-call generation, function calling을 평가한다.예로 ToolQA [Zhuang et al., 2023], API-Bank [Li et al., 2023b], Toolformer [Schick et al., 2023], ToolLLM [Qin et al., 2023], Gorilla [Patil et al., 2024], BFCL 등이 있다.
  • 효율적인 tool calling: 최근 efficiency method는 confidence-based invocation을 fine-tuning하거나 verbalized feedback를 통해 agent instruction과 tool description을 jointly optimizing하여 불필요한 호출을 줄인다.Xu et al. [2025]는 호출을 약 50% 줄였다고 보고했으며, Wu et al. [2025]는 최대 70%의 감소를 보고했다. Yang et al. [2026]는 memory, tool learning, planning 전반의 efficiency를 survey한다.
  • LLM behavior probing 및 제어: Linear probing은 hidden state가 linguistic, factual, truthfulness, self-knowledge 특성을 encode한다는 것을 보여주며, model behavior를 steering하기 위한 activation-based method를 뒷받침한다.관련 접근법으로 activation addition 과 representation engineering [Zou et al., 2023]이 있다.

7 결론 · H 추가 baseline: PROBE&PREFILL과 Supervised Fine-Tuning (SFT) 비교 34

이 연구는 LLM agents가 hidden states에 신뢰할 수 있는 tool-necessity signal을 인코딩하지만 generation 중에는 이를 자주 활용하지 못한다는 점을 보여준다. Response prefilling을 적용한 linear probe는 Prompt-only와 Reason-then-Act보다 accuracy–efficiency tradeoff를 개선하면서도 가볍고 training-free한 방식을 유지한다.

  • 7 결론: Probe 기반 response prefilling은 tool necessity에 관한 hidden-state signal을 추출하며, Prompt-only와 Reason-then-Act보다 엄밀히 더 나은 accuracy–efficiency tradeoff를 달성한다.Benchmark, probing analysis, method는 함께 가볍고 training-free한 intervention을 뒷받침한다.

A 벤치마크 환경 세부 사항 … A.7 난이도 검증

WHEN2TOOL은 computational scale, knowledge boundaries, execution tracking에 걸쳐 15개 single-hop 및 3개 multi-hop 환경을 포괄하는 가볍고 결정론적이며 오프라인으로 실행되는 벤치마크다. easy, medium, hard 수준은 검증된 tool-necessity 경계를 형성하며, no-tool 정확도는 69.4%에서 54.4%, 15.5%로 하락한다.

  • A 벤치마크 환경 세부 사항; A.1 설계 원칙; A.3 Category A: Computational scale; A.4 Category B: Knowledge boundary; A.5 Category C: Execution tracking: 15개 single-hop 환경에서 task generator는 실세계 동기, 사용 가능한 도구, 답변 형식, computational scale, knowledge boundaries, execution reliability에 걸친 통제된 난이도 수준을 지정한다.환경 모음은 고정된 random seed를 사용하는 generator를 추가해 쉽게 확장할 수 있도록 설계됐다.
  • A.1 설계 원칙; A.2 평가 프레임워크: 이 벤치마크는 zero-cost, fully offline, deterministic, locally extensible하며, LLM judging 없이 검증되는 exact-form 답변의 짧은 task를 사용한다.task는 고정된 random seed를 사용하며, 실험은 서로 다른 random seed로 세 번 실행하고 평균과 표준편차를 보고한다.
  • A.2 평가 프레임워크: 평가는 모델, 난이도, 환경별 exact-answer 정확도와 전체 tool call 수를 보고하여 정답성과 adaptive tool usage 간 trade-off를 측정한다.정확도는 수치 허용 오차, 대소문자를 구분하지 않는 문자열 매칭, 동등한 표현을 지원하며, tool-call 수는 무차별적 감소와 표적화된 감소를 구분해 보여준다.
  • A.3 Category A: Computational scale; A.3.1 CalculatorEnv; A.3.2 StatisticsEnv; A.3.3 CountingEnv; A.3.4 MatrixEnv; A.3.5 PrimeEnv: Computational-scale 환경은 피연산자 크기, dataset 크기, 조합적 증가, 행렬 차원, 정수 크기를 변화시켜 정신적으로 수행 가능한 계산과 도구가 필요한 계산을 구분한다.Calculator, statistics, counting, matrix, prime task는 작거나 단순한 instance에서 큰 산술 연산, 상관관계, 행렬식, 조합, 인수분해로 진행된다.
  • A.4 Category B: Knowledge boundary; A.4.1 RetrieverEnv; A.4.2 HistoricalYearEnv; A.4.3 GameRuleEnv; A.4.4 HashEnv; A.4.5 DecodingEnv: Knowledge-boundary 환경은 모델이 사실, 날짜, game rule, hash, encoding을 알고 있는지 평가하며, 익숙한 항목에서 pretraining으로 이용할 수 없는 생소하거나 synthetic한 사례로 진행된다.RetrieverEnv는 search_corpus 후 read_doc을 요구하는 유일한 환경이며, 다른 환경은 특화된 lookup, hashing, decoding 도구를 제공한다.
  • A.5 Category C: Execution tracking; A.5.1 ListManipulationEnv; A.5.2 DateTimeEnv; A.5.3 CodeExecutorEnv; A.5.4 ScheduleEnv; A.5.5 RegexMatchEnv: Execution-tracking 환경은 task 복잡도가 증가함에 따라 list transformation, 날짜 산술, code execution, schedule reasoning, regex matching을 통해 신뢰할 수 있는 sequential processing을 평가한다.Hard instance는 2D list 축, 윤년, recursion 또는 dynamic programming, 다수의 겹치는 회의, 복잡한 regex backtracking을 포함한다.
  • A.6 Multi-hop 환경; A.6.1 ChainedCalculatorEnv (Category A); A.6.2 ChainedRetrieverEnv (Category B); A.6.3 ChainedCodeExecutorEnv (Category C): 세 개의 multi-hop 환경은 서로 의존하는 세 가지 연산을 연결하며, 해당 single-hop 난이도 진행을 유지하면서 각 hop마다 별도의 tool-necessity 판단을 요구한다.ChainedCalculatorEnv, ChainedRetrieverEnv, ChainedCodeExecutorEnv는 산술, knowledge retrieval, code execution에 대해 x → y → z 의존성을 구현한다.
  • A.7 난이도 검증: 69.4%, 54.4%, 15.5%는 전체 18개 환경에서 easy, medium, hard task의 평균 no-tool 정확도로, 의도한 난이도 경계를 검증한다.Table 6은 6개 모델에 걸쳐 1,080개 training task와 2,700개 test task를 다룬다.

B 상세 single-hop 결과

이 절에서는 15개 single-hop 환경에 대한 모델별 전체 결과를 보고한다. 여섯 개 모델, prompting 방식, reasoning 설정, probe threshold에 걸쳐 accuracy와 tool call을 포함한다. 또한 probe threshold가 accuracy와 tool-call reduction 사이에서 어떻게 trade-off를 이루는지도 자세히 다룬다.

  • Saved call당 accuracy cost: Table 7은 Default Prompt-only 대비 τ=0.5에서 Sparse, Sparse + Reason-then-Act, Probe&Prefill의 모델별 saved call당 accuracy cost를 분해해 제시한다.더 음수인 값일수록 saved call 하나가 더 큰 비용을 수반함을 의미하며, bold 항목은 각 열에서 모델별 최적 결과를 나타낸다.
  • 전체 single-hop 결과: Table 8은 2,250-task single-hop test set에서 평가된 모든 prompt, reasoning, probe 설정에 대해 여섯 개 모델의 accuracy와 total tool calls를 보고한다.보고된 모델은 Qwen3-1.7B, Qwen3-4B, Qwen3-14B, Qwen3-32B, Llama-8B, Llama-70B다.
  • 전체 single-hop 결과: τ=.5에서 probe 결과는 Qwen3-1.7B에서 88.3±.2% accuracy와 2,128±18 tool calls, Qwen3-14B에서 92.4±.2%와 1,227±5를 포함한다.이 값들은 평가된 여섯 개 모델에 대한 threshold별 결과에서 보고된다.
  • 전체 single-hop 결과: probe threshold를 τ=.1에서 τ=.9로 높이면 Qwen3-1.7B의 tool calls는 2,512±16에서 293±15로 감소하는 반면 accuracy는 88.8±.2%에서 47.9±.5%로 하락한다.동일한 threshold sweep은 여섯 개 모델 모두에 대해 모델별 accuracy와 tool-call trade-off를 보고한다.

C Multi-hop evaluation … E.3 Layer selection

연쇄 태스크에서 PROBE&PREFILL은 baseline 대비 정확도–tool 효율성 tradeoff를 개선하며, probe 신호는 환경 전반에서 일반화되고 prefill, temperature, layer-selection ablation에서도 효과를 유지한다.

  • C Multi-hop evaluation: Multi-hop evaluation은 세 번의 종속적인 tool call이 필요한 세 환경을 대상으로 하며, training task 180개와 test task 450개를 사용한다.Probe quality는 모델 전반에서 AUROC 0.84–0.97로 높게 유지되며, Qwen3-4B는 0.966, Llama-3.3-70B는 0.804에 도달한다.
  • C Multi-hop evaluation: Qwen3-4B에서 probe는 정확도 85.3%와 tool call 75% fewer를 달성하며, 이는 최선의 baseline인 정확도 83.9%와 call 63% fewer에 해당한다.Qwen3-32B에서는 call을 55% 줄이며, 최선의 baseline은 20% 줄인다.
  • C Multi-hop evaluation: Reason-then-Act는 Qwen3-1.7B의 multi-hop planning을 개선해 60.6%의 정확도에 도달하며, Sparse Prompt-only의 41.3%보다 높지만 Llama 모델에서는 call이 거의 0으로 붕괴한다.전체 비교는 450개 test task에 대해 3회 실행의 mean±std를 보고한다.
  • D Out-of-distribution generalization: 다섯 개의 동일 category 환경 중 세 환경에서 학습한 OOD probe는 모든 모델에서 in-distribution probe와 comparable accuracy–efficiency tradeoffs를 달성한다.이는 환경별 shortcut에 의존하기보다 training environment를 넘어 일반화됨을 뒷받침한다.
  • E.1 Soft vs. hard prefill: 동일한 tool-call 수준에서 soft prefill은 일반적으로 hard prefill보다 Qwen 정확도가 높지만, 낮은 threshold에서는 Llama-3.1-8B에 대해 hard prefill이 더 우수해 79.9% 대 69.2%를 기록한다.Soft prefill은 모델이 steering sentence를 재정의할 수 있게 하는 반면, hard prefill은 output format을 강제한다.
  • E.2 Temperature scaling: Temperature scaling은 probe controllability를 변화시킨다. T=1.0은 더 넓은 operating range를 제공하고, T=3.0은 middle range에서 더 세밀한 control을 제공하며, T=2.0은 모델 전반에서 performance를 균형 있게 만든다.Temperature 선택은 prompt baseline 대비 PROBE&PREFILL의 이점을 질적으로 변화시키지 않는다.
  • E.3 Layer selection: All-layer concatenation이 가장 우수하며, single-layer probe도 경쟁력 있는 성능을 유지하고, 대부분의 모델에서 middle-layer probe가 last-layer probe보다 약간 우수하다.이는 tool-necessity 정보가 network 전반에 분산되어 있으며, 이른 층에서 나타난 뒤 이후 층까지 지속됨을 보여준다.

E.4 데이터 효율성 · E.5 정규화 강도 · F 추론 오버헤드

Probe&Prefill은 최소한의 supervision만으로도 효과적이며, 정규화 선택에 강건하고, 추론 latency를 거의 증가시키지 않는다. 이러한 평가 전반에서 probe signal은 쉽게 추출되며 운영 비용도 낮다.

  • E.4 데이터 효율성: 90개의 labeled examples (10%)만으로도 테스트한 모든 모델에서 probe AUROC가 0.81을 초과하며, training data가 50%를 넘으면 성능 향상이 둔화된다.probe는 900-example training set의 10%, 25%, 50%, 75%, 100%를 사용해 재학습했다.
  • E.4 데이터 효율성: training data가 증가할수록 probe AUROC는 꾸준히 향상되지만, 50% fraction 이후에는 marginal improvement가 둔화된다.이 패턴은 최소한의 supervision만으로도 necessity signal을 추출할 수 있음을 보여준다.
  • E.5 정규화 강도: probe 성능은 λ=10에서 10000까지 안정적으로 유지되며, λ=1과 λ=100000에서만 하락한다.기본값 λ=10000은 모든 모델에서 거의 최적이다.
  • F 추론 오버헤드: probe는 표준 generation pipeline에 hidden-state extraction과 linear-probe computation만 추가한다.linear probe는 standardization, dot product, sigmoid로 구성된다.
  • F 추론 오버헤드: prefill forward pass는 autoregressive generation 전에 이미 KV cache를 구축하므로 추가 비용이 없다.Probe&Prefill은 별도의 forward pass를 실행하는 대신 기존 forward pass에서 hidden state를 읽는다.
  • F 추론 오버헤드: 여섯 모델 모두에서 추가 latency가 0.7 ms 미만이므로, 추론 시 Probe&Prefill의 오버헤드는 1% 미만이다.이는 일반적인 prefill forward pass의 10–100 ms 및 생성 토큰당 5–50 ms와 비교한 결과다.

G 에이전트 검색으로의 일반화 (Search-o1 벤치마크)

PROBE&PREFILL은 single-hop, two-hop, complex multi-hop reasoning을 아우르는 6개 Search-o1 open-domain QA 벤치마크로 일반화된다. 6개 데이터셋 중 4개에서 baseline accuracy와 같거나 이를 상회하면서 search calls를 더 많이 줄였고, transferred probe는 AUROC 0.67–0.80을 달성한다.

  • 평가 범위: 평가는 NQ, TriviaQA, HotpotQA, 2WikiMultihopQA, Bamboogle, MuSiQue를 포함하며, single-hop factual QA, two-hop reasoning, complex multi-hop reasoning을 아우른다.모든 평가는 Qwen3-4B-Instruct를 사용한다.
  • 설정: 설정은 5개의 Prompt-only 모드, 5개의 Reason-then-Act 모드, 그리고 threshold sweep을 적용한 PROBE&PREFILL로 구성되며, probe는 데이터셋을 50/50으로 분할해 학습한다.probe는 CPU에서 수초 내에 학습된다.
  • 결과: 6개 데이터셋 중 4개에서 PROBE&PREFILL은 최선의 Prompt-only 또는 Reason-then-Act baseline보다 search calls를 더 많이 줄이면서 comparable하거나 더 나은 accuracy를 달성한다.Table 18은 각 데이터셋의 최선 baseline과 최선의 PROBE&PREFILL operating point를 비교한다. TriviaQA에서는 accuracy가 68.8% 대비 69.2%이고, searches 감소율은 16% 대비 20%다.
  • Probe 품질: WHEN2TOOL로 학습한 probe는 retraining 없이 Search-o1 QA로 transfer되어 AUROC 0.67–0.80을 달성하며, 이는 tool-necessity signal이 부분적으로 transfer됨을 나타낸다.비교에는 데이터셋별 250개 예제로 학습한 in-domain probe도 포함되며, 학습은 수초 내에 완료된다.

H 추가 baseline: PROBE&PREFILL과 Supervised Fine-Tuning (SFT) 비교

full-parameter SFT와 비교하면 PROBE&PREFILL은 weight를 수정하지 않고도 더 큰 tool-call 감소를 달성하며, SFT는 accuracy를 높이지만 tool-call decision boundary를 안정적으로 학습하지 못한다. 또한 PROBE&PREFILL은 CPU에서 수 초의 training만 필요하고 threshold τ를 통해 accuracy–efficiency tradeoff를 연속적으로 조절할 수 있다.

  • 비교: SFT는 여러 GPU에서 수 시간 동안 full fine-tuning이 필요한 반면, PROBE&PREFILL은 model weight를 수정하지 않고 CPU에서 수 초 만에 linear probe를 학습한다.따라서 두 방법의 비교는 computational cost와 intervention level 측면에서 본질적으로 비대칭적이다.
  • Training setup: SFT는 binary tool-necessity label이 부여된 900개의 single-hop training task를 사용하며, 네 개의 GPU에서 learning rate 10−5로 두 epoch 동안 full model parameter를 학습한다.실험에서는 Qwen3-1.7B, Qwen3-4B-Instruct, Llama-3.1-8B를 평가하고 nonassistant token을 masking한다.
  • 결과: τ=0.5에서 PROBE&PREFILL은 21–38% tool-call 감소를 달성하는 반면, SFT는 Qwen3-1.7B에서만 call을 줄이고(−18%), Qwen3-4B와 Llama-3.1-8B에서는 call을 증가시킨다.SFT는 세 model 모두에서 accuracy를 2–3% 높이지만, PROBE&PREFILL은 weight modification 없이 더 큰 tool-call 감소를 달성한다.
  • 논의: 1.7B부터 70B까지 model size가 달라져도 PROBE&PREFILL은 일관되게 작동하며, threshold τ로 조절되는 smooth accuracy–efficiency tradeoff를 제공한다.이 결과는 PROBE&PREFILL이 훨씬 더 비용이 큰 SFT에 대한 효과적인 nearly zero-cost 대안임을 보여준다.
Loading 2605.09252v2…