PaperlayerView exact revision on arXiv

Source-linked AI summary

LLM-as-a-Verifier: A General-Purpose Verification Framework

arXiv:2607.05391v2

TL;DR

Standard LM judge는 거칠고 이산적인 점수만 제공해 candidate solution의 세밀한 검증을 제한한다. LLM-as-a-Verifier는 scoring-token logit에서 연속적인 reward를 계산하며 coding, robotics, medical benchmark 전반에서 state-of-the-art 성능을 달성한다.

  • 문제

    Standard LM judge는 서로 다른 trajectory에 동일한 점수를 부여하는 경우가 많아, 세밀한 verification signal을 위한 generalizable framework의 필요성을 제기한다.

  • 방법

    LLM-as-a-Verifier는 scoring-token logit distribution에 대한 expected score를 계산하고, granularity, repeated evaluation, criteria decomposition을 통해 verification을 확장한다.

  • 결과

    LLM-as-a-Verifier는 coding, robotics, medical benchmark 전반에서 state-of-the-art 성능을 달성하며, Terminal-Bench V2에서 86.5%를 포함한다.

  • 시사점 및 한계

    세밀한 verifier signal은 trajectory ranking, agent와 robot의 progress monitoring, reinforcement learning을 위한 더 조밀한 reward를 지원한다.

  • 시사점 및 한계

    이 framework는 scoring-token logit에 대한 접근을 전제로 하므로, restricted API를 통해서만 이용 가능한 frontier model은 제외된다.

Abstract

from arXiv · show

1. 서론

이 논문은 scoring-token logit distribution을 활용해 세밀한 verification feedback을 제공하는 training-free probabilistic framework인 LLM-as-a-Verifier를 소개한다. score granularity, repeated evaluation, criteria decomposition을 통해 verification scaling을 규명하고, trajectory evaluation, 효율적인 candidate ranking, reinforcement learning을 위한 더 조밀한 reward를 가능하게 한다.

  • Framework: LLM-as-a-Verifier는 scoring-token logit의 expectation으로 candidate quality를 추정해 additional training 없이 조밀하고 세밀한 feedback을 제공한다.이 probabilistic formulation은 편향되거나 noisy한 score를 생성할 수 있는 discrete LM judge의 한계를 해결한다.
  • Verification Scaling: score-token granularity의 확장, repeated evaluation, evaluation criteria의 decomposition을 통해 verification accuracy가 향상된다.Repeated evaluation은 variance를 줄이고 criteria decomposition은 prompt bias를 줄인다. 이러한 이점은 controlled budget 아래에서 discrete LM judge와 비교된다.
  • Agentic Evaluation: verifier는 전체 agent interaction trajectory를 평가하며, cost-efficient ranking algorithm과 함께 coding, robotics, medical benchmark 전반에서 frontier model보다 우수한 성능을 보인다.또한 이 접근법은 verifier score를 chronological step order와 연관시켜 task-progress monitoring과 Claude Code 및 Codex를 위한 확장을 지원한다.
  • Reinforcement Learning: LIBERO에서 LLM-as-a-Verifier는 sparse-reward baseline보다 ≈1.8× 높은 sample efficiency를 제공하며, MATH에서는 ≈1.1× 높은 sample efficiency를 제공한다.LIBERO 결과는 DSRL-SAC으로 π0 policy를 fine-tuning할 때 더 높은 최종 success rate에도 도달한다. MATH 결과에는 GRPO를 사용해 Qwen3-8B를 fine-tuning한다.

2. 사전 지식

이 논문은 agent–environment 상호작용을 finite-horizon MDP로 모델링하고, 이 프레임워크를 LLM 기반 agent에 특화한다. 또한 전통적인 language-space reward model을 이산 token으로 생성되는 점수로 형식화한다.

  • 2. 사전 지식: Agent–environment 상호작용은 finite-horizon Markov Decision Process (MDP)로 모델링된다.MDP에는 context, state, action, transition dynamics, reward, horizon H가 포함된다.
  • 2. 사전 지식: 각 episode는 task prompt를 샘플링하고, initial state에서 시작해 H개의 state–action transition을 거친다.Agent는 각 state를 관측하고 action을 선택하며, prompt, state, action에 조건부인 P에 따라 transition한다.
  • 2. 사전 지식: LLM 기반 agent에서 state는 이전 interaction history이고, action은 token sequence이며, language model π_θ는 action을 autoregressive하게 샘플링한다.Policy는 context와 state를 action에 대한 distribution으로 매핑한다.
  • 2. 사전 지식: 전통적인 reward model은 LLM에 이산 language-space score를 생성하도록 prompt하며, 이는 R_LM(x, τ) ∈ {1, . . . , G}로 형식화된다.Score는 생성된 token이며, reward model은 action 또는 trajectory에 scalar score를 할당한다.

3. 제안 접근법: LLM-as-a-Verifier

LLM-as-a-Verifier는 score granularity 확장, 반복 평가, criteria decomposition을 통해 세밀한 verification을 제공하는 probabilistic framework다. 또한 다수의 candidate trajectory 중 선택하기 위한 budget-efficient pivot tournament을 도입한다.

  • 동기: 샘플링한 trajectory를 pooling하고 oracle verifier가 최적 trajectory를 선택하면, Oracle Pass@K는 Terminal-Bench V2에서 98.9%에 도달한다.이 결과는 반복 샘플 중 올바른 solution을 식별할 수 있는 verification method의 필요성을 뒷받침한다.
  • 동기: Standard language-model judge는 discrete score output이 복잡한 solution에 동일한 점수를 부여하는 경우가 많아 coarse evaluation을 생성하며, Terminal-Bench에서 27% tie rate를 보인다.Reward model [15]은 대안으로 제시되지만, training data에 대한 의존성 때문에 cross-domain generalization이 제한될 수 있다.
  • Fine-Grained Reward Estimation: 이 framework는 각 evaluation을 하나의 discrete score로 축약하는 대신 score-token distribution, 반복 evaluation, decomposed criteria로부터 fine-grained reward를 추정한다.Continuous reward는 정규화된 뒤 Bradley–Terry model을 사용해 pairwise preference로 변환된다.
  • Probabilistic Pivot Tournament: PPT는 empirical ring-pass leader에서 선택한 k ≪ N개의 pivot과 candidate를 비교함으로써 pairwise verification cost를 O(N^2)에서 O(Nk)로 줄인다.Random Hamiltonian ring pass는 모든 candidate를 각 prompt position에 한 번씩 배치하여 expectation에서 positional bias를 상쇄한다. 이후 pivot comparison은 정규화된 win rate를 aggregate한다.
  • Probabilistic Pivot Tournament: PPT는 더 적은 comparison을 요구하면서 V1 [5]과 같은 prior ranking approach보다 outperforms하며, pivot 수가 증가할수록 performance improves consistently한다.Benchmark는 Terminus-2 harness로 curated한 task당 20개의 trajectory를 사용하며, Table 9에서 budget–accuracy trade-off를 평가한다.

4. Verification Scaling

검증은 서로 보완적인 세 축—score granularity, 반복 평가, evaluation criteria—을 따라 확장되며, 각 축은 서로 다른 reward-estimation error를 겨냥한다. 더 세밀한 scoring은 calibration을 개선하고, 반복 평가는 variance를 줄이며, criterion ensemble은 장기 추론의 판단 정확도를 높인다.

  • Scaling Axes: 검증 scaling은 score granularity, 반복 평가, evaluation criteria를 결합하며, 각 축은 서로 다른 reward-estimation error의 원인을 다룬다.Granularity는 score separation을 개선하고, 반복 평가는 verifier-pass bias를 평균화하며, criteria는 correctness를 독립적으로 검증 가능한 요인으로 분해한다.
  • Score Granularity: 0.775 to 0.799: scoring token을 G=1에서 G=20으로 늘리면 Terminal-Bench에서 SNR이 상승하여, correct trajectory와 incorrect trajectory 사이의 calibration된 separation이 개선된다.SNR은 pairwise score gap의 inconsistency에 대한 signal strength를 측정하며, pairwise verification accuracy는 SNR에 따라 단조롭게 증가한다.
  • Score Granularity: 77/100: G=20은 correct query-optimize trajectory를 더 높게 순위화한다. 이는 동일한 1–5 scale에 대한 expectation을 사용했을 때의 69/100과 대비되며, discrete judging에서는 88/100 times tie가 발생한다.이 case study는 Terminal-Bench V2에서 100회 반복 평가를 사용한다. Probabilistic scoring은 coarse judge의 tie를 제거하고 discrimination을 더욱 선명하게 한다.
  • Repeated Evaluation: K개의 independent evaluation을 평균하면 bias를 바꾸지 않고 estimator variance를 O(1/K)만큼 줄이며, finer scoring으로 제거할 수 없는 noise를 제거해 granularity를 보완한다.K=1의 single-pass verifier는 이미 K=16의 heavily ensembled judge와 일치하며, 이는 fine-grained probabilistic scoring이 더 강한 signal을 제공함을 보여준다.
  • Evaluation Criteria: 78.3%: Specification, Output, Errors criteria의 ensemble은 개별 criteria를 능가한다. 개별 criteria의 long-horizon task 정확도는 75.2%–76.4%다.이 criteria는 task requirement, final-output formatting, failure signal을 평가하며, 최종 reward는 이들에 대한 expected score를 평균낸다.

5. 실험

코딩, 로보틱스, 의료 도메인을 아우르는 네 가지 benchmark에서 LLM-as-a-Verifier는 pairwise probabilistic pivot tournament를 통해 후보 trajectory 중 하나를 선택하며, Pass@1을 일관되게 개선하고 상당한 oracle headroom을 회복한다. 또한 각 benchmark에서 state-of-the-art 성능을 달성하고 후보 pool과 harness 전반에 걸쳐 일반화된다.

  • 평가 프로토콜: 코딩, 로보틱스, 의료 benchmark에서 generation policy는 N개의 후보 trajectory를 생성하고, verifier는 probabilistic pivot tournament로 모든 pair를 평가하며, normalized score가 가장 높은 trajectory를 제출한다.평가는 Terminal-Bench V2 [17], SWE-Bench Verified [18], RoboRewardBench, MedAgentBench 를 포괄한다.
  • 전체 결과: LLM-as-a-Verifier는 Pass@1을 일관되게 개선하고, oracle Pass@N headroom의 상당 부분을 회복하며, 네 benchmark 모두에서 state-of-the-art 성능을 달성한다.Table 3은 고정된 agent harness에서 benchmark별 baseline, Pass@1, oracle Pass@N, verifier accuracy를 보고한다.
  • Terminal-Bench V2: Terminal-Bench V2 accuracy는 83.1%에서 86.5%로 상승해 여러 경쟁 agent system을 앞서고 Terminal-Bench V2.1에서 새로운 state of the art를 수립한다.이러한 향상은 primary harness를 넘어 Terminus-2와 Terminus-Kira에도 일반화된다.
  • SWE-Bench Verified: SWE-Bench Verified에서 verifier는 서로 다른 model family가 생성한 이질적인 N=3 후보 pool에서 가장 강한 trajectory를 선택한다.이 설정은 Terminal-Bench에서 사용한 동질적인 proposal pool과 대조되며, 다양한 후보 간 selection을 평가한다.
  • RoboRewardBench: RoboRewardBench에서 LLM-as-a-Verifier는 visual context를 통합해 어떤 trajectory가 더 많은 물리적 진전을 이루는지 판단하면서 multi-frame rollout video를 평가하고, trained robotics reward model보다 뛰어난 성능을 보인다.이 benchmark는 동일한 자연어 instruction을 따르지만 진전 정도가 다른 paired rollout을 사용한다.
  • MedAgentBench: MedAgentBench는 information retrieval, guideline lookup, multi-step tool use를 포함하는 medical EHR task에서 general-purpose verification을 엄격하게 검증하며, 이때 verification error는 safety consequence를 초래한다.평가는 AgentBench harness와 Claude Opus 4.8을 사용해 task당 N=5개의 trajectory를 sampling한다.

6. Task Progress의 Proxy로서 Fine-grained Verifier Signals

LLM-as-a-Verifier의 fine-grained score는 Value-Order Correlation (VOC)으로 정량화되는 scalar progress proxy를 제공하며, 성공한 trajectory와 정체되거나 실패하는 trajectory를 구분한다. Robotics에서는 경쟁 progress estimator를 크게 능가하고, TurboAgent는 harness나 backend model을 수정하지 않고도 기존 coding-agent client에 verifier를 확장한다.

  • Signal definition: VOC는 Ma et al. [22]를 따라, chronological step index와 해당 trajectory prefix에 대해 verifier가 예측한 value 사이의 Spearman rank correlation이다.Progress-tracking verifier는 이후 step에 단조롭게 더 높은 score를 할당해야 한다.
  • VOC on code generation: 0.08 Spearman gap이 성공한 Terminal-Bench V2 trajectory와 실패한 trajectory를 구분하며, 성공한 rollout은 거의 단조로운 verifier progress를 보인다.실패한 rollout은 더 약하거나 일관되지 않은 correlation을 보여, VOC는 제한적인 progress를 탐지하는 데 유용하다.
  • Coding Agent Extension: TurboAgent는 Claude Code와 OpenAI-API-compatible client를 위한 inference-time proxy로, agent harness나 backend model을 변경할 필요가 없다.또한 transparent proxy design을 통해 기존 benchmark와의 integration을 지원한다.

7. Reinforcement Learning을 위한 Dense Reward

LLM-as-a-Verifier는 off-policy와 on-policy reinforcement learning 모두에 dense reward를 제공해 reward-model training이나 environment-specific shaping 없이 sample efficiency를 높인다. Off-policy RL에서 verifier progress reward는 LIBERO 성능을 향상하고, 동일한 success rate에 도달하는 데 필요한 environment step 수를 줄인다.

  • Dense reward: Verifier progress reward는 off-policy와 on-policy RL에 바로 적용 가능한 dense signal로, reward-model training이나 environment-specific shaping 없이 sample efficiency를 높인다.이 접근법은 intermediate reward로 세밀한 score를 제공해 credit-assignment 문제를 겨냥한다.
  • Off-policy RL: Off-policy DSRL-SAC에서는 rendered rollout frame에 대해 verifier score를 계산하고, 이를 사용해 저장된 transition을 relabel하며, SAC objective를 변경하지 않고 replay-buffer return에 반영한다.계수 λ는 environment reward와 verifier reward 사이의 trade-off를 조절하며, 추가적인 algorithmic cost 없이 offline에서 dense signal을 더한다.
  • On-policy RL: On-policy GRPO에서는 probabilistic pivot-tournament preference가 normalized reasoning-trace score를 부여해, sampled answer가 처음에 모두 틀렸을 때 zero advantage가 발생하는 것을 방지한다.이를 통해 group-relative advantage가 그렇지 않으면 0으로 붕괴하는 경우에도 learning signal을 제공한다.
  • Empirical findings: 1.8× higher sample efficiency를 통해 verifier shaping을 적용한 LIBERO의 DSRL-SAC는 sparse reward와 비교해 0.2에서 0.6까지의 success rate에 도달한다.Verifier progress reward는 더 높은 최종 success rate인 0.76 vs. 0.69에도 도달한다.

8. 논의

이 논문은 verification을 scaling의 미개척 축으로 규정하고, agentic tasks에 세밀한 피드백을 제공하는 범용 framework인 LLM-as-a-Verifier를 제안한다. 단일 이산 점수를 출력하는 일반적인 LM judge와 달리, scoring-token logit 기대값으로부터 연속 reward를 계산한다.

  • LLM-as-a-Verifier는 agentic tasks에서 verification을 scaling의 미개척 축으로 다룬다.
  • 이 framework는 단일 이산 점수 대신 세밀한 피드백을 제공한다.
  • scoring-token logit 분포에 대한 기대값을 취해 연속 reward를 계산한다.

9. 관련 연구 · 부록

관련 연구는 test-time scaling, LLM 기반 judging, verifiable reward를 아우른다. 이러한 접근법은 각각 추가 연산을 통해 추론을 개선하고, 확장 가능한 출력 평가를 제공하며, 후보 행동을 선택하거나 최적화하기 위한 피드백을 생성한다.

  • 9. 관련 연구: Test-time scaling은 숙고, 탐색 또는 후보 생성에 추가 inference compute를 할당해 모델 성능을 향상시킨다.
  • 9. 관련 연구: Single-response scaling은 중간 추론을 유도하거나 [25] [26], 문제를 더 단순한 하위 문제로 분해하거나 [27], 샘플링된 추론 경로에 대해 주변화한다 [28].
  • 9. 관련 연구: 다른 scaling 방법은 test-time feedback을 사용해 중간 사고 [29], 행동 [32] 또는 잠재적 세계 상태 를 탐색한다.
  • 9. 관련 연구: LLM-as-a-judge 방법은 대규모 모델에 생성된 출력을 점수화하거나 비교하도록 prompting함으로써 인간 평가에 대한 확장 가능한 대안을 제공한다.
  • 9. 관련 연구: Judge 기반 평가는 probability- 및 form-filling 기반 evaluator [43] [44]를 통해 더 풍부한 scoring signal을 추출하고, benchmark 방식의 평가에 LLM 선호도 [45] [46] [47]를 사용한다.
  • 9. 관련 연구: Verifiable reward model은 후보 해법, 행동 또는 trajectory를 선택, 모니터링 또는 policy optimization을 위한 scalar feedback으로 변환한다.

A. 한계와 향후 연구 … B.3. Process 및 Outcome Reward Model로서의 LLM-as-a-Verifier

LLM-as-a-Verifier는 여러 agent harness에 걸쳐 일반화되며 process 및 outcome verification을 모두 지원한다. 그러나 현재 accessible scoring-token logits에 의존하고 scaling axes가 불완전하므로 향후 연구가 필요하다. Efficient tournament selection은 정확도 향상을 유지하면서 verification cost를 추가로 줄인다.

  • A. 한계와 향후 연구: 현재 framework는 scoring-token logits를 요구하므로 restricted API로만 제공되는 frontier model은 제외된다.두 단계 workaround는 closed model의 reasoning을 accessible logits를 가진 open verifier로 전달해 대부분의 향상 효과를 회복한다.
  • A. 한계와 향후 연구: 제안된 scaling axes는 not exhaustive하므로 criteria decomposition 학습에 관한 향후 연구가 필요하다.제시된 논의는 framework의 scaling approach를 확장하기 위한 방향으로 criteria decomposition을 제시한다.
  • B. 추가 결과 및 분석: 추가 결과는 Terminus-Kira와 Claude Opus 4.6, Terminus-2와 GPT-5.3-Codex를 사용해 main Capy scaffold beyond에서 verifier를 평가하며, G=20 및 K=8로 N=5 trajectories를 sampling한다.두 harness는 동일한 Gemini 2.5 Flash verifier와 Section 4.3의 three-criterion decomposition을 사용한다.
  • B.1. Terminal-Bench V2에서의 Agent Harness 일반화: LLM-as-a-Verifier는 Terminus-Kira와 Terminus-2 전반에 걸쳐 전이되며, 각각 79.4% 및 71.2% accuracy를 달성하고 가장 강력한 관련 baseline보다 각각 약 5 및 2.7 points 향상된다.이러한 향상은 서로 다른 harness 설정, observation format, tuned model에서도 유지되며, scaffold-specific syntax가 아니라 terminal state와 task progress에 대한 reasoning을 나타낸다.
  • B.2. Probabilistic Pivot Tournament: Budget–Accuracy Trade-off: k=3이고 queried pairs가 4,723개인 66.17% selection accuracy는 이미 comparable verification budget에서 best V1 result를 능가하며, pivot count가 증가할수록 PPT는 더욱 향상된다.PPT는 ring pass를 사용해 pivots를 선택하고 나머지 candidates를 pivots와만 비교하여 verification을 quadratic에서 약 O(Nk)로 줄인다.
  • B.3. Process 및 Outcome Reward Model로서의 LLM-as-a-Verifier: SWE-Bench Lite, AIME, HMMT에서 base model 대비 각각 9.5%, 18.5%, 21.3% absolute pass@1 improvements가 발생하며, LLM-as-a-Verifier는 V1 [5]보다 작은 budget으로 pointwise 및 pairwise baseline을 능가한다.PRM으로서 pass@1도 step당 sampled actions가 증가함에 따라 단조롭게 상승한다. k가 1에서 9로 증가할 때 TauBench에서는 48.7%에서 55.7%로, Terminal-Bench에서는 49.8%에서 54.3%로 상승하며, V1 [5]보다 3× 적은 compute를 사용한다.

B.4. 사례 연구: query-optimize

query-optimize 사례 연구는 검증에서 canonical, 수정되지 않은 database의 출력을 비교해야 함을 보여준다. 복사본에 indexing을 적용하면 검사가 unsound해지는 반면, original query가 완료될 때까지 기다리면 유효한 diff가 가능하다. 16개 trace 전반에서 Gemini 2.5 Flash는 이 방법론적 실패를 안정적으로 식별한다.

  • Task specification: 이 task는 OEWN SQLite query를 최적화하면서 출력을 보존하고, 세미콜론으로 끝나는 query 하나를 /app/sol.sql에 저장할 것을 요구한다.trajectory pair는 OpenHands harness를 사용하며, Claude Opus 4.5가 제안하고 Gemini 2.5 Flash가 검증한다.
  • Ground-truth breakdown: 실패한 trajectory는 canonical database에서 optimized query를 indexed copy의 original query와 비교하므로 physical access path가 변경되어 reward 0을 받는다.두 trajectory 모두 optimized SQL을 저장하고 internal diff check를 통과하지만, hidden grader의 결과와 일치하는 것은 하나뿐이다.
  • Ground-truth breakdown: 올바른 trajectory는 canonical database에서 original query가 완료될 때까지 5m03s 기다린 다음, exit code 0으로 direct diff를 실행한다.이는 unindexed database에서 task의 암묵적 요구사항인 original query와의 출력 비교를 보존한다.
  • Gemini 2.5 Flash reasoning trace: thinking이 활성화된 16 reasoning traces 전반에서 Gemini 2.5 Flash는 copied database를 수정하는 것이 task의 verification constraint를 위반함을 안정적으로 식별한다.verifier는 agent가 reference output을 얻기 위해 database copy에 indexing을 적용하기 전에 original query가 두 번 중단되었다고 지적한다.

B.5. RoboRewardBench에서 반복 평가와 시각적 맥락 확장 · B.6. Logit이 제한된 Frontier Model의 연속 보상 복원 · B.7. RL을 위한 Dense Reward로서의 LLM-as-a-Verifier

반복 평가는 RoboRewardBench 정확도를 높이고 시각적 로봇 입력 전반으로 전이되며, 2단계 open-verifier 우회 방식은 logit이 제한된 frontier model에서 연속 보상을 복원한다. 또한 부록은 다른 실험 조건을 동일하게 유지한 상태에서 off-policy 및 on-policy RL 모두에 적용되는 verifier 기반 dense reward를 명시한다.

  • B.5. RoboRewardBench에서 반복 평가와 시각적 맥락 확장: RoboRewardBench 결과는 반복 평가의 이득이 입력 modality가 바뀌어도 텍스트에서 multi-frame robotic manipulation으로 전이됨을 보여준다.LLM-as-a-Verifier는 모든 평가 예산에서 LLM-as-a-Judge, TOPReward, RoboReward-8B, Robometer-4B를 능가한다.
  • B.5. RoboRewardBench에서 반복 평가와 시각적 맥락 확장: K=8에서 trajectory-preference 정확도 87.4%를 달성하며, K=1의 81.5%에서 상승했고, LLM-as-a-Verifier는 모든 예산에서 모든 baseline을 능가한다.더 큰 K에서는 noise floor에 도달하면서 이득이 포화된다.
  • B.6. Logit이 제한된 Frontier Model의 연속 보상 복원: GPT-5.5와 Claude Opus 4.7 같은 frontier API는 token logprobs 없이 completion을 제공할 수 있으므로, verifier를 직접 대체하는 방식으로는 Eq. 3.1을 계산할 수 없다.이 우회 방식은 reasoning과 scoring을 분리해 보정된 reward signal의 대부분을 복원한다.
  • B.6. Logit이 제한된 Frontier Model의 연속 보상 복원: 2단계 pipeline에서는 GPT-5.5가 free-form reasoning을 생성하고, Gemini 2.5 Flash가 score-token position의 logprobs로 해당 reasoning을 평가해 연속 보상을 산출한다.평가 시 task, 두 trajectory, 그리고 GPT-5.5의 reasoning을 Gemini의 입력으로 사용한다.
  • B.6. Logit이 제한된 Frontier Model의 연속 보상 복원: K=16에서 +2.1 points, tie 0회라는 결과는 연속 우회 방식이 가장 큰 테스트 예산에서도 우위를 유지함을 보여준다.Table 12는 discrete GPT-5.5 scoring과 GPT-5.5-to-Gemini 2.5 Flash continuous pipeline의 accuracy와 tie rate를 비교한다.
  • B.7. RL을 위한 Dense Reward로서의 LLM-as-a-Verifier: on-policy RL에서 GRPO는 weight β=0.1로 correctness 및 format reward에 group-standardized Gemini 2.5 Flash preference를 추가한다.설정에는 Hendrycks MATH에서 group size M=16으로 Qwen3-8B를 사용한다.
Loading 2607.05391v2…