JEV-as-a-Judge: Accept When Confident, Escalate When Unsure

서론의 방법

• JEV는 생성된 텍스트 없이 유형화된 판정과 각 레이블의 확률을 반환하며, 가장 큰 레이블 확률 q에 따라 판정을 수용할지 더 강력한 판정기로 에스컬레이션할지 결정한다.논문은 정확도, 확률의 품질, 비용, 지연 시간을 평가하며, 유형화된 확률만으로 정확도나 보정이 보장되지는 않는다고 지적한다.출처: §1 · p. 2, Figure 2 · p. 2

서론의 연구 설계

• 비교 대상은 쌍별 선호도, 근거 기반 사실성, 최종 답변 판정을 다루는 다른 판정 모델 16개이며, 990개 항목 하위 집합에서 이견이 있는 레이블을 대상으로 블라인드 인간 감사를 수행했다.연구에는 4지선다 선택, 답변 문체, 답변 형식, 자연스러운 산문에 대한 후속 평가와 두 가지 신규 워크로드에서 사전 지정한 실시간 테스트도 포함된다.출처: §1 · p. 2

Introduction results

• Across 4,850 public judgments, JEV ranked eighth of 15 LLM judges, 1.7 points behind GPT-6, while costing 277 times less and answering in 0.15 seconds at the median.JEV was within three points of GPT-6 on ordinary preference and final-answer adjudication, but trailed by 7–28 points on expert knowledge, code, math, and logic puzzles.출처: §1 · p. 2

서론의 결과

• 신뢰도가 0.9 이상인 경우 JEV와 GPT-6의 성능은 거의 같았으며(3,744개 항목에서 94.7% 대 94.4%), 문체 적대적 쌍과 참조문 없는 산문에서는 신뢰도 기반 판단의 성능이 약해졌다.JEV 오류 탐지의 신뢰도 AUROC는 문체 적대적 쌍에서 0.76, 문체가 일치하는 쌍에서 0.84였다. 테스트한 모든 LLM 판정 모델은 참조문 없는 산문에서 거의 우연 수준의 성능을 보이면서도 높은 신뢰도를 나타냈다.출처: §1 · pp. 2–3

Introduction results

• A frozen cascade beat GPT-6 by 0.9 points on 1,610 held-out pairs at 41% of its fee.In a pre-specified live test on two new workloads, it matched GPT-6’s accuracy exactly while escalating 74% of pairs and saving a quarter of its fee.출처: §1 · p. 3

LLM judge와 제시 편향

• 선행 연구는 위치, 장황함, 자기 선호 편향을 보고했으며, 편향 완화 설정이 모든 judge에 적합한 것은 아니다. 본 연구는 단일 판정 계약에서 민감도를 검증한다.검증한 민감도 요인은 순서, 바꿔쓰기, 문체다.출처: §2 · p. 3

효율적·특화 judge

• 새로운 특화 평가기를 추가하는 대신, 본 연구는 여러 작업에서 호스팅형 decision-only judge를 분석하며 정확도, 확률 품질, 비용, 지연 시간, 에스컬레이션 가능성을 측정한다.관련 연구에는 reference 기반 분류기, 소형 팩트체커, 단일 토큰 평가기, 유형화된 결정을 내리는 체크포인트가 포함된다.출처: §2 · p. 3

Reward model과 벤치마크

• 평가에는 PairRM과 Skywork-Reward-V2가 포함되고, 다섯 개의 judge 벤치마크를 다루며, 전향적 테스트에는 PPE를 사용한다.다섯 벤치마크는 RewardBench, JudgeBench, HaluEval, RewardBench 2, RM-Bench다.출처: §2 · p. 3

Confidence와 에스컬레이션

• 선행 confidence 기반 캐스케이드 연구는 선택적 에스컬레이션의 근거가 되지만, JEV 우선 재생은 단일 최상위 judge보다 근소하게 나은 수준이다. 본 연구는 더 강력한 추론 judge로 에스컬레이션하는 방식을 검증한다.선행 연구에는 보정과 선택적 분류, 생성 비용 절감을 위한 캐스케이드, 불확실한 비교를 더 강력한 judge로 전달하는 방법이 포함된다. 논문은 새로운 작업에서 캐스케이드를 실시간으로도 검증한다.출처: §2 · pp. 3–4

과제와 프로토콜

• 평가자는 쌍별 선호도, 근거 기반 사실성, 최종 답변을 판정하고, 근거 설명 없이 허용된 각 레이블의 판정과 확률을 반환한다.판정은 확률이 가장 높은 레이블이며, 해당 확률 q를 신뢰도로 사용한다. 과제는 텍스트에서 바로 판정을 읽을 수 있는 경우부터 수학 정답 여부처럼 판단을 도출해야 하는 경우까지 다양하다.출처: §3 · p. 4

공개 벤치마크

• 공개 벤치마크에는 선호도 평가용 RewardBench 쌍 1,500개와 JudgeBench 쌍 350개, 그리고 근거 기반 사실성 평가용 HaluEval 판정 3,000개가 포함된다(Li et al., 2023).RewardBench 표본 추출은 공식 하위 집합 가중치를 재현하지 않으며 레이블의 출처도 혼재되어 있다. GPT-4o JudgeBench 전체 분할에는 지식, 추론, 수학, 코딩이 포함된다(Tan et al., 2025).출처: §3 · p. 4

최종 답변과 대조군

• 최종 답변 판정에는 정답, 오답, 무응답 레이블이 붙은 답변 150개를 사용하지만, 주석 작업자에 관한 기록이 없어 결과는 검증된 정확도가 아니라 일치도를 측정한다.대조군은 정답 참조가 있는 GSM8K 답변 108개와 지지, 모순, 정보 누락, 혼란 유발 사례를 아우르는 합성 근거 판정 64개로 구성된다.출처: §3 · p. 4

분할

• 홀드아웃 세트 4,530개 항목에는 파일럿 642개 항목과 출처 질문이 겹치지 않는다. 이 중 선호도 쌍 1,610개는 적합에 사용하지 않고 라우팅 정책을 평가한다.추론 전에 파일럿을 동결했으며, 공개 과제는 출처 질문을 기준으로 선택 세트와 파일럿 테스트 세트로 분할했다.출처: §3 · p. 4

수집 라운드

• 연구진은 여러 차례에 걸쳐 평가자를 수집했으며, 동결된 라우팅 정책, 사람 판정 결과, 사전 계획 테스트는 평가 데이터나 모델 호출 전에 명시했다.사전 계획 라운드에서는 두 가지 신규 워크로드에 권장 절차를 적용해 평가했다. 여러 계열의 비교, 사후 임계값 탐색, 후속 분석은 탐색적이었다.출처: §3 · pp. 4–5

진단

• 진단에서는 선호도 쌍 1,850개 모두의 순서를 뒤집고, 고정된 예시 48개에 대해 요청을 반복하거나 바꿔 표현한다. PairRM은 두 쌍 순서 모두를 판정한다.각 예시 세트는 공개 과제별 항목 16개로 구성되며, 요청을 두 번 반복하고 루브릭을 바꿔 표현한 요청을 한 번 보낸다.출처: §3 · p. 5

판정기와 측정

• JEV의 신뢰도는 판정의 확률인 q = maxk pk이며, JEV 고유의 confidence 필드는 사용하지 않는다.JEV의 Choice, Noul, Score 타입은 각각 레이블, yes/no, 순서형 rubric 수준에 대한 확률을 반환한다. 실험에서는 대체로 요청당 Choice 질문 하나를 사용한다.출처: §4 · p. 5
• 비교 대상은 생성형 판정기에 공통 출력 계약을 적용한 열일곱 가지 구성으로, 호스팅 판정기 열세 개와 로컬 기준 모델 네 개를 포함한다.로컬 Qwen3 및 Qwen3.5 체크포인트에는 API에 상응하는 가격이 없다. 보상 모델 비교에는 별도의 점수 산정 절차를 사용하며, Laya 체크포인트는 부록에만 나온다.출처: §4 · p. 5
• 유효하지 않은 출력은 정확도 오류로 계산하고, 확률 지표에는 유효한 출력만 사용한다. 쌍별 차이는 원본 질문 단위로 군집화한 2,000회 bootstrap 재표본 추출을 사용한다.보고하는 지표에는 정확도, macro-F1, Brier score, clipped NLL, ECE, 오류 탐지 AUROC가 포함된다.출처: §4 · p. 5
• 지연 시간은 고정된 120개 판정 패널에서 측정하며, 비용은 수집 당시 가격과 보고된 사용량을 바탕으로 계산하고 사용량 누락분은 보수적으로 반영한다.결과 지연 시간에는 네트워크, 제공자, 재시도 시간이 포함되지만, 내재적 추론 시간이나 처리량은 포함되지 않는다. 달러 금액은 추정치이지 청구액이 아니다.출처: §4 · pp. 5–6

5 Overall performance, cost, and latency

• JEV ranks eighth of fifteen LLM judges on 4,850 pooled public judgments, 1.7 points behind GPT-6 and 2.8 behind GPT-5.6.GPT-5.6 Sol is 1.1 points higher than GPT-6 on the pooled judgments at half the fee; GPT-5.2 and GPT-5.4 are also slightly higher. GPT-6 leads on final answers and ties for best on JudgeBench, while Gemini 3.1 Pro and GPT-5.6 lead RewardBench and HaluEval, respectively.출처: §5 · p. 6

5 전반적 성능, 비용 및 지연 시간

• JEV는 판정 1,000건당 $0.044가 들고 중앙값 지연 시간은 0.15초로, GPT-6보다 약 277배 저렴하고 13배 빠르다.JEV의 p95 지연 시간은 0.24초로, GPT-6의 3.86초 및 Qwen3.6의 최대 23.2초와 비교된다. 판정 1,000건당 비용이 $1 미만인 호스팅 심사자 중 JEV는 세 공개 과제 모두에서 가장 정확하며, HaluEval에서는 GPT-OSS보다 0.1포인트, RewardBench에서는 Gemini 3 Flash보다 0.4포인트 높다.출처: §5 · p. 6
• JEV는 정확도에서는 중위권이지만 비용과 속도에서는 최하단에 있다.정확도 격차는 특정 역량과 중간 난이도에 집중된다.출처: §5 · p. 6

일반 선호도, 사실성, 최종 답변

• 1,500개의 RewardBench 쌍에서 각각 92.5%를 기록했다. HaluEval에서는 JEV가 87.3%, GPT-6가 88.4%였고, 최종 답변에서는 각각 94.0%와 96.7%였다.사람의 판정에서는 RewardBench에서 GPT-6가 3.0점, HaluEval에서 2.5점 앞섰다. HaluEval에서 두 모델이 함께 놓친 26개 항목 중 24개는 근거가 뒷받침되지 않는 레이블을 포함했다.출처: §6 · p. 6

어려운 정확성 과제

• JudgeBench에서 JEV는 78.6%, GPT-6와 GPT-5.6은 각각 93.1%를 기록했으며, 쌍별 차이는 −14.6점이었다.사람의 판정에서는 차이가 −16.0점으로 벌어졌다. 추론, 코딩, 수학 관련 불일치 항목에서 GPT-6가 각각 27–0, 9–0, 7–0으로 우세했고, 답변 길이가 비슷한 경우에도 JEV는 뒤처졌다.출처: §6 · pp. 6–7

읽어내기와 도출하기

• 채팅 품질, 유해 요청 거부, 답해야 하는 요청, 증거 기반 사실성에서는 JEV가 GPT-6와 약 2점 이내 차이로 비슷한 성능을 보이지만, 도출이 필요한 결과에서는 뒤처진다.통합 점수 차이는 전문가 지식에서 −7.0점, 코드에서 −12.9점, 수학에서 −14.3점, 논리 퍼즐에서 −27.6점이다. 격차는 중간 난이도에 집중된다. 다른 judge 3–5개가 틀린 경우 JEV는 13.1점, 6–9개가 틀린 경우 15.3점 뒤처진다.출처: §6 · pp. 7–8, Figure 4 · p. 8

오해를 부르는 문체와 더 어려운 선택

• −8.8점: 거부 대상 답변의 문장이 더 정교하게 쓰였을 때 JEV 점수는 85.4%에서 76.6%로 떨어지는 반면, GPT-6는 1.7점 하락한다.4지선다 RewardBench 2 선택 과제에서 JEV는 73.0%, GPT-6는 75.0%, Skywork는 79.0%를 기록했다. 따라서 문체를 이용한 적대적 쌍은 답변 선택과는 다른 약점을 드러낸다.출처: §6 · pp. 8–9, Figure 4 · p. 8

JEV가 어느 쪽으로 틀리는가

• HaluEval에서 JEV는 환각을 80.1%의 비율로 잡아내 GPT-6의 79.6%보다 높지만, 옳은 답변을 받아들이는 비율은 더 낮다: 94.4% 대 97.1%.일반적으로 길이가 주요 원인은 아니다. RewardBench와 HaluEval에서는 입력 길이에 따라 벤치마크 내 격차가 거의 변하지 않지만, 긴 JudgeBench 및 RM-Bench 항목에서는 격차가 벌어진다. JEV의 위치 민감도도 벤치마크마다 다르다.출처: §6 · p. 9

답변 형식

• −5.3점: 최종 답변 150개에서 직접 판정 시 JEV 일치율은 91.3%였지만, 추출 판정 시 86.0%로 떨어졌다. GPT-4.1 mini는 87.3%를 유지했다.HaluEval 질문 40개에서는 답변을 자유 응답 대신 선다형으로 제시했을 때 JEV 일치율이 100.0%에서 92.5%로 낮아졌다. JEV는 모든 기본 항목에서 출력 계약을 준수한다. 실패한 호출은 오류로 계산하지만, 잘못된 판정이 아니라 서비스 장애를 반영할 수도 있다.출처: §6 · pp. 9–10

자연스러운 산문

• 문서에 근거한 요약에서는 JEV가 레이블과 69.8% 일치한 반면, 참조 자료가 없는 산문에서는 53.5%였다. 이때 평가한 세 judge 모두 우연 수준에 가까운 성능을 보이면서도 확신도는 높았다.참조 자료가 없는 산문에서 JEV의 Brier score는 0.821, 오류 탐지 AUROC는 0.498이다. 표본은 내용과 레이블 출처가 다르므로 순수한 증거 효과가 아니라 작업 부하에 따른 차이를 보여준다.출처: §6 · p. 9

운용 범위

• 일반 선호도, 증거 기반 QA, 최종 답변, 4지선다 선택, 근거 기반 요약에서는 비교 대상과 3점 이내 차이를 보인다. 어려운 정확성 과제와 RM-Bench에서는 6–15점 뒤처지고, 참조 자료가 없는 산문에서는 우연 수준에 가깝다.운용 지침은 첫 번째 영역에는 저비용 판정을, 두 번째에는 로컬 검증을, 세 번째에는 더 강력한 judge로의 에스컬레이션을 권하며, 참조 자료가 없는 산문에는 평가 대상 judge를 사용하지 말 것을 권한다.출처: §6 · p. 10

7.1 신뢰도는 JEV의 오류를 찾아낸다

• q ≥ 0.9에서 JEV의 단일 호출 오류율은 RewardBench에서 2.1%, JudgeBench에서 6.5%였고, GPT-6은 각각 3.5%와 2.0%였다.해당 작업에서 신뢰도가 높은 오류는 JEV 오류의 21%와 12%였고, GPT-6은 41%와 25%였다. HaluEval에서 신뢰도가 높은 오류 수는 해석하기가 더 어렵다. 제공된 레이블 관련 오류 중 다수가 레이블 노이즈이기 때문이다.출처: §7.1 · p. 10
• q < 0.6일 때 JEV는 통합 항목의 55.1%에서 정답을 맞혔고, q = 1일 때는 97.8%에서 맞혔다. 작업별 AUROC는 0.88, 0.73, 0.83이다.τ = 0.9에서 판정 수락 항목에 대해서는 두 판정기가 거의 비슷했지만(94.7% 대 94.4%), 에스컬레이션된 항목에서는 GPT-6이 앞섰다(75.0% 대 67.7%).출처: §7.1 · p. 10, Figure 5 · p. 11

7.2 확률의 품질

• JEV의 단일 호출 오류 탐지 AUROC는 RewardBench, JudgeBench, HaluEval에서 각각 0.875, 0.745, 0.827이었고, GPT-6은 0.894, 0.907, 0.831이었다.해당 작업에서 Brier 점수는 JEV가 0.113/0.297/0.196, GPT-6이 0.115/0.095/0.213이었다. 판정이 확정된 HaluEval 답변에서는 각각 0.062와 0.032였다. 파일럿 데이터에 맞춘 temperature scaling은 홀드아웃 HaluEval NLL을 0.496에서 0.304로 개선했지만, JudgeBench(0.449에서 0.475로)와 RewardBench(0.192에서 0.216으로)에서는 악화되어, 적합 결과는 홀드아웃 검증이 필요함을 보여준다.출처: §7.2 · p. 11

7.3 신호는 안정적인가?

• JEV는 반복 요청 96건에서는 결정을 바꾸지 않았지만, 바꿔 쓴 표현 48건 중 4건에서는 결정을 바꿨다. Choice, Noul, Score 확률은 서로 근사하게만 일치했다.Choice와 Noul 확률은 평균 0.055, Choice와 Score 확률은 0.015 차이가 났고, 두 Noul 확률의 합은 1에서 0.045만큼 벗어났다. 임계값은 하나의 고정된 출력 유형에 맞춰 조정해야 한다. 수집 라운드 간 JudgeBench 결정 350건 중 7건이 바뀌어 정확도가 한 항목만큼 달라졌다.출처: §7.3 · pp. 11–12
• τ = 0.9에서 JEV가 뒤집은 결정 95건 중 92건은 게이트 아래에 놓였고, q ≥ 0.9인 쌍 1,293건 중 뒤집힌 것은 3건뿐이었다.두 순서의 결과를 평균하면 쌍별 정확도는 89.89%에서 90.65%로 높아지고 Brier 점수는 0.148에서 0.141로 낮아졌지만, AUROC는 0.863에서 0.858로 바뀌었다. 통합 캐스케이드 스윕에서 두 순서 라우팅은 GPT-6 정확도의 100.2%를 비용 33%로 유지했고, 기본 순서 라우팅은 비용 31%로 100.2%를 유지했다.출처: Figure 7 · p. 13, §7.3 · p. 13

7.4 신호가 약해지는 경우

• 어려운 스타일 적대적 RM-Bench 쌍에서는 신뢰도 라우팅이 약해지고, AUROC가 0.498인 참조 없는 산문에서는 실패한다.어려운 쌍에서 τ = 0.9 캐스케이드는 GPT-6 정확도의 98.9%를 유지했고(89.1% 대 90.1%; −1.00점), τ = 0.99에서는 에스컬레이션 비율이 76%였지만 GPT-6과 같은 90.1% 정확도를 보였다.출처: §7.4 · p. 14

8 확신할 때는 수용하고, 불확실할 때는 에스컬레이션

• 캐스케이드의 효용은 상호보완적인 오류에 달려 있다. GPT-6은 JEV의 JudgeBench 오류 75건 중 60건을 바로잡았지만, 15건은 두 모델이 공유한 오류여서 에스컬레이션으로 복구할 수 없었다.모든 항목에서 모든 판정기를 호출하는 퓨전과 달리, 캐스케이드는 에스컬레이션한 항목에 대해서만 더 강력한 판정기의 비용을 지불한다.출처: §8 · p. 14

8 Accept when confident, escalate when unsure

• At τ = 0.9, the post hoc pooled cascade scored 90.2% versus GPT-6’s 90.0% at 38% of its fee; random escalation at the same spend reached only 89.0%.The cascade escalated 23% of items; its paired difference was +0.21 points, with interval [−0.10, 0.49].출처: §8 · pp. 14–15, Figure 8 · p. 15
• On other workloads, routing matched or exceeded GPT-6 selectively, including 98.3% of its accuracy on HaluEval at 20% of its fee and 75% accuracy on four-way RewardBench 2 at τ = 0.5.On 240 human-corrected HaluEval answers, τ = 0.8 matched GPT-6’s 98.3% at 13% of its fee; on RewardBench, the cascade scored 93.8% versus 92.5%.출처: §8 · p. 15

8 확신할 때는 수용하고, 불확실할 때는 에스컬레이션

• 더 저렴한 대체 모델은 비용·성능 균형을 개선할 수 있다. JEV→GPT-5.6은 GPT-6 비용의 17%로 91.2%를 기록해 GPT-6의 90.0%와 GPT-5.6의 91.1%를 모두 웃돌았다.Alternative first stages showed benchmark-dependent outcomes, and the retrospective comparison does not establish a global cost–accuracy frontier.출처: §8 · pp. 15–17
• 93.4% 대 GPT-6의 92.5%: 사전 고정한 JEV→GPT-6 정책은 홀드아웃 쌍 1,610개에서 0.93점 높았고, 비용은 GPT-6의 41.4%였다.쌍의 68.5%를 수용했으며, 에스컬레이션된 31.5%에 JEV 오류의 85%가 포함됐다.출처: §8 · p. 15, Table 3 · p. 16

8 Accept when confident, escalate when unsure

• On RewardBench, the cascade beats GPT-6 by 1.27 points at 26.7% of its fee, but on JudgeBench it remains 0.74 points below GPT-6 at 66.8% of its fee.On JudgeBench, escalation closes 94% of the JEV-to-GPT-6 accuracy gap; for GPT-5.6, the selected policy instead loses 4.81 points there, illustrating that the selection rule does not always transfer.출처: Table 4 · p. 16, §8 · p. 16
• In the live replication, the cascade scored 92.5% against GPT-6’s 93.1% at 57.2% of its fee, with 0.27-second median latency versus 2.10 seconds.It escalated 46.5% of pairs; the replication confirms the offline simulation, not the policy’s generality.출처: §8 · pp. 17–18

현지 라벨은 임계값 선택에 얼마나 필요한가?

• 임계값 선택에는 대상 작업의 라벨을 사용해야 한다. 하한 규칙은 라벨 96개 또는 192개에서 2점을 넘는 손실 비율을 약 5%로 낮추며, 벤치마크별 임계값을 따로 두면 이를 더 낮출 수 있다.이 규칙은 정확도 손실을 2점 이내로 유지하는 가장 완화된 임계값을 선택한다. 라벨 96개를 사용할 때 RewardBench와 JudgeBench에 별도 임계값을 두면 비율이 0.6%로 낮아지고, 중앙값 비용 비율은 0.34다. 시뮬레이션은 같은 항목을 재사용하므로 분포 변화 위험을 과소평가할 수 있다.출처: §8 · p. 14, How many local labels does a threshold… · p. 18

9 전향적 실사용 평가

• 고정된 프로토콜은 PPE 정확성 쌍 500개와 JudgeBench의 Claude-3.5-Sonnet 분할에 포함된 전체 270개 쌍을 시험했으며, 시드가 지정된 100개 쌍으로 임계값을 선택했다.각 작업에서 하한 규칙은 0.5부터 0.99까지의 임계값 중 하나를 선택했다. JEV가 확신하지 못하면 캐스케이드는 GPT-6을 호출했으며, 점수 산정을 위해 수락된 쌍도 GPT-6이 판정했다.출처: §9 · p. 18
• PPE에서 88.2%, JudgeBench에서 94.7%로, 실시간 캐스케이드는 두 홀드아웃 작업 모두에서 GPT-6과 정확도가 정확히 일치했다.PPE 쌍의 68%, JudgeBench 쌍의 89%를 상위 판정으로 넘겼고, JEV 오류의 93%를 포착했으며, 비용은 GPT-6 요금의 75.5%였다(쌍 1,000개당 $12.5 대 $16.6). 중앙 지연 시간은 캐스케이드가 1.87초, GPT-6 단독이 1.91초였다. JudgeBench에서 질문이 보지 못한 것과 이미 본 것인 쌍에서도 동등한 정확도를 유지했다.출처: §9 · p. 18
• τ = 0.9에서 고정된 일반 임계값은 쌍의 60%를 상위 판정으로 넘기고, GPT-6 요금의 62%가 들었으며, 전체에서 0.5포인트, JudgeBench에서 1.2포인트 낮은 정확도를 보였다.At τ = 0.8, it lost 3.0 points at 44% of GPT-6’s fee; below that, JEV’s weakness showed through. Reading JEV’s base order alone halved calls and nearly traced the same curve, matching GPT-6 at τ = 0.99 (+0.2 points) at 84% of its fee.출처: §9 · p. 18
• JEV의 신뢰도 게이트는 IFEval의 형식 제약 쌍에서 가장 취약했으며, AUROC는 0.57로 다른 PPE 출처의 0.69–0.81보다 낮았다.실시간 실행에서는 유효하지 않은 출력이 없었고 비용은 $12.77이었다.출처: §9 · p. 18

10 결론

• GPT-6 비용의 41%로, confidence cascade는 보류된 1,610개 쌍에서 0.9포인트 더 정확했고 새로운 두 워크로드에서는 GPT-6과 정확도가 같았다.새 워크로드에서 JEV 단독 성능은 14포인트 뒤처졌다.출처: §10 · p. 19
• GPT-6 비용의 0.36%와 0.15초의 중앙 지연 시간으로, JEV는 판정을 텍스트에서 읽어낼 수 있는 경우 GPT-6보다 3포인트 이내로 뒤처졌다.여기에는 일반적인 선호도, 안전성, 근거 기반 사실성이 포함됐다.출처: §10 · p. 19
• 판정을 도출해야 하는 경우 JEV는 GPT-6보다 7–28포인트 뒤처졌으며, confidence routing은 스타일 적대적 쌍에서 약해지고 참조 없는 산문에서는 실패했다.더 정교하지만 틀린 답변은 JEV를 오도할 수 있었지만, 오판은 대부분 confidence가 낮은 결정에서 나타났다.출처: §10 · p. 19
• 현지 검증에서는 두 제시 순서의 판정값을 평균 내고, 현지 라벨 약 100개와 정확도 손실의 하한 신뢰 경계를 사용해 임계값을 정한 뒤, 보류 항목으로 확인한다.첫 단계 성능이 약하면 이 절차는 정확도를 잃는 대신 더 많은 비용을 쓴다.출처: §10 · p. 19

한계

• 평가에는 독점형 JEV 하나와 일부 컴퓨팅 자원이 맞춰지지 않은 judge만 포함되며, 벤치마크 학습 데이터와의 중복 여부는 알 수 없고 전문 분야에서의 테스트도 없다.Decision-only JEV는 설명과 장시간 숙고를 생략한다. Laya 결과는 태스크별 fine-tuning을 거치지 않은 두 개의 zero-shot 체크포인트에 대한 것이다. 에스컬레이션은 독립된 judge에게 순차적으로 이루어지며, 임계값은 오답과 에스컬레이션의 비용이 아니라 고정된 정확도 허용 오차를 목표로 한다.출처: Limitations · p. 19
• 사전에 지정된 것은 고정된 두 가지 순서 정책, 주 인간 판정 결과, 전향적 테스트뿐이었다. 슬라이스 분석, 임계값 스윕, 대안적인 첫 단계 비교는 사후 분석이었다.홀드아웃 쌍은 적합 데이터와 벤치마크 계열을 공유하며, 그중 JudgeBench에서 가져온 쌍은 270개뿐이다. 신뢰구간은 다중 비교를 보정하지 않았다.출처: Limitations · p. 19
• 주요 결과는 제공된 벤치마크 레이블을 사용한다. 인간 판정은 judge 간 불일치로 선별한 990개 항목 하위 집합 중 183개 항목을 대상으로 하며, 한 명의 팀원이 주석을 달았다. 확률 점수에 관한 결론은 레이블 품질에 따라 달라진다.출처: Limitations · p. 19
• 지연 시간은 한 클라이언트 위치와 한 수집 기간의 결과를 반영하고, 비용은 청구서가 아니라 문서화된 가격 책정 규칙을 따른다. 대부분의 캐스케이드 비용 및 지연 시간 추정치는 오프라인 시뮬레이션으로 산출됐다.예외는 실시간 재현과 전향적 테스트에 적용된 배포 임계값이며, 이 테스트는 정확성을 평가하는 두 워크로드와 홀드아웃 쌍 570개를 다룬다.출처: Limitations · p. 19

윤리적 고려사항

• 이 연구는 기존 벤치마크 응답과 주석을 재사용하고, 블라인드 방식으로 팀이 183건을 추가 판정했다. 중대한 결과를 낳는 결정을 자동 심사자만으로 판정하지 말라고 주의를 당부한다.공개 재배포에는 출처와 라이선스 검토가 필요하다. API 자격 증명과 계정 메타데이터는 원고와 보충 자료에서 제외했다.출처: Ethical considerations · p. 19

A 데이터, 수집 라운드, 평가 기준 및 요청 예시

• 라우팅 규칙과 임계값 그리드는 본 실험 라운드 전에 고정했으며, 홀드아웃 결과는 적합에 사용하지 않았다.홀드아웃 세트에는 파일럿과 출처 질문이 겹치지 않았고, 같은 출처 질문에 대한 반복 답변은 한데 묶었다. 표본을 확대한 데이터는 프롬프트, 평가 기준, 설정 및 규칙을 바꾸지 않은 채 고정된 프로토콜에 따라 수집했으며, 재적합은 하지 않았다.출처: Table 7 · p. 23, Table 6 · p. 23, A Data, collection rounds, rubrics,… · pp. 23–24
• +0.93점, GPT-6 비용의 41.4%: 사전에 고정한 JEV→GPT-6 정책은 홀드아웃 쌍 1,610개 전체에서 0.93점을 더 얻었다.주요 결과는 주로 벤치마크 구성에 따라 달라졌다. 쌍의 65%를 상위 심사자에게 넘긴 JudgeBench는 이전 홀드아웃 세트의 53%에서 전체 세트의 17%로 비중이 줄었다. 따라서 논문은 벤치마크별 결과를 따로 보고한다.출처: A Data, collection rounds, rubrics,… · p. 24

PAIR: 응답 선호도

• PAIR에서는 동점 선택지 없이 정확성, 추론, 지시 이행, 관련성 및 안전성을 기준으로 두 응답 중 더 나은 것을 고르게 한다.평가 기준은 응답의 길이나 자신감 있는 문체에 점수를 더하지 말라고 하며, 후보 텍스트는 심사자 지시문이 아닌 데이터로 취급한다.출처: PAIR: response preference · p. 24

HALL: 증거 기반 사실성

• HALL에서는 답변이 제공된 증거와 모순되거나 증거로 뒷받침되지 않는 사실을 추가하면 환각으로, 그렇지 않으면 뒷받침됨으로 판정한다.심사자는 증거만을 기준으로 평가하며 후보 답변 안에 포함된 지시는 무시한다.출처: HALL: evidence-grounded factuality · p. 24

FINAL: 최종 답변 확정 판정

• FINAL에서는 신뢰할 수 있는 정답을 기준으로 명시적으로 확정한 최종 답변만 판정한다. 동등한 답변을 허용하고, 확정된 답변이 없으면 no_answer 레이블을 부여한다.이후에 번복된 중간 오류나 사과 또는 동의만으로는 확정 여부가 바뀌지 않는다.출처: FINAL: final-commitment adjudication · p. 24

EVIDENCE: 합성 대조군

• EVIDENCE는 supported, contradicted 또는 unknown 레이블을 사용한다. 양성 대조 궤적의 최종 숫자는 모두 참조 정답과 일치했다.이 판정 과업에서는 참조 정답을 의도적으로 공개한다. 추출한 최종 숫자 108개는 모두 정확했다. 요청에는 상태와 레이블별 확률이 JSON으로 담기며, 추론 입력에는 숨겨진 정답 레이블이나 출처 메타데이터가 포함되지 않는다.출처: EVIDENCE: synthetic controls · pp. 24–25

B 심사자 구성 및 측정

• 심사자 구성 및 측정에서는 로컬 모델 설정, 고정된 120개 결정 타이밍 패널, 그리고 사용량 데이터가 없을 때 보수적으로 예약 사용량을 적용한 청구액 기준 비용을 명시한다.로컬 모델에는 API와 동등한 달러 가격이 없다. Laya 판정은 V100과 H100에서 재채점해도 일치했으며, 후보 응답은 잘리지 않았다. 확인할 수 없는 제공업체 청구서는 비용에서 제외했다.출처: B Judge configurations and measurement · pp. 25–26, Table 8 · p. 26

C 심사자 간 불일치에 대한 인간 판정

• JudgeBench에서 불일치 69건 중 인간은 57건에서 GPT-6, 1건에서 JEV의 판단을 지지해, 라벨 기준 −14.6포인트와 비교해 차이는 −16.0포인트([−20.0, −12.3])였다.영역별로 인간은 추론에서 GPT-6을 27–0, 코딩에서 9–0, 수학에서 7–0, 지식에서 14–1로 지지했다. 몇몇 항목은 판정이 엇갈렸다.출처: Table 9 · p. 27, C Human adjudication of judge… · pp. 27–28
• 사전 지정된 감사에서는 출처 클러스터 180개에서 항목 183개를 판정했다. 불일치 층은 전수 표집하고 대조군은 해시 표집했으며, 주석자에게 라벨과 심사자 출력을 공개하지 않았다.주요 결과는 JudgeBench에서 인간 판정에 따른 JEV−GPT-6 차이였다. 인간이 수정한 정확도는 판정된 항목만 대상으로 한 민감도 분석이었다.출처: C Human adjudication of judge… · p. 27
• 최종 라벨은 인간이 결정했지만, 계획했던 두 번째 인간 평정 대신 LLM 절차를 사용했고, 저자 한 명이 주석자와의 불일치 39건을 판정했다.LLM 절차는 RewardBench에서 58.0%, JudgeBench에서 83.5%, HaluEval에서 92.9%의 비율로 인간과 일치했다. 감사는 선택적으로 표집했고 팀 구성원이 주석자로 참여했으므로, LLM 절차의 독립성을 입증할 수 없다.출처: C Human adjudication of judge… · pp. 27–28
• 인간 판정에 따른 차이 역시 RewardBench(−3.0포인트, [−5.3, −0.8])와 HaluEval(−2.5포인트, [−5.0, −0.4])에서 GPT-6에 유리했다.두 구간 모두 0을 포함하지 않았다. 논쟁 항목에서 인간은 벤치마크 라벨보다 각각 1.7, 3.3 과제 정확도 포인트만큼 더 자주 GPT-6을 지지했다.출처: C Human adjudication of judge… · p. 28
• HaluEval에서 인간은 두 심사자 모두 틀린 항목 26건 중 24건을 판정했다. 판정이 확정된 라벨 대체 후 JEV/GPT-6 정확도는 라벨 기준 87.5%/86.7%에서 95.8%/98.3%로 바뀌었다.240개 답변에서 라벨 기준 +0.8포인트의 근소한 동률은 천장에 가까운 성능에서 라벨 노이즈가 빚은 인공물의 영향을 일부 받는다.출처: C Human adjudication of judge… · p. 28
• HaluEval에서 판정이 확정된 인간 라벨 대체는 Brier, NLL, ECE에서 JEV의 GPT-6 대비 우위를 뒤집었다. 그러나 이 선택 표본 민감도 분석에서는 모델을 다시 실행하거나 재보정하지 않았다.오류 탐지 AUROC는 별도의 순위화 지표이며, 보정 후 남은 오류는 JEV에서 10건, GPT-6에서 4건뿐이었다.출처: Table 10 · p. 28, C Human adjudication of judge… · p. 28

• 도메인별 순위는 벤치마크 내외에서 달라진다. Figure 12는 본 평가 라운드의 호스팅 정확도를 추정 전체 워크로드 비용 및 타이밍 패널의 중앙값 지연 시간과 함께 나타낸다.Figure 11은 Skywork를 제외한 도메인별 기본 정확도를 제시하며, Skywork 결과는 Table 1에 있다.출처: D Per-domain results and… · p. 28, Figure 11 · p. 29, Figure 12 · p. 30
• 내용을 고정하고 표현 방식만 바꾸면 RM-Bench에서 JEV가 오도된다. 도메인별 구간 비교에는 라우팅의 두 순서 호출이 아니라 단일 기본 순서 호출을 사용한다.전향적 워크로드는 제외했으며, Table 11은 해당 구간 분석을 탐색적 분석으로 설명하고 다중 비교에 대한 구간 보정은 하지 않았다.출처: D Per-domain results and… · p. 29, Table 11 · p. 31
• JudgeBench에서 JEV는 거부된 답변이 더 짧거나 비슷한 길이일 때 GPT-6보다 16–19점 뒤처지고, 거부된 답변이 더 길 때는 4.7점 뒤처진다.길이가 다른 쌍 전체에서 JEV와 GPT-6은 JudgeBench 쌍의 각각 45.9%와 50.8%에서 더 긴 답변을 선택했다. 선호 답변이 더 긴 쌍의 비율은 49.7%였다. RewardBench에서는 해당 수치가 49.3%, 49.4%, 49.9%다.출처: D Per-domain results and… · p. 29, Table 12 · p. 32

E 후속 벤치마크 점검

• GPT-6의 후속 평가 결과 중 세 건은 제공자의 콘텐츠 필터 거부로, 정확도 오류로 집계했으나 확률 진단에서는 제외했으며 재시도하거나 답변을 다시 작성하지 않았다.고정된 후속 표본은 시드를 사용한 SHA-256 선택을 따랐다. RewardBench 2는 동점 제외 4지선다 top-1 accuracy로 채점했고, RM-Bench는 500개 원본 프롬프트와 스타일 및 순서에 걸쳐 9,000건의 판단을 사용했다.출처: E Follow-up benchmark checks · p. 32
• JEV의 RM-Bench hard-minus-normal 변화는 −8.8점(95% 원본 클러스터 구간 [−10.6, −7.1])으로, 오해를 유발하는 스타일에 민감함을 보여준다.GPT-6의 변화는 −1.7점([−3.2, −0.3]), Skywork은 −16.8점([−19.3, −14.4])이며, JEV-minus-GPT-6 차이는 −7.1점([−8.8, −5.6])이다. JEV는 유효한 제시 쌍 4,500개 중 381개(8.5%)에서 선택을 뒤집었고, GPT-6은 4,497개 중 90개(2.0%)에서 뒤집었다. 스타일 효과와 선택 번복의 불안정성은 별개이며, 도메인 및 번복 분석은 탐색적이고 학습 데이터 중복 여부는 알 수 없다.출처: E Follow-up benchmark checks · pp. 32–33, Table 14 · p. 34
• RM-Bench에서 JEV의 q ≥0.9 오답률은 easy 쌍에서 1.5%, normal에서 3.0%, hard에서 7.9%였으며, hard 쌍에서 신뢰도 기반 라우팅의 신뢰성이 가장 낮았다.q ≥0.99에서는 easy, normal, hard 쌍이 각각 474개, 454개, 354개였고, 오답은 각각 2건, 5건, 5건이었다. 각 제시 순서를 별도 판단으로 계산하면 JEV의 오답률은 각각 1.8%, 3.9%, 10.0%였고, GPT-6은 3.9%, 3.6%, 4.9%였다.출처: E Follow-up benchmark checks · p. 33
• RewardBench 2 프롬프트 100개에서 JEV는 73%, GPT-6은 75%를 기록했다. 신뢰도가 0.5 미만인 JEV 결과 20%를 상위 모델로 넘기면 GPT-6과 동률이었고, 0.7 미만인 40%를 넘기면 77%에 도달했다.이 임계값은 동일한 프롬프트에서 산출했으므로, 2점 차이는 프롬프트 두 개에 해당한다.출처: E Follow-up benchmark checks · p. 33

F 답변 형식과 정답 비공개 추출

• 정답 비공개 추출은 정답 여부를 판단하거나 참조 메타데이터를 보지 않고 최종 확정된 선택지만 식별한 다음, 코드가 해당 선택지를 정답 또는 오답으로 매핑한다.나중에 명시적으로 수정한 답변은 이전 답변보다 우선하며, 해소되지 않은 대안과 확정 답변 누락은 각각 ambiguous와 no_answer 결과로 구분된다.출처: F Answer format and gold-blind… · pp. 35–37
• 자연스러운 답변에서는 추출 결과의 모호한 출력이 늘고 검토 가능한 답변을 얻었지만, 직접 판정에 비해 일치도 향상은 없었다.4방향 계약은 기존 3방향 레이블에 ambiguous 결과를 추가하므로, 이 점수는 Table 1의 94.0%와 비교할 수 없다. 독립적인 선택지 수준 정답이 없으므로, 이 비교는 추출 정확도가 아닌 후속 단계의 일치도를 측정한다.출처: F Answer format and gold-blind… · p. 35
• 구성된 통제 조건에서 GPT-4.1 mini의 오답은 대부분 ambiguous/no-answer 경계에서 발생한 반면, JEV의 자유 응답 불일치는 제공된 오답 조건에 집중됐다.통제 조건은 HaluEval에서 이어받은 레이블과 짝지은 객관식 및 자유 응답 형식을 사용한다. 사례는 의미에 기반한 판정이 선택지 문구의 일치 여부와 다를 수 있음을 보여주므로, 저자들은 모든 불일치를 모델 오류로 보지 않는다.출처: Table 16 · p. 35, F Answer format and gold-blind… · pp. 35–36
• 과제 유형 후속 평가는 원본 질문 120개에서 얻은 HaluEval 답변 240개를 사용했으며, 단답과 산문 간 구분은 기술적 결과이지 자유 응답 정답성을 일반적으로 검증한 것은 아니다.초기 JEV 시험 440건은 정확도를 확인하기 전에 집계 쓰기 잠금 실패가 발생해 제외했다. 중단된 기록은 과제 판단이나 대체 지연 시간을 제공하지 않았다.출처: F Answer format and gold-blind… · p. 36

G 자연스러운 자유응답 평가

• 균형 잡힌 reference-free 응답에서 모든 judge는 사람 라벨과 낮은 일치도를 보였지만 평균 confidence는 높았다. 저자들은 중요한 사실 주장에 대해 독립적인 검증을 권고한다.이 결과만으로 generative interface가 문제를 해결한다고 볼 수는 없다고 논문은 경고한다.출처: G Natural free-response evaluation · p. 37, Figure 16 · p. 38

H 출력 타당성과 추가 지표

• 타당성 분석은 provider의 생성 실패, contract-invalid HTTP-200 응답, 전송 또는 기타 HTTP 실패를 구분한다. 주 정확도에서는 실패를 오답으로 세고, 확률 지표에는 유효한 응답을 사용한다.이를 통해 서비스 가용성과 추론 품질을 구분한다.출처: H Output validity and additional metrics · p. 38, Table 19 · p. 38, Table 20 · p. 39

I 안정성과 인터페이스 진단

• native-confidence 기반 오류 탐지 AUROC는 RewardBench, JudgeBench, HaluEval에서 각각 0.876, 0.745, 0.842였다. primitive 간 차이는 Choice–Score에서 평균 0.015, joint와 standalone Choice 간에는 0.011이었다.Noul complement residual은 0.19에 달하며, provider는 native-confidence 구현을 공개하지 않는다.출처: I Stability and interface diagnostics · pp. 40–41

J 제시 순서에 따른 confidence: 세부 결과

• 두 순서의 평균화에 따른 JEV의 정확도 향상은 유의하지 않았다. 1,850개 쌍에서 +0.76점, 1,610개 held-out 쌍에서 +0.62점, held-out JudgeBench 쌍에서 +2.04점이었다.18개 judge에 대한 보정 후 유의한 향상을 보인 것은 Gemini 3 Flash뿐이었다. 저자들은 평균화를 정확도 향상 수단이 아니라 견고성 확보 단계로 본다.출처: J Confidence under presentation order:… · p. 43, Table 25 · p. 43

K 확률 품질과 선택적 예측

• 두 순서를 사용하는 JEV 정책 12개를 96개 pilot 쌍에서 고정한 뒤, held-out 선호 쌍 1,610개에서 오프라인으로 평가했다.정책별 cascade-minus-fallback 정확도 차이와 비용 비율을 보고한다.출처: K Probability quality and selective… · p. 46, Table 29 · p. 46
• RewardBench 쌍 1,340개에서 대안 모델의 정확도는 GPT-6의 98.9%(Laya Typed-decisions)에서 103.1%(Skywork)까지였다. JudgeBench 쌍 270개에서는 JEV와 여러 대안 모델이 99.2–99.6%에 도달했다.이는 추가된 첫 단계들을 사전 지정해 시험한 것이 아니라 선택 규칙을 사후에 재사용한 결과다. 2점 선택 허용 오차는 held-out 성능을 보장하지 않는다.출처: K Probability quality and selective… · p. 47
• confidence가 높은 오류의 비율이 낮다는 것은 오류 대부분이 q = 0.9 아래에서 발생해 gate가 이를 에스컬레이션할 수 있음을 뜻한다. confidence가 높은 오류의 개수는 judge가 수락하는 빈도에도 좌우된다.분석은 제공된 라벨을 사용한 base-order 판단을 대상으로 하며, HaluEval의 비율은 주로 라벨 노이즈에 좌우된다.출처: K Probability quality and selective… · p. 47, Table 30 · p. 47
• 선택 라벨 수가 k = 96에서 384로 늘자, 에스컬레이션 중앙값은 32%에서 13%로, risk는 5.2%에서 2.9%로 낮아졌다. 균일 추출은 JudgeBench를 충분히 반영하지 못했으므로 workload별 threshold가 효과적이었다.시뮬레이션은 하나의 benchmark pool을 재사용했으며 distribution shift는 모델링하지 않았다.출처: K Probability quality and selective… · pp. 47–48, Table 31 · p. 48

L 오픈 가중치 typed decisions: Laya

• 정답 비공개 추출은 직접 판정보다 영어에서 22.9포인트, Typed-decisions에서 36.2포인트 높은 성능을 보였다. Typed-decisions는 자연스러운 답변에서 9.3포인트 향상됐으며, 자유응답 대조군에서는 두 방법 모두 더 높은 점수를 기록했다.자연스러운 답변 결과는 답변 150개를 사용했다. 추출을 거치면 과제는 판단이 아니라 선택지 매칭으로 단순화된다.출처: L Open-weight typed decisions: Laya · pp. 48–49
• Laya의 체크포인트는 유효하고 반복 가능한 확률을 반환했지만, 선호 쌍 정확도는 RewardBench에서 47–50%, JudgeBench에서 49%였고, 4지선다 선택 정확도는 우연 수준인 25%에 비해 20–23%였다.신뢰도는 오류를 유의미하게 나타내지 못했고(AUROC 0.48–0.53), 사전 고정 규칙은 보류 쌍의 3–5%만 수용했으며 JudgeBench에서는 하나도 수용하지 않았다.출처: L Open-weight typed decisions: Laya · p. 48, Table 32 · p. 49

M PPE 및 JudgeBench 전향적 실시간 테스트

• JEV 단독 점수는 PPE에서 78.2%, JudgeBench에서 70.9%로, GPT-6의 88.2%와 94.7%보다 낮았다. 캐스케이드 성능은 이미 본 JudgeBench 질문과 보지 못한 질문에서 GPT-6와 같았다.사전 고정된 전향적 정책은 JEV의 두 순서 중 하나라도 유효하지 않거나 해당 작업 부하 임계값보다 낮으면 보류 쌍을 상위 판정기로 넘겼다.출처: M Prospective live test on PPE and… · pp. 49–50, Table 34 · p. 50

N 사전 고정 정책의 실시간 복제

• 실시간 복제 결과는 오프라인 결과와 최대 0.4포인트 차이가 났으며, JEV와 GPT-6의 판정은 각각 쌍의 99.0%에서 본 실험의 판정과 일치했다.수용된 쌍의 중앙값 지연 시간은 0.18초, 상위 판정기로 넘긴 쌍은 2.50초였으며, 실행 비용은 $8.81이었다.출처: Table 36 · p. 51, N Live replication of the frozen policy · p. 51

O 사례 불일치와 루브릭 정렬

• JudgeBench 루브릭 절제 실험에서 최종 답의 정답 여부를 우선시하자 기본 정확도는 78.6%에서 79.4%로 올랐지만, 두 순서를 합산한 정확도는 79.6%에 머물렀다.사례가 된 불일치에는 도출 과정은 잘못됐지만 최종 선택은 맞는 경우, 환각 라벨이 모호한 경우, 그리고 일반적인 장황함 편향이 아니라 명시적 출력 제약이 관련된 경우가 포함됐다.출처: O Illustrative cases and rubric… · p. 52

P 보충 재현 패키지

• 보충 패키지에는 표본 입력과 루브릭, 보존된 판정과 비용 기록, 주요 분석용 스크립트, 그리고 사람의 판정, Laya, 전향적 테스트 및 실시간 복제 자료가 포함된다.비공개 출처 기록, 원시 API 로그, 계정 메타데이터, 인증 정보는 제외한다. 분석에는 API 호출이나 GPU가 필요하지 않으며, 모델을 학습하거나 미세 조정하지 않는다.출처: P Supplementary reproducibility package · p. 52