PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

BenchBrowser: Retrieving Evidence for Evaluating Benchmark Validity

Harshita Diddee, Gregory Yauney, Swabha Swayamdipta, Daphne Ippolito

arXiv:2603.18019v2cs.CLcs.AIcs.SE

TL;DR

벤치마크 설명만으로는 평가 항목이 실무자의 구체적인 사용 사례를 대표하는지 알기 어려우며, 타당도 판단은 이해관계자가 역량을 어떻게 정의하는지에 따라 달라질 수 있다. BENCHBROWSER는 사용 사례와 관련된 벤치마크 항목을 검색한다. 실무자 평가는 검색된 근거가 관련성이 있음을 확인했으며, 논문은 이를 활용해 범위의 공백과 상충하는 모델 순위를 파악한다.

  • 문제

    벤치마크는 범위와 세분성이 제각각이어서, 평가 항목이 실무자가 관심을 두는 사용 사례와 역량을 충분히 대표하는지 판단하기 어렵다.

    출처: §1 · p. 1

  • 방법

    BENCHBROWSER는 자연어 사용 사례에 맞는 벤치마크 예시를 검색하고, LLM 판정자로 명백히 맞지 않는 항목을 걸러내되 관련성 판단은 실무자에게 맡긴다.

    출처: §1 · p. 2, §2.3 · p. 4

  • 결과

    NLP 실무자 10명을 대상으로 한 연구에서 다양한 사용 사례에 대해 검색된 예시가 관련성이 있는 것으로 나타났으며, 근거를 통해 벤치마크 전반의 협소한 범위와 상충하는 모델 순위가 드러났다.

    출처: §1 · p. 2

  • 시사점 및 한계

    여러 벤치마크 모음의 평가 항목을 제시하면 실무자는 자신의 사용 사례가 어떻게 반영되는지 살펴보고 내용 타당도와 수렴 타당도의 문제를 진단할 수 있다.

    출처: §8 · p. 9

    내용 타당도 분석은 주석자가 세부 측면을 검증하지 않으며, LLM이 생성한 세부 측면은 재현율에 편향을 일으킬 수 있으므로, 분석에서 나타난 차이는 사람이 검토할 예비 신호다.

    출처: L. Limitations · p. 30

Abstract

from arXiv · show

Do language model benchmarks actually measure what practitioners intend them to ? High-level metadata is too coarse to convey the granular reality of benchmarks: a "poetry" benchmark may never test for haikus, while "instruction-following" benchmarks will often test for an arbitrary mix of skills. This opacity makes verifying alignment with practitioner goals a laborious process, risking an illusion of competence even when models fail on untested facets of user interests. We introduce BenchBrowser, a retriever that surfaces evaluation items relevant to natural language use cases over 20 benchmark suites. Validated by a human study confirming high retrieval precision, BenchBrowser generates evidence to help practitioners diagnose low content validity (narrow coverage of a capability's facets) and low convergent validity (lack of stable rankings when measuring the same capability). BenchBrowser, thus, helps quantify a critical gap between practitioner intent and what benchmarks actually test.

1. 서론

벤치마크는 범위와 세분성이 서로 달라 점수가 실무자의 구체적인 사용 사례를 반영하지 못할 수 있다. BENCHBROWSER는 관련 벤치마크 항목을 검색해 실무자가 타당도를 평가하도록 돕고, 논문은 이 근거를 활용해 범위와 순위 안정성의 위험을 파악한다.

1. 서론

  • 벤치마크 설명과 내용은 제각각이다. 예시가 서로 다른 역량을 다루거나 특정 역량 하나를 반복해서 평가할 수 있어 타당도 평가가 복잡해진다.내용 타당도는 평가 항목이 역량의 전체 영역을 대표하는지를, 수렴 타당도는 같은 역량을 측정하는 벤치마크들이 일관된 모델 순위를 산출하는지를 의미한다.출처: §1 · p. 1
  • 수작업 감사와 키워드 검색은 현대적인 벤치마크 스위트의 규모를 감당하지 못하며, 정적인 문서는 역량에 대한 실무자들의 변화하고 이해관계자에 따라 달라지는 정의를 포착할 수 없다.출처: §1 · p. 2
  • BENCHBROWSER는 벤치마크 스위트 전반에서 의미적으로 관련된 예시를 검색해, 실무자가 평가 항목을 살펴보고 사용 사례 평가에 영향을 미치는 요소를 상호작용하며 점검할 수 있게 한다.논문은 이를 경직된 주석 스키마에 의존하는 방식의 대안으로 제시한다. 수만 개의 예시를 몇 초 안에 살펴볼 만큼 감사가 빠르다.출처: §1 · p. 2
  • NLP 실무자 10명을 대상으로 한 연구에서 BENCHBROWSER가 다양한 사용 사례에서 관련 있다고 판단한 예시를 반환하는 것으로 나타났다.출처: §1 · p. 2
  • Python에서 Go로 사용 사례를 바꾸면 이용 가능한 예시가 크게 줄어드는 한편, 관련 예시를 바탕으로 한 순위는 기존 벤치마크와 달라질 수 있다.힌두교 관련 질문에서는 BIG-bench Hindu Knowledge에서 가장 높은 순위였던 모델이 HellaSwag의 프롬프트 완성 예시에서는 거의 최하위로 떨어질 수 있다.출처: §1 · p. 2

2. BENCHBROWSER

BENCHBROWSER는 앵커 생성, 의미 검색, 필터링을 통해 자연어 사용 사례와 관련된 상위 k개 벤치마크 예시를 검색한다. 앵커 전략은 추상적인 의도와 누락된 형식 단서를 보완하며, 마지막 판정기는 명백히 무관한 항목만 제거한다.

2. BENCHBROWSER

  • BENCHBROWSER는 앵커 생성, 검색, 필터링을 통해 여러 벤치마크를 아우르는 데이터베이스에서 가장 관련성 높은 top-k 예시를 검색한다.출처: §2 · pp. 2–3

2.1. 1단계: 앵커 생성

  • 사용 사례는 추상적이고 예시 형식에 관한 단서가 빠질 수 있으므로, 앵커 생성 단계에서는 벤치마크 내용에 더 잘 부합하도록 바꿔 쓴 표현을 시험한다.바꿔 쓰기는 주제를 세 가지 하위 주제로, 역량을 세 가지 기술로 확장한다. 예시 합성은 형식이 다양한 예시 세 개를 만들고, 축약 표현은 제한된 어휘 안에서 기술 및 주제 단서를 사용한다.출처: §2.1 · p. 3

2.2. 2단계: 의미 검색

  • 의미 검색은 baai/bge-en-icl로 앵커를 임베딩하고, Faiss 유사도 검색으로 가장 가까운 예시를 찾으며, 결과를 BM25 및 무작위 검색과 비교한다.출처: §2.2 · p. 3

2.3. 3단계: 필터링

  • LLM 판정기는 주제 및 기술의 중복 여부와 예시가 사용 사례의 역량에 관한 신뢰할 만한 근거를 제공하는지를 기준으로 필터링한다. 실무자가 관련성을 판단하는 대신 명백한 불일치 항목만 제거한다.출처: §2.3 · pp. 3–4

3. 평가 설정

BENCHBROWSER는 폭넓은 주제, 도메인 간 기술, 구체적 응용, 새로운 실무자 질의, 기존 검증 세트가 있는 사례를 아우르는 유스케이스 질의를 대상으로 평가된다. 이 설정은 검색 관련성, 순위 품질, 그리고 주제 질의의 재현율을 평가한다.

3. 평가 설정

  • 폭넓은 지식 영역을 대표하도록 BBH와 MMLU에서 추출한 58개 토픽 질의를 평가에 포함한다.출처: §3 · p. 4
  • 기술 질의는 도메인 전반의 역량을 다루며 Clio 유스케이스를 바탕으로 합성하고, 응용 질의는 실제 배포된 구체적 작업을 나타내며 역시 Clio에서 가져온다.출처: §3 · p. 4
  • 새로운 질의 세트는 Matplotlib 시각화 제작을 포함해 NLP 실무자 9명으로부터 20개 유스케이스를 크라우드소싱한다.출처: §3 · p. 4
  • 기존 검증 질의는 칼로리 섭취량 추정용 NutriBench와 같은 유스케이스별 테스트 세트와 짝지어, 검색된 항목이 정답 성능을 예측하는지 평가한다.출처: §3 · p. 4
  • 평가에서는 앵커 및 시스템 정밀도, 최종 세트 순위 품질을 위한 NDCG@k, 토픽 질의를 위한 Recall@k를 보고한다.토픽 재현율은 28,000개 예시로 제한된 데이터베이스를 사용하고, 다른 지표는 70,000개 예시 데이터베이스를 사용한다.출처: §3 · p. 4

4. BENCHBROWSER가 관련 예시를 찾다

재작성 기반 검색 앵커는 주제와 기술에서 직접 검색 및 비신경망 기준선보다 우수하며, Example Synthesis는 일관되게 가장 강력한 방법 중 하나다. 사람 평가도 전반적으로 관련성 판단을 뒷받침하지만, 일부 불일치가 있고 특정 사용 사례 집합에서는 정렬이 약하다.

4. BENCHBROWSER가 관련 예시를 찾다

  • 재작성 기반 앵커는 주제와 기술에서 Prec anchor@k 및 Prec sys@k 기준으로 비신경망 기준선과 Original baseline보다 10점 넘게 우수하다.Example Synthesis는 세 세트 모두에서 일관되게 가장 우수하거나 두 번째로 우수하며, Shorthand도 비슷한 성능을 보인다.출처: §4 · p. 4
  • 순위 보존과 중첩을 평가하는 동점 해소 테스트에서 Example Synthesis의 성능이 가장 좋아, 저자들은 이후 실험에 이를 사용한다.Shorthand와 Example Synthesis는 다양한 사용 사례 집합에서 가장 높은 정밀도를 달성한다.출처: §4 · p. 5
  • 주제와 기술에서는 k가 커져도 정밀도가 대체로 안정적인 반면, 애플리케이션에서는 더 급격히 저하되며, 이는 맥락이 포함된 질의에 관련 예시가 더 적기 때문일 수 있다.모든 방법에서 애플리케이션의 정밀도가 가장 낮으며, 이는 질의 맥락 때문일 수 있다.출처: §4 · p. 5, Table 3 · p. 5
  • 워밍업된 엔드투엔드 지연 시간은 공개 사이트 요청 210건에서 평균 5.28 ± 1.48초였으며, 실패는 없었다.이 시스템은 실무자 사용 사례를 대화형으로 감사할 수 있도록 지원한다.출처: §4 · p. 5

4.1. BENCHBROWSER의 사람 평가

  • 주제, 기술, 애플리케이션에서 자동 평가와 사람 평가의 평균 관련성 차이는 0.1 이내로 작지만, 이 집합들 사이의 순위 일치는 약하거나 중간 수준이다(ρ ∈[0.15, 0.50]).알려진 검증 집합이 주요 예외로, 난해한 벤치마크 모음을 겨냥한 일부 광범위한 질의 때문에 평균 차이가 0.30에 달한다.출처: §4.1 · pp. 5–6
  • 사람 평가자 간 일치도는 약간에서 중간 수준이며, 불일치는 주로 관련 있음과 부분적으로 관련 있음 사이에서 나타나고, 관련 있음과 관련 없음 사이에서는 드물다.이 양상은 근본적인 의견 불일치라기보다 보정 차이를 시사한다.출처: §4.1 · p. 6

5. Content Validity 측정

이 절에서는 더 넓은 기술을 고정한 채 한 기술의 변형별 검색 커버리지를 비교해 content validity를 평가한다. 밀접하게 연관된 변형도 커버리지에서 큰 차이를 보이는 경우가 많아, 충분히 다뤄지지 않은 세부 측면이 드러난다.

5. Content Validity 측정

  • BENCHBROWSER는 더 넓은 기술의 한 세부 측면만 달라지는 유스케이스에 대한 예시를 검색해 세부 측면별 커버리지를 확인할 수 있게 한다.연구에서는 해석 가능한 한 축을 따라 서로 다른 6개 변형을 갖는 20개 기술을 구성해, 총 120개의 유스케이스를 만들었다.출처: §5 · p. 6
  • 저자들은 검색된 예시 중 Relevant로 판정된 비율로 커버리지를 추정하고, Partially Relevant 예시는 제외한다. 한 기술군 내 변형 간 큰 차이는 content validity가 낮음을 시사한다.관련성은 이해관계자에 따라 달라지고 예시가 서로 겹칠 수 있어, 수작업 평가는 비용과 부담이 크다.출처: §5 · p. 6
  • 밀접하게 연관된 변형 간에도 Relevant 예시의 수는 크게 달라지는 경우가 많다. Python 코드나 판타지 이야기처럼 흔한 세부 측면은 Go 코드나 역사소설보다 더 잘 다뤄진다.어휘 기반 BM25 기준선에서도 이런 격차가 나타나므로, 이는 의미 기반 검색기가 아니라 벤치마크 구성의 특성을 반영하는 것으로 보인다.출처: §5 · p. 6
  • 세부 측면의 커버리지가 희박하면 종합 점수가 높더라도 실제 배포와 관련된 미검증 변형의 성능을 알기 어렵고, 이러한 근거는 충분히 탐색되지 않은 세부 측면을 위한 벤치마크 구축에 도움이 된다.디버깅 예시가 구문 오류에 집중되어 있다면 보안 취약점이나 메모리 누수에 대해서는 거의 알 수 없다.출처: §5 · p. 6
  • Figure 3은 각 기술군에서 가장 많이, 가장 적게 다뤄진 세부 측면을 비교해 70k-example 데이터베이스에서 커버리지 격차가 크다는 점을 보여준다.일부 세부 측면은 지나치게 많이 다뤄지는 반면, 다른 측면은 거의 나타나지 않는다.출처: Figure 3 · p. 7

6. 수렴 타당도 측정

검색된 집합은 사용 사례의 골드 집합에서 얻은 모델 순위를 유지하기도 하고, 예시가 해당 사용 사례와 관련이 있더라도 순위가 뒤집히는 등 크게 달라지기도 한다. 이 절에서는 순위 발산으로 수렴 타당도 위험을 진단하고, 가능한 원인을 살펴본다.

6. 수렴 타당도 측정

  • 연구에서는 여덟 개 모델에 대해 각 사용 사례의 골드 집합과 검색된 집합에서 얻은 순위를 비교하고, 50회의 Monte Carlo 시행에서 Kendall’s τ를 평균한다.골드 기준선은 집합 크기가 작을 때 달성 가능한 상관이 낮아지는 점을 고려하기 위해 골드 집합의 부분집합을 사용한다.출처: §6 · p. 7
  • 순위 발산은 Δ(u) = τgold(u) − τret(u)로 정의한다. 값이 작으면 순위가 유지됨을, 크면 유한 표본 효과를 넘어 순위가 달라짐을 뜻한다.τret은 검색된 집합의 순위와 크기를 맞춘 골드 부분집합의 순위를 비교하고, τgold는 골드 집합의 순위 상관을 더 작은 골드 부분집합과 비교해 측정한다.출처: §6 · p. 7
  • 순위 발산은 사용 사례에 따라 크게 달라진다. 검색된 집합 중에는 벤치마크가 유도하는 비교를 유지하는 것도 있지만, 발산이 크거나 순위가 뒤집히는 것도 있다.분석 대상은 검색된 예시가 사람 평가에서 관련성 기준을 충족한 사용 사례로 한정된다.출처: §6 · p. 8
  • 형식이나 채점 기준표가 바뀌면 명목상 같은 역량에서 성공의 의미가 달라져 측정 불일치가 생기고, 모델 순위도 달라질 수 있다.본문은 승률이 보정의 불일치에 민감하며, 그 영향이 순위 차이로 이어질 수 있다고 설명한다.출처: §6 · p. 8
  • 검색된 예시가 더 좁거나 범위가 다른 조작적 정의를 적용한 출처 벤치마크에 집중될 수 있다. 따라서 같은 역량으로 표기된 벤치마크도 서로 동등하지 않은 구인을 측정할 수 있다.정의의 회상에서 맥락 속 개념 적용으로 옮겨가면 평가 대상 구인 자체가 달라질 수도 있다.출처: §6 · p. 8
  • 검색된 예시와 출처 벤치마크를 살펴보면 순위 불안정성이 구인의 비동등성에서 비롯되는지, 조작적 정의의 차이에서 비롯되는지 평가하는 데 도움이 된다.수동 검토를 통해 순위가 뒤집히는 세 가지 반복 요인과 수렴 타당도가 낮아질 수 있는 두 가지 실질적 경로를 확인한다.출처: §6 · p. 8

7. 관련 연구

관련 연구는 맞춤형 벤치마크 구축과 타당도 중심 평가 인프라를 다룬다. BENCHBROWSER는 합성 라벨이나 사전 정의된 스키마에 의존하지 않고, 실무자의 자유 형식 의도에 맞는 기존 검증 완료 항목을 검색한다.

7. 관련 연구

  • 맞춤형 벤치마킹에는 시드 코퍼스나 제로샷 방식으로 합성 테스트 세트를 생성하는 방법과, 목표에 맞춰 선택할 수 있도록 기존 평가를 재구성하는 방법이 포함된다.역량 메타 설명, 어려운 항목 검색, 고정된 분류 체계에 따라 구성된 저장소 등이 그 예다.출처: §7 · p. 8
  • BENCHBROWSER는 합성 라벨이나 사전 정의된 스키마 없이 자유 형식의 사용자 의도에 맞춰 검증되고 라벨링된 벤치마크 항목을 검색하고 정리한다.이를 통해 원래 테스트 세트 구축 과정에서 수행된 수작업 감독을 보존한다.출처: §7 · pp. 8–9
  • 타당도 중심 평가 연구는 구성개념에 민감한 도구와 비용이 많이 드는 증거 수집을 활용하지만, 실무자에게는 누락된 범위와 상충하는 조작적 정의를 살펴볼 항목 수준의 증거를 확장성 있게 검토할 지원이 부족하다.BENCHBROWSER의 검색 기반 인터페이스는 이 간극을 해소한다.출처: §7 · p. 9

8. 논의 및 결론

BENCHBROWSER는 평가 항목과 역량 측정 방식의 차이를 드러내, 실무자가 정의한 사용 사례에 따라 벤치마크 타당성을 점검할 수 있게 한다. 이 근거는 충분히 다뤄지지 않은 역량 세부 측면과 순위 역전을 진단하는 데 도움이 되며, 새로운 벤치마크나 세부 평가 집합을 어디에 집중할지 안내할 수 있다.

8. 논의 및 결론

  • BENCHBROWSER는 항목, 출처, 평가 기준, 프레이밍 차이를 드러내 실무자가 벤치마크가 무엇을 측정하는지 점검하고 낮은 내용 타당도와 수렴 타당도를 진단할 수 있게 한다.사람이 수행한 평가 결과는 LLM 심사자 결과와 일치하며, BENCHBROWSER가 범위와 대표성을 평가하는 데 관련 근거를 검색해 낸다는 점을 보여준다.출처: §8 · p. 9
  • 벤치마크 간 비교를 통해 어떤 하위 집합, 이상치 또는 프레이밍이 순위 역전을 초래하는지, 그리고 어떤 역량 세부 측면이 충분히 다뤄지지 않는지 드러난다.이를 통해 더 안정적이고 맥락을 충분히 반영한 결론을 내릴 수 있으며, 새로운 벤치마크나 기존 세부 평가 집합이 어디에 집중할지 안내한다.출처: §8 · p. 9

영향 진술

이 논문은 사용자가 지정한 의도에 비추어 벤치마크 타당도를 점검하는 빠르고 저비용인 워크플로를 제시한다. 서로 상충하는 순위를 낳을 수 있는 측정 선택을 드러내어 역량 주장에 대한 신중한 해석과 더 신뢰할 수 있는 벤치마킹을 뒷받침한다.

영향 진술

  • 이 워크플로는 사용자가 지정한 의도에 따라 벤치마크 타당도를 점검함으로써 실무자 중심 검증의 첫걸음을 내딛는다.사용자 중심 역량이 효용을 좌우할 때, 실무자는 시스템 선택 결정의 근거가 되는 평가 항목과 루브릭에 접근할 수 있어야 한다.출처: Impact Statement · p. 9
  • 빠르고 저비용인 종단 간 워크플로는 서로 상충하는 순위를 낳을 수 있는 루브릭, 프레이밍, 구성개념의 범위를 드러내어 실무자가 역량 주장을 더 신중하게 해석하도록 돕는다.이 연구는 역량 주장을 감사할 수 있게 함으로써 신뢰할 수 있는 벤치마킹의 핵심 요소에 기여한다.출처: Impact Statement · p. 9

A. Figure 1 동기 실험 세부 사항

이 절에서는 BenchBrowser가 실무자의 사용 사례에 맞는 벤치마크 예제를 어떻게 검색하는지 설명하며, 관련성을 평가하는 데 사용된 프롬프트, 사용 사례 집합, 평가 기준, 검색기 설정을 다룬다. 정답 집합에서의 모델 성능과 비교하고, 실용적 유용성과 폭넓은 관련성을 구분한다.

A. Figure 1 동기 실험 세부 사항

  • 동기 실험에서는 지시 튜닝된 모델 7개를 평가한다.본문에는 Qwen2.5-7B-Instruct, Ministral-8B-Instruct-2410, Llama-3.1-Tulu-3-8B, c4ai-command-r7b-12-2024, DeepSeek-R1-Distill-Llama-8B, Mistral-7B-Instruct-v0.2, Meta-Llama-3-8B-Instruct가 언급된다.출처: A. Motivation Experiment Details for… · p. 14

B.1. 앵커 약식 표기

  • 벤치마크에는 데이터포인트 수준의 기술 주석이 없는 경우가 많으므로, BenchBrowser는 각 예제를 주요 기술과 최대 세 개의 검색 가능한 속성으로 이루어진 약식 표기로 나타낸다.형식은 ⟨skill⟩& ⟨key1⟩& ⟨key2⟩& ⟨key3⟩이다.출처: §B.1 · p. 14

B.2. 앵커 생성 프롬프트

  • 구체화 프롬프트는 의도의 여러 측면을 조작적으로 정의하는 짧고 중첩되지 않은 쿼리 구체화 3개를 생성하며, 이 중 하나 이상은 넓은 도메인을 다룬다.프롬프트는 넓은 역량, 주제, 과업, 시나리오, 고유명사 또는 질문에 맞춰 구체화를 조정한다.출처: §B.2 · pp. 15–16

C.1. 임베딩 모델용 문맥 내 예제(Original, Example Synthesis 및 Rephrasing 인덱스 생성 시 사용)

  • 문맥 내 예제는 주장 검증, 블로그 작성, 단위 테스트, 별 관측, 이력서 작성에 걸쳐 있으며, 개념과 주제가 일치하는 레코드를 검색하라는 공통 지시를 따른다.이 예제는 인덱스 생성 중 임베딩 모델에 사용된다.출처: §C.1 · p. 16

C.2. 검색기 백본을 위한 임베딩 모델 및 검색기 설정 비교

  • bge-en-icl은 Prec sys@k =0.694, Recall@k (0.218), 그리고 가장 높은 NDCG@k를 달성하며, 지연 시간 1.04s는 재순위화기의 14.03s보다 짧다.재순위화기의 Prec sys@k =0.664와 recall=0.176이며, llm-embedder의 Prec sys@k =0.488과 Recall@k =0.012이다. bge-en-icl을 기본 백본으로 채택한다.출처: §C.2 · p. 17, Table 9 · p. 17

D. 필터링 선택 프롬프트

  • BenchBrowser의 관련성 프롬프트는 지식 중첩, 기술 전이, 실용적 효용을 기준으로 테스트 사례를 관련 있음, 관련 가능성 있음, 관련 없음으로 평가한다.프롬프트는 이 판단을 각각 1, 0, -1에 대응시킨다.출처: D. Filtering selection prompt · p. 18

E.2. 평가 범주

  • 평가 사용 사례는 집중 주제, 실무자 대상 기술, 실용적 응용, NLP 실무자에게서 수집한 새로운 시나리오 21개를 포괄한다.주제 집합은 BIG-bench Hard와 MMLU의 과업 및 주제 58개를 사용한다. 기술 집합과 응용 집합은 각각 사용 사례 50개를 포함하며, 20개 벤치마크의 약 67k개 예제 인덱스에서 검색한다.출처: §E.2 · pp. 18–19

E.3. 사용 사례 생성 프롬프트

  • 기술 사용 사례 프롬프트는 Claude.ai 대화 1M개 무작위 표본에서 발견된 상위 수준 범주를 바탕으로 폭넓게 전이 가능한 기술 50개를 도출한다.여러 사용 사례 범주에 적용 가능한 원자적 기술을 요청한다.출처: §E.3 · p. 19
  • 응용 집합의 경우 Claude-3.4-Sonnet에 평가 데이터셋의 합성 채팅 기록 19,476개에서 정답 범주를 바탕으로 응용을 생성하되, 너무 많은 과업을 결합한 응용은 피하도록 요청했다.기술은 테스트하거나 벤치마킹할 수 있어야 하며, 서로 구별될 만큼 세분화되어야 한다.출처: §E.3 · pp. 19–20

E.4. 기지 검증 집합 사용 사례 및 대응하는 정답 테스트 집합

  • 기지 검증 집합은 사용 사례와 이에 대응하는 정답 데이터셋으로 지정되며, “bb” 접두사가 붙은 데이터셋은 Big Bench에 포함된다.출처: Table 11 · p. 21, §E.4 · p. 21

E.5. 평가 지표

  • 평가 지표에는 관련성 필터링 전후의 순위 정밀도, intersection@k, recall@k, 모델 순위 상관관계, NDCG@k가 포함된다.NDCG@k는 관련성과 순위를 고려하고, 모델 순위 상관관계는 정답 집합과 검색 집합에서의 순위를 비교한다.출처: §E.5 · p. 21

E.6. 평가 프롬프트

  • Prec sys@k는 검색된 예제가 실무자의 구체적인 의도에 유용한지 평가하며, 주석자는 이를 더 폭넓은 관련성과 구분하는 데 동의한다.저자들은 대부분의 비교에서 Prec sys@k를 사용한다. 이 지표가 실무자가 최대화하고자 할 실용적으로 유용한 정도를 반영하기 때문이다.출처: §E.6 · p. 22

F.1. 동점 처리: 주제 집합의 검색 집합과 정답 테스트 집합에서 모델 성능 간 상관관계 계산

  • 검색 집합과 정답 집합에서의 모델 성능은 높은 상관관계를 보이며, Example Synthesis 앵커 방법에서 가장 높다.비교에는 BBH 및 MMLU 테스트 집합 58개에서 모델 8개를 사용하며, bottom-k 및 무작위 벤치마크 슬라이스를 상관관계 기준선으로 삼는다.출처: §F.1 · pp. 22–23, Figure 5 · p. 23

F.2. 동점 처리: 응용 집합과 기술 집합의 근사 정답 집합과의 중첩 추정

  • 테스트 사례 검색은 세 사용 사례 집합 모두에서 일관되게 더 높은 intersection@k를 보이며, Kcommon을 넘는 비교는 쿼리의 90% 미만만 반영하므로 신중하게 해석해야 한다.이 방법은 k = 80에서 반환된 관련 예제의 합집합으로 근사 정답 집합을 추정한다. Figure 6은 공통 영역과 지지도가 낮은 꼬리 부분을 표시한다.출처: §F.2 · p. 23

F.3. K 증가에 따른 BENCHBROWSER의 정밀도

Example Synthesis는 검색 깊이가 증가해도 주제와 기술에 대한 정밀도를 비교적 안정적으로 유지하지만, 응용 분야에서는 더 어려움을 보인다. 평가자 비교는 전체 검색 순위가 안정적임을 뒷받침하며, 데모에서는 210건의 요청에 대한 지연 시간을 보고한다.

F.3. K 증가에 따른 BENCHBROWSER의 정밀도

  • 주제와 기술의 경우 k가 증가해도 Example Synthesis의 정밀도는 비교적 안정적으로 유지되지만, 응용 분야에서는 정밀도가 더 큰 폭으로 하락한다.응용 분야는 모든 방법에서 성능이 낮았으며, 이는 맥락 의존성이 큰 사용 사례의 예시를 검색하는 어려움을 반영한다. 이 집합에서는 Original이 가장 경쟁력 있는 방법이 된다.출처: §F.3 · pp. 23–24

G. 다른 자동 평가자를 이용한 자동 평가자 보정

  • 두 자동 평가자는 관련성에 따라 항목의 순위를 비슷하게 매기지만, GPT-5-mini는 Gemini-2.5-flash-lite(≈49%)보다 더 많은 항목에 RELEVANT 라벨(≈57%)을 부여한다.두 평가자의 Spearman 상관은 일관되게 양수이며 통계적으로 유의하다. 이는 평가자를 바꾸어도 전체 검색 결과를 안정적으로 비교할 수 있음을 뒷받침한다.출처: G. Automatic Judge Calibration with… · p. 25

H.1. 호스팅 인프라

  • 서비스는 4 GiB RAM과 1 vCPU를 갖춘 Cloud Run에서 실행되며, 최소 인스턴스 수가 0이므로 요청 시 콜드 스타트 오버헤드가 발생할 수 있다.임베딩 생성은 DeepInfra에 위탁하며, 보고된 종단 간 지연 시간에는 외부 API 호출이 포함된다.출처: §H.1 · p. 25

H.2. 지연 시간 프로파일링

  • 데모의 210건 요청에서 평균 종단 간 지연 시간은 5.28 ± 1.48 s였고, p99 지연 시간은 8.95 s였으며 실패는 없었다.테스트 사례 생성에는 1.67 s (31.7%), 임베딩 생성에는 0.99 s (18.8%), 샘플 채점에는 0.59 s (11.2%)가 걸렸고, 2.02 s (38%)는 원인이 밝혀지지 않은 오버헤드였다.출처: §H.2 · pp. 25–26, Figure 9 · p. 26

I. BENCHBROWSER의 사람 평가

  • 사람 평가에는 NLP 프로젝트 경험이 있는 미국 거주 성인 영어 능통자 주석자 10명이 참여했다.참여 시간은 약 1시간이었으며, DoorDash 음식 주문에 최대 $20 USD를 보상으로 제공했다.출처: §I · p. 26

I.1. 인간–자동 판정 불일치 상세 분석

불일치 분석 결과, 대부분의 라벨 차이는 Relevant와 Partially Relevant의 경계에서 나타나며, 어휘 기반 BM25 검사에서도 내용 타당도 추세가 재현된다. 수렴 타당도의 경우, 검색으로 유도된 순위 차이는 골드 세트 내에서 측정된 불안정성보다 큰 경우가 많다.

I.1. 인간–자동 판정 불일치 상세 분석

  • 인간–자동 및 인간 간 불일치의 대부분은 Relevant와 Partially Relevant 라벨 사이에서 발생하며, Relevant와 Irrelevant 사이에서 발생하지는 않는다.예를 들어 감정적 지원을 감지하는 데 감성 분류만으로 충분한지를 두고, 주석자는 타당하지만 서로 다른 해석을 내릴 수 있다.출처: §I.1 · p. 26, Table 13 · p. 27

J. 내용 타당도에 관한 추가 세부 사항

  • 어휘 기반 BM25 기준선은 정성적인 내용 타당도 추세를 재현하며, 관련 사례 수에서 관찰된 변이가 의미 검색의 산물이 아님을 보여준다.결과는 일부 사용 사례의 세부 측면이 지배적인 측면에 비해 충분히 다뤄지지 않는다는 결론을 뒷받침한다.출처: J. Additional Details for Content… · pp. 27–28, Figure 11 · p. 28

J.1. 변형별 관련 사례 수의 편차를 보이는 사용 사례 예시

  • 사용 사례 전반에서 관련 사례 수는 세부 측면에 따라 크게 달라질 수 있으며, 일부 변형은 충분히 다뤄지는 반면 다른 변형은 거의 다뤄지지 않는다.사례에는 도메인, 맥락, 플랫폼, 스타일, 출력 형식, 프로그래밍 언어 등의 세부 측면이 포함된다.출처: §J.1 · pp. 28–29

K. 수렴 타당도에 관한 추가 세부 사항

  • 수렴 타당도 평가를 위해 저자들은 벤치마크별 성능 지표를 사용하고, 인간 주석을 위해 사용 사례마다 정밀도가 높은 프롬프트 하나를 선택한다.보고된 모델 성능 추정치는 샘플별 점수를 집계하며, 지표는 벤치마크에 따라 정확도, 승률, 사용자 지정 프로토콜 등을 포함한다.출처: K. Additional Details for Convergent… · p. 29, Table 14 · p. 30

K.1. Kendall’s Tau 보정

  • 순위 비교에서는 검색 순위와 골드 순위를 동일한 평가 예산에서 비교하고, 샘플링에 따른 순위 안정성을 측정하기 위해 골드 세트 대조군을 사용한다.이 방법은 전체 골드 세트 순위와 부분집합 순위를 비교하는 τret와 τgold, 그리고 독립적인 골드 부분집합을 비교하는 τsanity를 비교한다.출처: §K.1 · p. 30
  • 과제 전반에서 τret는 τgold 및 τsanity보다 훨씬 낮은 경우가 많고, 때로는 0에 가깝거나 음수이지만, 검색된 세트 크기에서 골드 세트 내 순위는 비교적 안정적이다.저자들은 낮은 수렴 타당도의 원인으로 서로 다른 조작적 정의와 평가 기준 불일치를 제시한다.출처: §K.1 · p. 30

L. 한계

근거의 일반화 가능성에는 한계가 있다. 인간 평가는 제한된 사용 사례와 주석자를 대상으로 하며, facet 분석은 검증되지 않은 LLM 생성 facet에 의존하고, 진단은 색인된 항목과 실행 가능한 모델 평가로 한정된다.

L. 한계

  • 인간 평가의 규모와 다양성이 제한되어 있어, 정밀도와 포괄성 추정치는 평가된 사용 사례를 넘어 일반화되지 않을 수 있다.주석 비용을 관리하기 위해 사용 사례와 주석자의 다양성을 제한하면서 관련성 판단 4,200건을 수집했다.출처: L. Limitations · p. 30
  • 내용 타당도의 facet은 LLM이 생성하며 주석자가 도출하거나 검증하지 않으므로, 이 분석은 격차를 점검 대상으로 표시하기 위한 것이지 형평한 facet coverage를 규정하려는 것이 아니다.실행 가능한 주장을 하려면 사람의 개입을 통한 facet 도출과 검색된 예시의 관련성 검토가 필요하다.출처: L. Limitations · p. 30
  • 진단은 색인된 벤치마크 항목과 평가된 모델로 한정된다. 벤치마크 모음과 모델 범위를 확대하는 데 자원이 많이 들기 때문이다.일부 지표는 상용 모델의 추론을 필요로 하므로, 평가 가능한 모델의 범위가 더욱 제한된다.출처: L. Limitations · p. 30
Loading 2603.18019v2…