REFLEX with Jev for Efficient Selective Control in LLM Agents

1 서론

• LLM 에이전트는 거의 모든 단계에서 생성 모델을 사용하는 경우가 많지만, 많은 단계에서는 고정된 집합에서 하나를 고르는 일만 필요하다.이 설계는 유연하지만, 서로 다른 유형의 연산을 같은 모델에 맡긴다.출처: §1 · p. 1
• 논문은 특화된 의사결정 모델이 과제 성공률을 낮추지 않으면서 제한된 선택을 처리할 수 있는지, 그리고 저비용 생성형 캐스케이드보다 언제 나은지를 묻는다.이는 에이전트 궤적 내 개별 의사결정에 관한 질문이다.출처: §1 · p. 1
• REFLEX는 확신도가 높은 제한된 선택에 Jev를 사용하고, 확신도가 낮은 상태나 생성이 필요한 경우에는 강력한 LLM에 맡긴다.Jev는 제한된 선택과 확신도 점수를 반환해 에이전트 궤적 내 제한된 제어와 생성형 추론을 분리한다.출처: §1 · p. 1
• 고정된 100개 과제 벤치마크에서 강력한 모델만 사용하는 에이전트보다 강력한 모델 호출을 72.7% 줄이면서 성공률 95%를 달성했다.Qwen3.8-Max, Kimi K3, DeepSeek-V4-Pro를 fallback으로 사용했을 때 호출은 66%에서 72%까지 감소했고, 성공률은 2포인트 비열등성 한계 내에서 유지됐다.출처: §1 · pp. 1–2
• 외부 BFCL 과제에서 함수 선택 정확도는 98.4%지만, 함수를 호출할지 여부를 판단하는 정확도는 52.0%에 불과하다.더 어려운 질문은 에이전트가 행동에 필요한 권한이나 정보를 충분히 갖췄는지 여부인 경우가 많다. 도구 선택만 평가하면 제어 신뢰성의 차이를 놓칠 수 있다.출처: §1 · pp. 1–2
• 일반적인 라우팅의 정확도가 이미 높은 경우, 저비용 LLM 캐스케이드의 경쟁력은 여전히 유효하다.외부 τ-style 평가에서 강력한 모델만 사용하는 에이전트 대비 비용은 3.7배 감소했으며, 성공률 차이에 대해서는 통계적으로 결론을 내리지 못했다.출처: §1 · p. 2

비용 고려 LLM 라우팅

• 비용을 고려한 라우팅 방법은 각 질의에 사용할 모델을 선택하지만, REFLEX는 하나의 에이전트 궤적 안에서 제한된 제어와 생성적 추론을 번갈아 수행한다.인용된 라우팅 연구에는 FrugalGPT, RouteLLM, RouterBench, LLMRouterBench가 포함된다. 단순 라우팅 기준선보다 일관되게 우수한 성능을 내기는 여전히 어렵다.출처: §2 · p. 2

도구 사용 에이전트와 평가

• 도구 사용 벤치마크는 함수 선택, 실행, 관련성, 다중 턴 상호작용을 평가하며, 이 논문은 난이도의 원인을 살펴보기 위해 BFCL과 τ를 사용한다.BFCL은 일반적인 도구 선택이 성능을 제한하는지 평가하고, τ는 선택적 제어가 전체 궤적을 개선하는지 평가한다.출처: §2 · p. 2

신뢰도와 선택적 행동

• 선택적 예측은 포괄률과 위험 사이의 균형을 맞추며, REFLEX는 신뢰도가 높은 제한적 결정을 실행하고 신뢰도가 낮은 상태는 위임하는 데 신뢰도를 사용한다.논문은 보정 및 거부 연구와의 연관성을 설명하면서 위험-포괄률 곡선도 보고한다.출처: §2 · p. 2

3.1 선택적 의사결정 문제로서의 에이전트 제어

• REFLEX는 제약된 제어와 개방형 생성을 분리해, 유형이 지정된 의사결정에 필요한 강한 모델 호출을 줄이면서 강한 LLM을 대체 경로로 유지한다.확신도가 높은 실행 가능 의사결정은 직접 실행하고, 확신도가 낮거나 실행할 수 없는 상태는 대체 경로로 넘긴다.출처: §3.1 · p. 2, Figure 1 · p. 3

3.2 의사결정 헤드와 실행 의미

• 제어는 제한된 대안 중 하나를 선택하고, 인자 합성은 구조화된 값을 제공하며, 생성이나 추론은 자유 형식 텍스트와 개방형 정책 질문을 처리한다.외부 다중 턴 설정에서는 저비용 생성 실행기가 제어 결정 이후 인자와 텍스트를 제공하고, 강한 모델이 최종 대체 경로 역할을 한다.출처: §3.2 · p. 3
• REFLEX는 제어를 대상으로 하며, 평가에서는 도구 선택 오류, 인자 오류, 성급한 종료 오류, 정책 오류를 구분한다.또한 추가 검색처럼 복구 가능한 잘못된 결정과 되돌릴 수 없는 쓰기처럼 안전하지 않은 행동 또는 종료 실패를 구별한다.출처: §3.2 · p. 3
• 평가에서는 에피소드당 비용, 성공 에피소드당 비용, 성공 과제당 강한 모델 호출 수를 보고해 조기 실패로 인한 겉보기 비용 절감을 보상하지 않도록 한다.위험-커버리지도 동일한 커버리지에서 무작위 상향 전달과 비교한다.출처: §3.2 · p. 3
• 자체 상향 전달을 수행하는 저비용 생성 모델이 핵심 기준선이다. REFLEX는 유형화된 신호가 더 효율적이거나 안정적으로 처리할 수 있는 부분집합을 식별할 때만 유용하다.이 비교는 특수화된 의사결정 계층이 캐스케이드보다 뛰어날 것이라고 전제하지 않는다.출처: §3.2 · p. 3

실험 설정

• 계열 간 검증에서는 Jev, 임계값, 도구, 평가기를 고정한 채 강한 모델 폴백을 Kimi K3 또는 DeepSeek-V4-Pro로 바꾼다.Qwen3.8-Flash와 Qwen3.8-Max는 각각 기본 소형 생성 모델과 강한 생성 모델로 사용하며, Kimi와 DeepSeek에는 모든 조건에서 동일한 고정 고강도 추론 설정을 적용한다.출처: §4 · pp. 3–4
• 고정된 REFLEX-Sim v1.2.0 테스트 세트는 직접 행동, 도구 선택, 워크플로, 정책에 따른 행동, 모호한 과제를 아우르는 100개의 보류 과제로 구성된다.성공 여부는 정확한 기준 궤적이 아니라 종료 상태 단정과 정책 제약을 기준으로 판정하며, 주요 실행에서 하네스 오류는 없었다.출처: §4 · p. 4
• 신뢰구간은 쌍체 클러스터 부트스트랩 재표집으로 계산하고, 쌍체 이진 에피소드 성공에는 McNemar 검정과 사전 등록된 RF-5C 대비를 사용한다.API 비용은 기록된 토큰 내역을 날짜와 지역이 명시된 제공업체 가격 스냅샷으로 다시 계산하며, τ 비교에서는 시뮬레이터 비용을 벤치마크 오버헤드로 취급한다.출처: §4 · p. 4
• 의사결정 복잡도 개입에서는 60개 시나리오 계열에 걸쳐 행동 집합 크기 K ∈ {10, 25, 50}와 네 가지 모호성 수준을 교차시켜 총 1,440건의 의사결정을 산출한다.다른 명시된 요인은 고정한 채 정보 탐색 경쟁자를 되돌릴 수 없는 약속 경쟁자로 대체하는 240건의 대응 개입도 수행한다.출처: §4 · p. 4
• 외부 평가는 BFCL 의사결정과 60개 쌍체 과제, 다섯 개 실험군에 걸친 300개 에피소드의 τ 방식 보류 다중 턴 검증으로 구성된다.τ 방식 평가는 리더보드 제출이 아닌 외부 검증으로 취급하며, 기본 결과 지표로 네이티브 종료 상태 보상을 사용한다.출처: §4 · p. 4

5.1 REFLEX는 성공과 계산량 간의 균형을 개선한다

• τ = 0.5에서 R1은 작업당 강한 모델 호출 1.12회로 성공률 95%를 달성했고, B0는 성공률 88%에 호출 4.10회로, 호출을 72.7% 줄였다.R1은 τ = 0.9와 0.95에서 B0와 같은 성공률을 달성하면서 각각 호출을 46.8%와 43.9% 줄였다.출처: §5.1 · pp. 4–5, Figure 2 · p. 5, Table 1 · p. 5
• τ = 0.5에서 escalation이 없었던 65개 에피소드는 모두 성공했고, 자율 의사결정 251건 중 250건이 유효했다. 대체율은 도구 선택(99%)과 완료(77%)에서 가장 높았다.보고된 AURC는 0.019로, 동일한 coverage에서 무작위 escalation을 적용했을 때의 0.145보다 낮았다.출처: §5.1 · p. 5

5.2 신뢰성은 의사결정 구조에 달려 있다

• K가 10에서 50으로 증가할 때 RF-5C 정확도는 6.7 percentage points 하락하고, A0에서 A3으로 바뀔 때는 5.6 points 하락한다. 이러한 효과는 authorization 또는 정보 관련 의사결정에 집중된다.Embedding similarity는 절차적 거리와 일관되게 연동되지 않았으며, cardinality 추정치에 대한 leave-risk-out 민감도 구간은 0을 포함했다.출처: Figure 3 · p. 5, §5.2 · pp. 5–6

5.3 경쟁 방식의 유형에 따라 오류의 결과가 달라진다

• write와 read 경쟁 방식 간 전체 정확도 차이는 통계적으로 판별되지 않았다(0.833 대 0.842). 그러나 write는 되돌릴 수 없는 커밋 오류가 더 많았고(10.0% 대 1.7%), read는 deferral이 더 많았다(5.8% 대 12.5%).RF-5C에서 관찰된 deferral은 오류의 11.5%로, 하한에 해당하며 탐색적 분석에서 제시한 일반적인 deferral 주장을 수정한다.출처: Figure 4 · p. 6, §5.3 · p. 6

5.4 외부 benchmark는 이점이 제한되는 경우를 보여준다

• BFCL에서 함수 선택 정확도는 98.4%인 반면 호출 여부 판단 정확도는 52.0%였다. τ 2-bench에서 REFLEX의 비용은 B0보다 3.7× 낮았지만, 저비용 cascade도 경쟁력을 유지했다.τ 2-bench에서 REFLEX와 B0 간 성공률 차이는 통계적으로 판별되지 않았다. 어느 비교도 성공률이 같음을 입증하지는 않는다.출처: §5.4 · pp. 6–7, Figure 5 · p. 7

5.5 강한 모델 호출 감소는 fallback 계열 전반에서 유지된다

• fallback 계열에 따라 강한 모델 호출은 66.1%에서 71.9% 감소했다. confidence-bound 비열등성 기준은 Qwen과 DeepSeek에서는 충족했으나 Kimi에서는 충족하지 못했으며, 강한 모델 토큰 사용량은 50.6%에서 64.1% 감소했다.Kimi의 강한 모델 단독 조건은 작업의 100%에서 성공한 반면 REFLEX는 98%에서 성공했다. 사전 등록된 점추정치 규칙은 정식 비열등성 검정이 아니었다.출처: §5.5 · pp. 7–8, Figure 6 · p. 8

5.6 게이트는 무엇을 식별하는가?

• 고정 게이트는 폴백 계열 전반에서 동일한 66개 과제 자율 처리 하위집합을 선택하며, 66개 모두 성공한다. 상위 모델로 에스컬레이션된 에피소드에서도 Jev는 고성능 모델 호출 없이 단계의 21.3%에서 26.8%까지 처리한다.트레이스 감사에서는 감사 대상 실패 사례 중 잘못된 자율 결정이 발견되지 않았다.출처: §5.6 · p. 8, §5.5 · p. 8, Table 5 · p. 9

• 안정적인 66% 하위 집합은 세 가지 fallback 계열 모두에서 실패 없이 자율적으로 해결되며, fallback의 전체 추론 동작을 재현하지 않고도 계산량을 줄인다.출처: §6 · p. 9
• 도구 선택 성능이 상한에 가까울 때 BFCL과 τ 2-bench는 라우터 개선 여지가 제한적임을 보여주지만, 저비용 자기 에스컬레이션 캐스케이드도 여전히 경쟁력 있다.출처: §6 · p. 9
• 권한 경계에 가까우면 후보 집합이 커지고 구조적 모호성이 높아질수록 신뢰도가 낮아진다. 반면 거의 유효한 경쟁 후보를 바꾸면 정확도에는 유의한 변화가 없으면서 확정과 보류 사이의 오류가 달라진다.출처: §6 · p. 9
• 특화된 결정 계층은 궤적에 반복되는 제한적 선택이 있고, 신뢰도로 직접 실행과 에스컬레이션을 구분할 수 있으며, 벤치마크가 제어 불확실성을 반영하는 경우에 가장 적합하다.출처: §6 · p. 9
• 에이전트의 전체 성공률만으로는 실패 원인이 제어, 인자, 후속 추론 중 어디에 있는지 알기 어려우며, 라우팅 성능이 거의 완벽해도 새로운 계층의 가치를 입증할 수 없다.출처: §6 · p. 10
• 에이전트 벤치마크에는 정답 행동과 그 행동이 현재 유효한 이유를 주석으로 달아야 한다. 여기에는 필요한 근거, 권한, 가역성, 추가 정보가 필요한지 여부가 포함된다.출처: §6 · p. 10

7 Conclusion

• REFLEX reduces strong-model calls by roughly two-thirds across Qwen, Kimi, and DeepSeek fallbacks, with observed success differences ranging from a two-point loss to a four-point gain.출처: §7 · p. 10

7 결론

• 성공률 저하는 통계적으로 유의하지 않았지만, 이번 실행에서 신뢰구간 기반 비열등성 기준을 충족한 것은 Qwen과 DeepSeek뿐이다.출처: §7 · p. 10
• 통제 개입 결과, 일반적인 도구 선택이 아니라 권한에 따라 달라지는 확정 결정이 신뢰성의 주요 제약 요인으로 확인됐다.출처: §7 · p. 10

한계

• 이 연구는 독점형 typed decision model 하나만 사용하므로, 다른 비생성형 의사결정 모델도 유사하게 작동하는지는 입증하지 못한다.출처: Limitations · p. 10
• RF5C의 행동 집합 및 모호성 효과는 권한 및 위험 계열에 집중되며, τ 평가는 다회 시행 리더보드 평가가 아니라 300개 에피소드로 구성된 홀드아웃 검증이다.출처: Limitations · p. 10

A Hierarchical Routing Ablation

• The ablation tested selecting a tool family before selecting a tool within it, reducing second-stage alternatives while adding a family-selection decision.출처: A Hierarchical Routing Ablation · p. 11

계층적 라우팅 제거 실험

• 초기 예비 비교에서는 도구군 설명 누락, 불완전한 후보 설명, 후보 누락이 혼재해 라우팅 구조를 명확히 비교할 수 없었다.출처: A Hierarchical Routing Ablation · p. 11

A Hierarchical Routing Ablation

• After implementation repairs, hierarchical accuracy improved by 5 to 10 percentage points relative to the broken implementation, but this does not establish an advantage over corrected flat routing.출처: A Hierarchical Routing Ablation · p. 11

계층적 라우팅 제거 실험

• 수정된 평면 라우팅은 잘 정의된 프로브에서 이미 거의 최고 성능에 도달했고, 결정을 분리하면 도구군 배정이 모호해질 가능성이 있어 계층적 라우팅은 부정적 제거 실험으로 다뤘다.출처: A Hierarchical Routing Ablation · p. 11

B.1 선택적 신뢰성과 신뢰도

• τ = 0.5에서 자율 의사결정 251건 중 250건이 유효했고, 에스컬레이션 없이 진행된 에피소드 65건은 모두 성공했다.유효하지 않았던 단 한 건의 의사결정은 복구 가능했다. 임계값을 높이면 의사결정 커버리지가 0.691에서 0.439로 감소했다.출처: §B.1 · pp. 11–12, Table S1 · p. 13

B.2 RF-5C 설계와 통계적 대조

• 행동 집합이 커지고 모호성이 증가할수록 유의한 주변 감소가 나타났지만, 두 요인의 상호작용은 유의하지 않았다.위험이 있는 항목을 제외한 민감도 구간에 0이 포함됐다. 따라서 전체 카디널리티 결과는 패널에 포함된 의사결정 계열에 좌우된다.출처: §B.2 · p. 12, Table S2 · p. 13

B.3 경쟁자 유형에 대한 짝지은 개입

• 읽기 대안에서는 쓰기 대안보다 되돌릴 수 없는 확정 오류가 적고 보류 오류가 많았으며, 정확도 차이는 여전히 판별되지 않았다.개입에서는 정답 행동, 경쟁자 수, 절차적 거리, 의미적 유사성을 고정했다.출처: §B.3 · p. 12, Table S3 · p. 14

B.4 BFCL 함수 선택과 관련성

• BFCL 함수 선택 정확도는 0.984였고, 별도의 관련성 평가 정확도는 0.520이었다.K = 64와 K = 2 사이에서 정확도는 −0.0033 변했다. 오선택 중 주입된 원거리 방해 항목을 선택한 경우는 없었다.출처: §B.4 · p. 12, Table S4 · p. 14

B.5 τ 2-bench의 쌍별 비교

• τ 2-bench에서 REFLEX와 B0 또는 B3 간 보고된 성공률 차이의 구간에는 0이 포함됐다.B0와의 비교에서는 에피소드 비용이 더 낮았다고 별도로 보고할 수 있지만, 성공률 차이는 여전히 불확실하다.출처: §B.5 · p. 13

B.6 모델 계열별 호출, 토큰, 비용

• 강력 모델 호출 감소율은 Qwen에서 71.9%, Kimi에서 71.4%, DeepSeek에서 66.1%였다.강력 모델 토큰 감소율은 각각 58.9%, 64.1%, 50.6%였다. 검증된 비용 감소율은 Qwen에 대해서만 보고됐으며 52.2%였다.출처: §B.6 · p. 13

C.1 최종 분석 전 수정 사항

• 개발 단계 감사에서 평가자와 태스크 입력 문제가 확인됐으며, 평가자 변경, 태스크 수정, 에이전트 입력 보완으로 해결했다.오프라인 채점 수정에는 모델 출력을 다시 생성하는 대신 기록된 궤적을 사용했다.출처: §C.1 · pp. 13–14

C.2 REFLEX-Sim의 쌍별 결과

• REFLEX는 태스크 95개에서 성공했고 B0는 88개에서 성공했다. 불일치 태스크 9개에 대한 쌍별 검정 결과는 p = 0.0391이다.REFLEX는 B0가 실패한 태스크 8개에서 성공했고, B0가 성공한 태스크 1개에서는 실패했다.출처: §C.2 · p. 14

C.3 RF-5C 오류 집중과 탐색적 유예

• 208건의 RF-5C 오류 중 192건은 위험 판단 또는 명확화 오류였으며, 720건의 결정에서 검색, 일반적인 도구 선택, 워크플로 오류는 없었다.탐색적 RF-5 연구에서는 오류 중 유예가 59.8%를 차지한 반면, RF-5C에서는 11.5%—하한—였다. 두 설정은 서로 대응되는 비율 비교가 아니다.출처: §C.3 · pp. 14–15

C.4 절차적 거리와 임베딩 유사도

• 임베딩 유사도는 절차적 타당성의 순위를 일관되게 반영하지 않았다. 먼 방해 대안의 22.2%는 근접 경쟁 대안을 통합한 중앙 유사도 0.322를 웃돌았다.두 가지 변경을 포함한 경쟁 대안의 중앙 유사도는 절차적 거리가 더 컸음에도 한 가지 변경을 포함한 경쟁 대안보다 높았다.출처: §C.4 · p. 15

C.5 τ 2-bench의 실패 범주

• τ 2-bench 에피소드 300건 중 255건은 성공하고 45건은 실패했다. 감사 결과 제어 선택 오류는 0건, 인자 생성 오류도 0건이었다.실패 중 41건은 최종 데이터베이스 상태 불일치였고 4건은 통신 실패였다. 이 감사만으로 다른 작업이나 배포 환경에서 라우팅이 영향을 미칠 수 없다고 단정할 수는 없다.출처: §C.5 · p. 15

C.6 비열등성과 에스컬레이션된 에피소드 내 결정

• Qwen과 DeepSeek는 −0.02에서 하한 95% 기준의 비열등성 조건을 충족하지만, Kimi는 충족하지 않는다.세 모델 계열 모두 사전 등록된 점 추정치 규칙은 충족하지만, 이 규칙은 신뢰구간 하한 검정과 동등하지 않다.출처: §C.6 · p. 15
• 강한 모델을 호출하지 않고 Jev가 처리한 단계는 Qwen 에피소드에서 26.2%, Kimi 에피소드에서 26.8%, DeepSeek 에피소드에서 21.3%다.이 측정치는 한 번 이상 에스컬레이션된 에피소드 내의 값이며, 자율 작업 처리 범위나 GMR을 뜻하지 않는다.출처: §C.6 · pp. 15–16
• REFLEX에서 실패한 21개 에피소드 중 어느 것도 잘못된 자율 결정을 포함하지 않았다. 추적 기록 감사에서는 관찰된 실패가 에스컬레이션 이후의 대체 처리 과정에서 발생한 것으로 판단했다.이 판단은 해당 실행에만 적용되며, 자율 결정에 오류가 전혀 없다거나 에스컬레이션이 항상 과제를 해결한다는 뜻은 아니다.출처: §C.6 · p. 16

C.7 반복 실행 간 변동

• REFLEX는 두 실행 모두에서 성공률 0.95를 유지했지만, 성공 네 건을 잃고 네 건을 얻었다. B0 비교는 0.88에서 0.91로 바뀌었다.두 실행에서는 Jev 재시도 설정이 달랐으며, 두 번의 실행만으로 일반적인 실행 간 변동이나 고정된 불확실성 범위를 확립할 수 없다.출처: §C.7 · p. 16

D 확장 비용 결과 및 주장 등록부

• τ = 0.5에서 REFLEX의 작업당 비용은 $0.00763, 성공 작업당 비용은 $0.00803으로, B0의 $0.01508 및 $0.01713보다 낮다.성공 작업당 강한 모델 호출 수는 4.66에서 1.18로 감소한다.출처: D Extended Cost Results and Claim… · pp. 16–17
• REFLEX-Sim 비용 추정에는 외부 사용자 시뮬레이터 오버헤드가 제외되며, 동결된 출력에는 조건별 성공률 구간이 없었다.비용은 고정된 가격표를 사용해 동결된 토큰 수로부터 재구성했으며, 누락된 구간을 대응 차이 구간으로 대체하지 않았다.출처: D Extended Cost Results and Claim… · p. 17, Table S14 · p. 18
• 시험한 주장 12개 중 4개는 철회되었으며, 여기에는 일반적인 유보 경향과 저비용 자기 단계 상승 기준선보다 우월하다는 주장이 포함된다.주장을 철회했다는 것은 해당 주장을 뒷받침하는 증거가 없었다는 뜻이지, 거짓으로 입증되었다는 뜻은 아니다.출처: D Extended Cost Results and Claim… · p. 17, Table S15 · p. 19

D Extended Cost Results and Claim Register

• The repeated-execution comparison found a three-point B0 success change, while the same-condition REFLEX runs retained 0.95 success but changed which tasks succeeded.The two runs do not estimate general run-to-run variance or justify a fixed uncertainty band.출처: Table S13 · p. 18