AI 요약 · 영어에서 AI 번역
StartLux-Decision: AutoThink Decision Models with Reinforcement Learning for Calibrated Deliberative Decisions
Xialie Zhuang, Zunhai Su, Jia Pan, Ngai Wong, Guanhua Chen, Chuan-Wei Kuo
TL;DR
기존 오픈웨이트 의사결정 모델은 명시적 추론 없이 단일 패스 예측에 대체로 의존하지만, 계산적 의사결정에는 더 많은 숙고가 필요할 수 있다. StartLux-Decision은 효율적인 Instant 모델과 신뢰도 기반 AutoThink 추론을 결합한다. Decision Index 0.3 공개 하위 집합에서 Instant 모델은 평가된 동급 규모의 오픈웨이트 의사결정 모델 중 가장 강력한 모델보다 7.4–16.9점 높은 성능을 보인다.
문제
기존 오픈웨이트 의사결정 모델은 명시적 추론 없이 단일 패스 예측에 대체로 의존하지만, 의사결정 확률은 후속 시스템이 행동하거나 더 강력한 모델을 호출하거나 사람의 검토를 요청하도록 안내할 수 있다.
출처: §1 · p. 4방법
StartLux-Decision은 단일 패스 Instant 모델과 신뢰도 기반 AutoThink 추론을 결합하고, 이를 3단계로 학습한다. RLCD2는 확률적 의사결정 품질의 향상을 보상하고 긴 추론 과정에는 완만한 페널티를 부과한다.
출처: §1 · p. 4결과
Decision Index 0.3 공개 하위 집합에서 Instant 모델은 평가된 동급 규모의 오픈웨이트 의사결정 모델 중 가장 강력한 모델보다 7.4–16.9점 높은 성능을 보인다.
출처: §1 · p. 4핵심 요점 및 한계
이 모델군은 통합 확률 인터페이스를 통해 효율적인 단일 패스 예측과 적응형 추론을 결합하며, vLLM, llama.cpp, MLX를 이용한 배포를 지원한다.
출처: §7 · p. 26적응형 추론은 라우팅된 의사결정에서 생성 비용을 추가한다. 기본 임계값에서 4B, 9B, 27B 모델은 각각 Decision Index 질문의 약 33%, 29%, 28%에서 추론을 수행한다.
출처: §5.2 · p. 20
Abstract
from arXiv · showhide
We introduce StartLux-Decision, decision models from 0.8B to 27B parameters that combine efficient single-pass prediction with adaptive, confidence-guided reasoning. The Instant models use bidirectional attention in full-attention layers to improve decision accuracy while keeping single-pass inference. The AutoThink models invoke explicit reasoning for uncertain decisions and answer confident cases directly. A three-stage training pipeline establishes shared decision capabilities, specializes the two variants, and equips AutoThink with reasoning through reasoning supervision and reinforcement learning. We introduce Reinforcement Learning for Calibrated Deliberative Decisions (RLCD$^2$), which uses a frozen model and proper scoring rules to reward improvements in decision probability quality and applies a soft penalty to overlong reasoning traces. RLCD$^2$ raises the share of reasoning traces that terminate within the generation limit by up to 48 percentage points and cuts average reasoning length by up to 65%, while largely preserving decision accuracy. On the public subset of Decision Index 0.3, the Instant models outperform the strongest evaluated comparable-scale open-weight decision models by 7.4-16.9 points, and the 27B AutoThink model reaches 73.4. We also introduce DecisionPivot, a programmatically verifiable benchmark of computational decisions built from contrast pairs that differ in a single answer-changing detail. On DecisionPivot, AutoThink outperforms its Instant counterparts by 11.5-18.4 points in pair accuracy and leads among evaluated systems. The models can be run using frameworks such as vLLM and MLX, with quantized versions available to reduce memory usage.Inference code and links to model weights are available at https://github.com/StartLuxLabs/Startlux-Decision .
1. 서론
StartLux-Decision은 공유 확률 인터페이스를 통해 효율적인 단일 패스 예측과 확신도 기반 추론을 결합한다. 또한 이 논문은 후속 선택 정책에서 추론 효율을 높이고 확률을 보정하는 방법을 제안하며, 기존 및 신규 의사결정 벤치마크에서 모델을 평가한다.
동기
- 의사결정 시스템은 자율적으로 행동하거나, 더 강력한 모델을 호출하거나, 사람의 검토로 넘기는 선택을 지원하기 위해 확률 분포를 사용하지만, 단일 패스 모델은 계산량이 많은 의사결정에서 어려움을 겪을 수 있다.이 논문은 산술, 일정 수립, 절차적 검증을 다단계 추론이 필수적일 수 있는 사례로 들며, 의사결정 중심 학습이 신뢰할 수 있는 추론 궤적의 생성과 종료를 저해할 수 있다고 설명한다.출처: §1 · p. 4
모델 설계 및 학습
- AutoThink는 불확실한 의사결정에서 명시적 추론을 수행하고 확신도가 높은 경우에는 바로 답하는 반면, Instant는 정확한 단일 패스 예측을 위해 full-attention 레이어에서 양방향 어텐션을 사용한다.3단계 학습 파이프라인은 공통 의사결정 역량을 구축하고, 두 변형 모델을 특화한 뒤, 추론 지도 학습과 강화학습으로 AutoThink에 추론 기능을 갖춘다. 두 모델은 확률 인터페이스를 공유한다.출처: §1 · p. 4
추론 강화학습
- RLCD2는 생성 길이 제한 내에 종료되는 추론 궤적의 비율을 최대 48 percentage points 높이고 평균 추론 길이를 최대 65% 줄이면서 의사결정 정확도는 대체로 유지한다.고정된 시작 모델의 추론 전후 판독값에서 계산한 proper score 차이를 이용해 의사결정 확률의 품질 변화를 보상하고, 긴 추론 궤적에는 완만한 페널티를 부과한다.출처: §1 · p. 4
벤치마크 결과
- Decision Index 0.3에서 Instant 모델은 평가된 동급 규모의 오픈 웨이트 의사결정 모델 중 가장 강력한 모델을 7.4–16.9 points 앞선다. DecisionPivot에서는 AutoThink가 쌍 정확도에서 Instant 대응 모델보다 11.5–18.4 percentage points 앞선다.4B Instant 모델은 Decision Index 0.3에서 평가된 모든 기준 의사결정 모델을 능가한다. 27B AutoThink 모델은 DecisionPivot에서 86.9%를 기록하며 평가된 기준 시스템을 앞선다. DecisionPivot의 대조 쌍은 답을 바꾸는 세부 사항 하나만 다르다.출처: §1 · p. 4
정책 인지 보정
- 정책 인지 보정은 네 가지 의사결정 파이프라인에 걸친 184개 설정에서 확신도–정확도 격차를 2.7 percentage points 이내로 줄인다.9B 검증기의 경우, 80–90% 확신도로 예측한 응답은 개별적으로는 정확도가 92%지만, 32개 후보 중 점수가 가장 높은 응답을 선택한 뒤에는 정확도가 78%에 그친다.출처: §1 · p. 4
배포 및 공개
- 모델은 vLLM, llama.cpp, MLX를 지원하며, 메모리 요구량을 줄이기 위한 양자화 변형 모델도 제공된다. 저자들은 가중치와 추론 코드를 공개한다.이번 공개는 독립적인 평가와 실제 배포, 후속 연구를 지원하기 위한 것이다.출처: §1 · pp. 4–5
2. 모델 설계 및 학습
StartLux-Decision은 단일 패스 Instant 예측과 confidence-guided AutoThink 추론을 결합하고, 3단계 파이프라인으로 공통 의사결정 역량을 확립하고 두 변형 모델을 특화하며 AutoThink가 효율적으로 추론하도록 학습한다.
2.1 의사결정 형식화 및 확률 판독
- 유형이 지정된 각 의사결정 질문은 명명된 선택지, 이진 선택지 또는 순서형 척도 수준에 대한 확률 분포를 산출하며, 이는 예측값과 신뢰도 추정치로 모두 사용된다.공유 선택지 문자 판독 방식은 예측 헤드를 추가하지 않고 프롬프트의 마지막 위치에서 로짓을 추출한다. 최대 26개 선택지를 지원하며, 더 긴 목록은 처리하기 쉽도록 그룹화한다.출처: §2.1 · p. 5, §2.2 · p. 5
2.2 모델 변형 및 적응형 추론
- DecisionPivot의 핵심 항목 7,800개에서 27B AutoThink는 39%에 직접 답했으며, 추론이 호출된 사례의 정확도를 57%에서 93%로 높였다.신뢰도 게이트는 질문별로 독립 적용된다. 신뢰도가 높은 사례에는 초기 예측을 사용하고, 불확실한 사례에서는 추론을 호출한 뒤 초기 및 추론 후 확률을 결합한다.출처: §2.2 · p. 6, Figure 3 · p. 7
2.3.1 1단계: 전체 파라미터 SFT
- 1단계에서는 Lux-Release를 대상으로 전체 파라미터 지도 미세 조정을 수행해 공통 의사결정 역량을 확립한다.The mixture contains approximately 2.7 million examples for models from 0.8B to 9B parameters and approximately 0.8 million for 27B; soft cross-entropy trains option probabilities, followed by held-out temperature calibration.출처: §2.3.1 · pp. 7–8
2.3.2 2단계: 어댑터 기반 의사결정 학습
- 2단계에서는 Lux-Rounds로 어댑터를 학습해 작업 범위를 넓힌 다음, 이를 1단계 가중치에 병합한다. Instant는 양방향 full-attention 레이어를 사용하고 AutoThink는 인과적 attention을 유지한다.The 1.7-million-example mixture includes benchmark and breadth data, verified API-generated examples, and retained Lux-Release examples; Instant’s modified attention is trained rather than applied only at inference.출처: §2.3.2 · pp. 8–9
- 양방향 attention은 평가된 5개 규모 중 4개에서 DI 0.3 성능을 높였으며, 통제된 비교에서 최대 2.4점 향상됐다.비교에서는 동일한 학습 데이터와 동일한 1단계 체크포인트를 사용했다. linear-attention 레이어는 인과적 구조를 유지했다.출처: Figure 4 · p. 9, §2.3.2 · p. 9
2.3.3 3단계: 추론 감독 학습 및 RL
- 3단계에서는 단일 패스 예측을 유지하면서 인과적 AutoThink 모델에 추론 감독 학습과 RL을 추가한다. RLCD2는 추론으로 인한 확률 개선에 보상을 주고 지나치게 긴 추론 경로에는 완만한 페널티를 부과한다.의사결정 학습을 마친 모델도 추론을 안정적으로 생성하거나 종료하지 못할 수 있다. 감독 학습은 추론 후 정확도를 높이고, RLCD2는 의사결정 정확도를 대체로 유지하면서 효율을 추가로 개선한다.출처: §2.3.3 · p. 9
3. RLCD2: 보정된 숙고적 의사결정을 위한 강화학습
RLCD2는 추론 후 확률적 의사결정 품질의 향상을 보상하고, 추론 trace가 지나치게 길어지는 경우 완만한 페널티를 부과한다. 검증 데이터 정확도를 대체로 유지하면서 추론 효율을 높이며, 그에 따른 절충은 모델 규모와 추론 예산에 따라 달라진다.
3.1 점수화의 토대와 보상 공식
- RLCD2는 추론 후 의사결정 가중 proper score 품질의 변화를 보상하며, 이를 동결 모델로 측정하고 추론 길이 예산을 초과하는 부분에는 완만한 페널티를 부과한다.길이 페널티는 강제 절단 없이 과도한 연산을 억제하며, λ = 10^-4가 예산 초과 토큰당 페널티를 조절한다. 가중 함수는 균등 밀도와 Beta(8, 2) 밀도를 혼합해 고신뢰도 의사결정을 강조하면서 proper score를 유지한다.출처: §3 · p. 10, §3.1 · p. 10
3.2 정책 최적화와 학습
- 학습에서는 샘플링한 추론 trace에 그룹 상대 정책 그래디언트를 적용하고, 초기 선택지 확률의 최댓값이 0.9 미만인 질문으로 업데이트를 제한한다.추론 지도 학습을 거친 모델의 동결 사본이 두 확률 판독값을 모두 제공한다. 8개 이하 토큰의 trace는 빈 trace로 간주해 보상 0을 받는다. 보상은 각 프롬프트에서 샘플링한 그룹 내에서 중심화하고, 어드밴티지는 [-5, 5]로 클리핑하며 그룹 내 표준편차로 정규화하지 않는다.출처: §3.2 · p. 11
3.3 추론과 의사결정 품질에 미치는 영향
- 9B에서는 종료율이 45.9%에서 93.9%로 상승하고 평균 trace 길이는 2,494토큰에서 868토큰으로 줄어 65% 감소한다.4B에서는 종료율이 89.5%에서 99.3%로 상승하고 평균 trace 길이는 37% 감소하며, 90백분위수는 4,096토큰에서 1,358토큰으로 낮아진다. 27B는 이미 trace의 97.2%가 종료되며 평균 길이는 313토큰이다. 검증 데이터의 기본 응답 정확도는 대체로 유지된다. 4B에서 추론 후 원시 보정 오차는 9.0에서 8.1퍼센트포인트로 낮아지고, 온도 스케일링 적용 오차는 3.1포인트와 3.2포인트다. DecisionPivot에서 9B의 쌍 정확도는 53.3%에서 59.9%로 상승한다.출처: Table 2 · p. 11, §3.3 · p. 12, Figure 5 · p. 12
3.4 보상 설계와 추론 예산
- 4B에서 DecisionPivot 쌍 정확도는 512토큰 예산일 때 52.9%, 2,048토큰일 때 59.2%, 3,072토큰일 때 59.9%다.The 3,072-token budget differs from the pre-RL checkpoint by -0.4 points (interval [-1.8, +0.8]); removing the penalty raises pair accuracy to 61.7% but makes traces 40% longer, with about one third failing to terminate. Budgets of 512–3,072 tokens achieve approximately 99% termination, while held-out accuracy changes by at most 0.6 points.출처: §3.4 · p. 12, Table 3 · p. 13
- 4B에서 2,048토큰 예산은 RL 이전 trace가 512토큰 미만인 예시의 DecisionPivot 정확도를 2.5포인트 높이지만, trace가 2,048–4,095토큰인 경우에는 5.9포인트 낮춘다.3,072토큰에서는 해당 장기 trace 그룹의 하락 폭이 4.2포인트다. 9B에서는 이전에 종료되지 않았던 trace에서 정확도가 7.3포인트 향상되며, 이 trace는 예시의 54%를 차지한다. 반면 27B에서는 통계적으로 명확한 변화가 나타나지 않는다. 공개 모델은 3,072토큰 학습 예산을 사용한다. 통제 비교 결과, 길이 페널티는 종료를 유도하고 proper score 보상은 정확도만을 보상하는 방식보다 보정 개선에 기여한다.출처: §3.4 · pp. 13–14, Figure 6 · p. 13
4. 실험 평가
Decision Index와 DecisionPivot에서 Instant 모델은 DI 0.3의 비슷한 규모 비교 모델을 앞서고, AutoThink는 특히 27B에서 대조 쌍 정확도를 높인다. StartLux-Decision 모델은 평가한 비교 모델보다 보정 오차도 낮다.
4.1 실험 설정
- DI 공개 하위 집합 점수는 모델 선택 및 개발 결과인 반면, DecisionPivot은 데이터, 체크포인트, 구성 선택에 사용되지 않았으며 독립 평가를 제공한다.DI 0.3 공개 하위 집합은 리더보드 점수의 20%를 차지한다. 이 평가는 해당 하위 집합을 다루며, 대부분의 과제는 학습 중 나타난 과제 계열에 속한다.출처: §4.1 · p. 15, §4 · p. 15
4.2 Decision Index
- 지식 및 추론 과제에서 4B와 9B AutoThink는 각각 Instant 대응 모델보다 7.0점과 6.2점 앞서며, 27B Instant는 DI의 다섯 도메인 전체에서 모든 비교 모델을 앞선다.4B와 9B Instant 모델은 다섯 도메인 중 네 도메인에서 선두를 차지한다.출처: §4.2 · pp. 15–16, Figure 8 · p. 16
4.3 DecisionPivot
- DecisionPivot의 핵심 트랙에는 각각 600개 예제가 포함된 생성 과제 계열 13개가 있으며, 대부분은 답을 바꾸는 세부 사항 하나만 다른 대조 쌍이다. 쌍 정확도는 두 답이 모두 맞아야 달성된다.별도로 마련된 재사용 과제 비교 트랙에는 학습에 포함되지 않은 예제 34,104개가 있다.출처: §4.3 · p. 16
- 0.9 신뢰도 임계값에서 27B AutoThink는 DecisionPivot 쌍 정확도 86.9%를 기록해 GLM-5.3 (82.2%)을 포함한 모든 평가 비교 모델을 앞선다.AutoThink는 4B, 9B, 27B에서 각각 Instant보다 18.4점, 12.4점, 11.5점 높다.출처: §4.3 · p. 16, Figure 9 · p. 17
- 필터링, 목표 상태 검증, 일정 충돌 과제에서 4B와 9B AutoThink는 Instant보다 쌍 정확도를 각각 약 51점과 56점, 30점과 44점, 46점과 25점 높인다.단일 패스 예측은 정책 해석, 조항 변경, 의존성 해결 과제에서 여전히 효과적이다.출처: §4.3 · p. 16, Figure 10 · p. 17
4.4 Probability Calibration
- On DecisionPivot, AutoThink calibration errors are 2.4, 3.3, and 5.2 percentage points at 4B, 9B, and 27B, versus 7.3, 6.4, and 5.1 for Instant.Perplexity Decider v1.1, hosted Jev, and Clef have calibration errors of 8.9, 13.8, and 19.3 points, respectively, with systematic overconfidence; 27B AutoThink is the only StartLux-Decision model underconfident on average.출처: Figure 11 · p. 18, §4.4 · p. 18
5. 역량 및 신뢰성 분석
학습 선택, 적응형 추론, 후속 선택이 의사결정 성능과 확률 신뢰도에 미치는 영향을 분석한다. 태스크군 노출, 추론, 정책 인식 보정이 각각 결과를 좌우하며, 보정은 배포된 정책과 평가 분포에 따라 달라진다.
5.1 학습 데이터 및 어텐션 설계의 효과
- 학습 데이터의 이득은 해당 데이터가 포함된 태스크군에 집중된다. Stage 2 데이터를 추가하면 대응하는 DecisionPivot 태스크 18개에서 8.6점 향상되지만, 해당 태스크군에 속하지 않는 태스크에서는 0.3점 향상에 그친다. 양방향 어텐션은 더 좁은 혼합 데이터에 없던 태스크 16개에서 3.0점을 추가로 높인다.관련 학습 태스크군은 생성된 답변 가능 사실 판단에서 4B 정확도를 61.5%에서 75.8%로 높인다. 평가한 데이터 그룹 전반에서 각 데이터의 적용 범위를 벗어난 개선은 뚜렷하지 않다.출처: §5.1 · pp. 18–19
5.2 적응형 추론 및 예측 융합
- AutoThink는 계산 집약적 태스크에서 Instant를 앞선다. 재구성한 GSM8K에서 4B는 정확도 26점, 27B는 13.6점 앞서며, 전체 DI 0.3 점수도 9B와 27B에서 0.5점 높인다.4B에서 AutoThink는 CRUXEval, GPQA Diamond, MMLU-Pro에서도 각각 22점, 10점, 11점 앞선다. 27B에서는 해당 태스크에서 각각 19점, 10점, 9점 앞선다. 기본 임계값에서 9B와 27B는 학습 분포에서 제외한 예시의 정확도를 각각 1.0점과 2.5점 높이며, 예시당 추론 토큰은 596개와 273개를 사용한다. 항상 추론해도 추가 이득은 없다. DecisionPivot에서 9B는 토큰 1,365개를 사용해 쌍 정확도 59.9%를 달성하며, 추론을 사용하지 않으면 22.3%다. 27B는 토큰 304개를 사용해 86.9%를 달성하며, 추론을 사용하지 않으면 48.0%다. RLCD2는 9B 쌍 정확도를 53.3%에서 59.9%로 높이는 동시에 토큰을 40% 줄인다. 4B에서는 쌍 정확도의 변화가 0.5점 미만인 가운데 토큰이 25% 감소한다. Decision Index에서 4B, 9B, 27B는 질문의 약 33%, 29%, 28%에서 추론을 실행하며, 질문당 평균 토큰은 372개, 271개, 110개다. Instant는 자기회귀 생성을 사용하지 않는다.출처: §5.2 · pp. 19–20
- 27B에서 추론 후 확률에 75% 가중치를 주면, 정확도 변화는 작으면서 학습에서 제외한 데이터의 보정 오차가 3.7점에서 1.6점으로 감소한다. 반면 Decision Index에서는 동일 가중치와 비교해 보정 오차가 0.8–2.0점 증가한다.75%–25% 융합 가중치는 학습에서 제외한 데이터의 Brier score를 사용해 선택한다. DecisionPivot에서 9B 쌍 정확도는 동일 가중치 적용 시 56.6%, 추론 후 확률에 75% 가중치를 적용하면 59.9%, 추론 후 확률만 사용하면 61.5%다. 기본 정책에서 4B, 9B, 27B 기본 응답의 보정 오차는 각각 3.7점, 2.2점, 1.6점이다. 9B와 27B 기본 예측의 약 절반은 목표 오차율 5%에서 수용할 수 있지만, 4B에서는 2%다.출처: §5.2 · p. 20, §5.5 · p. 23
5.3 근거 민감도 및 확률 일관성
- 근거를 뒷받침하는 정보를 제거하면 90–97%의 사례에서 해당 답변의 확률이 낮아지고, 평균 감소 폭은 0.29–0.61이다. 반면 관련 없는 섭동은 평균적으로 확률을 0.015 미만으로 변화시킨다.확률 일관성은 대체로 모델 규모가 커질수록 향상된다. 긍정 확률 합이 1에서 벗어나는 정도의 평균은 0.8B Instant의 0.25에서 27B Instant의 0.04로 감소한다. AutoThink는 4B와 27B에서 비슷하고, 9B에서는 더 낮다.출처: §5.3 · p. 21
5.5 정책 인식 보정
- 정책 인식 보정은 184개 설정에서 부호 있는 신뢰도–정확도 차이를 [−11.7, +20.5]에서 [−2.7, +2.1] 퍼센트포인트로 줄이지만, 보지 못한 데이터셋으로 전이하면 과신이 최대 6.1점 남는다.best-of-N, think-gate, cascade, select-then-think 파이프라인 전반에서 평균 절대 차이가 감소한다. 보정 맵은 반환된 예측과 정책 정보를 사용한다. 맵은 라우팅 신뢰도 구간별로 적합하거나 후보 점수, 개수, 로그 개수를 사용해 적합한다.출처: Figure 15 · p. 22, §5.5 · pp. 22–23
5.4 정책 유발 보정 오류
- 선택과 라우팅은 보정을 약화할 수 있다. 개별 응답을 보정한 뒤에도 N = 16에서 113개 쌍 중 111개에서 선택된 응답이 과신을 보이며, best-of-16 쌍 67개 중 44개에서는 개별 응답 임계값이 목표 오차율 5%를 초과한다.후보 수가 늘수록 보정 차이가 커지는 현상은 평가한 126개 실행 모두에서 나타난다. think-gate 라우팅은 12개 모델 중 11개에서 신뢰도를 맞춰 비교했을 때 낮은 정확도와 연관된다. 정책에 따라 선택된 응답을 기준으로 임계값을 인증하면 임계값 위반은 발생하지 않는다.출처: §5.4 · pp. 21–22
6. 효율적인 추론 및 배포
StartLux-Decision은 여러 추론 백엔드와 정밀도 형식을 지원하며, 서빙 지연 시간, 로컬 배포 가능성, 의사결정 성능 간의 보고된 절충 관계를 보인다. 평가는 단일 readout 및 조건을 맞춘 단일 패스 지연 시간과, reasoning을 호출했을 때 AutoThink의 종단 간 지연 시간을 다룬다.
6.1 런타임 지원
- Instant와 AutoThink는 vLLM, GGUF를 사용하는 llama.cpp, MLX에서 실행되며, 백엔드별 양방향 attention 지원과 기준 구현에 대한 높은 최상위 선택 일치율을 보인다.지원 형식에는 세 백엔드 모두의 BF16, vLLM의 FP8, llama.cpp의 Q8_0 및 Q4_K_M, MLX의 8비트 및 4비트 빌드가 포함된다. 최상위 선택 일치율이 예측 확률 간 수치적 일치를 뜻하지는 않는다.출처: §6.1 · p. 23
6.2 GPU 서빙 성능
- 비슷한 규모에서 Instant는 훨씬 높은 DI 0.3 점수를 달성하면서 4B와 9B에서는 가장 빠른 기준 모델보다 3 ms 이내, 27B에서는 약 6 ms 이내의 차이를 유지한다.비교 대상은 단일 forward pass로 처리된 300개 요청 중 186개이며, prompt 길이로 가중하면 DI 요청 분포의 약 91%에 해당한다.출처: Table 6 · p. 24, §6.2 · p. 24
- BF16 Instant readout은 256-token prompt에서 24–52 ms, 1,024-token prompt에서 31–98 ms가 걸린다. FP8은 9B와 27B에서 8,192-token 지연 시간을 약 25–30% 줄인다.1,024 tokens에서 BF16 및 FP8 Instant readout의 지연 시간은 causal AutoThink readout보다 약 2–8% 높고, 8,192 tokens에서는 6–14% 높다. AutoThink 종단 간 지연 시간에는 reasoning을 호출했을 때 reasoning 생성과 reasoning 후 readout이 포함된다.출처: §6 · p. 23, §6.2 · p. 24
- GGUF Q8_0를 사용하는 llama.cpp에서 4B Instant는 비슷한 규모의 기준 모델 중 중앙값 지연 시간이 가장 낮고, 9B는 가장 빠른 모델보다 3 ms 이내의 차이를 보인다.2B와 27B의 중앙값 지연 시간은 각각 d1-3B 및 Kev 27B보다 약 5 ms와 14 ms 높다. 0.8B에서 Instant는 Bosun 3.1 1.7B와 중앙값 지연 시간이 같다.출처: §6.2 · pp. 24–25, Table 7 · p. 25
6.3 Apple Silicon에서의 로컬 추론
- 통합 메모리 64 GB를 탑재한 Apple M5 Pro에서 1,024-token BF16 Instant readout은 0.8B의 59 ms부터 9B의 약 1.1 s까지 걸린다. 8비트 및 4비트 양자화로 27B를 로컬에 배포할 수 있다.27B 모델은 BF16에서 사용 가능한 메모리를 초과한다.출처: §6.3 · p. 25, Table 8 · p. 26
6.4 양자화 추론
- FP8과 Q8_0은 BF16 의사결정 성능을 대체로 유지하지만, Q4_K_M은 DecisionPivot에서 27B AutoThink의 점수를 최대 4.3 points 낮춘다.MLX 8비트 빌드는 vLLM BF16 기준 모델과 99.5–99.6%의 최상위 선택 일치율을 보이며, 4비트 빌드는 96.3–97.5%를 보인다.출처: §6.4 · p. 25, Table 9 · p. 26
7. 결론 · Appendix A. 데이터 출처 · A.1 레코드 형식
StartLux-Decision은 단일 패스 예측, 신뢰도 기반 추론, 보정된 신뢰도를 결합하며, 평가에서 뛰어난 의사결정 성능을 보인다. 결론에서는 배포 지원을 설명하고, 분포 변화 상황에서의 일반화와 신뢰성을 향후 과제로 제시한다.
7. 결론
- RLCD2는 적정 점수 보상과 완만한 길이 페널티를 통해 추론 종료율과 효율성을 높이면서, 홀드아웃 의사결정 정확도는 대체로 유지한다.출처: §7 · p. 26
- Decision Index와 DecisionPivot 평가에서 뛰어난 의사결정 성능을 보였으며, 정책 인식 보정은 선택과 라우팅으로 발생하는 신뢰성 왜곡을 완화한다.출처: §7 · p. 26
- 통합 확률 인터페이스는 효율적인 단일 패스 예측과 신뢰도 기반 추론을 결합하며, vLLM, llama.cpp, MLX는 GPU 및 로컬 배포를 지원한다.향후 연구는 표현된 작업 계열을 넘어서는 일반화와 분포 변화 상황에서의 강건한 확률 신뢰성에 초점을 맞춘다.출처: §7 · p. 26
Appendix A. 데이터 출처
- Appendix A에서는 학습 파이프라인에 사용된 학습 데이터 혼합, 레이블 출처, 데이터 무결성 검사를 설명한다.출처: Appendix A · p. 29
A.1 레코드 형식
- 각 학습 레코드는 유형이 지정된 의사결정과 후보 옵션, 목표 확률, 레이블 출처, 상위 그룹 식별자를 인코딩한다. 같은 상태의 레코드는 분할과 오염 제거를 위해 동일 그룹을 공유한다.출처: §A.1 · p. 29
- 길이 초과 레코드는 잘라내지 않고 제외하며, 레코드 수준 해시로 옵션 순서를 결정론적으로 섞어 위치 단축 전략을 줄인다.출처: §A.1 · p. 29
A.2 학습 단계별 데이터 구성 · A.3 벤치마크별 학습 범위
세 단계에 따라 학습 데이터의 규모와 출처가 다르며, 벤치마크별 Stage 2 학습에는 평가 항목을 사용하지 않고 벤치마크 학습 분할을 사용한다. 부록에서는 Lux-Release 레이블의 출처를 명시하고 벤치마크별 학습 범위를 요약한다.
A.2 학습 단계별 데이터 구성
- Lux-Release에는 0.8B–9B 모델용 기록이 약 2.7 million records, 27B 모델용 기록이 0.8 million 포함되며, 27B 혼합 데이터는 벤치마크 학습 분할과 지식 중심 객관식 문항을 강조한다.출처에는 공개 및 커뮤니티 의사결정 데이터셋, 생성된 예시, 지식 및 상식 문항, 그리고 소규모 도구 사용·안전·난도 높은 의사결정 컬렉션이 포함된다.출처: §A.2 · p. 29, Table A.1 · p. 29
- Table A.1은 레이블 출처를 사람 주석 또는 원본 정답 레이블(H), 모델 생성 또는 모델 할당 레이블(T), 프로그램으로 계산한 레이블(P)로 구분한다.표는 모델 규모별 Lux-Release 구성과 레이블 출처를 요약한다.출처: Table A.1 · p. 29
- Stage 2에서 사용하는 Lux-Rounds에는 벤치마크 학습 분할, 관련 공개 데이터셋, 추가 의사결정 유형에서 가져온 기록이 약 1.7 million records 포함된다.그 밖의 출처로 생성 및 모델 작성 예시, 모두 선택형 문항, 교사 레이블이 지정된 의사결정, Lux-Release 하위 집합, 재구성한 GSM8K 학습 문제가 포함된다.출처: §A.2 · p. 29
- Lux-Think는 Stage 3을 위해 모델당 약 4,000–21,000개의 지도 추론 예시를 제공한다.자세한 내용은 Section 2.3을 참조한다.출처: §A.2 · p. 29
A.3 벤치마크별 학습 범위
- Table A.2는 프리뷰 모델 혼합 데이터에 포함된 Decision Index 0.2.1 벤치마크의 과제 관련 Stage 2 학습 출처를 요약한다.T 표시는 벤치마크의 공식 학습 분할을 나타내며, 평가 항목과는 별개다.출처: §A.3 · p. 29
- 프리뷰 모델과 출시 모델 모두 학습에 평가 항목을 사용하지 않는다.이는 Decision Index 0.2.1에 대해 설명한 벤치마크별 학습 범위에 적용된다.출처: §A.3 · p. 29
A.4 라이선스 및 데이터 사용 … B.3 적정 점수 규칙에서의 보정과 분해능
부록에서는 모델 라이선스, 데이터 생성 및 무결성 관리, 학습 구현과 제거 실험을 기록하고, 적정 점수 규칙의 향상이 보정, 분해능 또는 두 요소 모두에서 비롯될 수 있음을 설명한다.
A.4 라이선스 및 데이터 사용
- 추론 코드는 Apache-2.0 라이선스로 공개하며, 모델 가중치는 비상업적 용도에 CC BY-NC 4.0을 적용하고 상업적 용도에는 별도 라이선스를 제공한다.Table A.2는 미리보기 모델에 대한 벤치마크별 Stage 2 적용 범위를 설명하며, 최종 공개 체크포인트를 모두 기록한 것은 아니다.출처: §A.4 · pp. 29–30, Table A.2 · p. 30
A.5 생성 데이터와 모델 작성 데이터
- 프로그램으로 생성한 예시는 서로 독립적인 템플릿과 결정적 레이블을 짝지으며, 모델이 작성한 예시는 두 검증 모델이 독립적으로 레이블을 복원한 경우에만 유지한다.생성기는 평가 항목을 제공받지 않으며, 절차적 템플릿은 DecisionPivot에서 사용한 템플릿과 독립적이다.출처: §A.5 · p. 30
A.6 데이터 무결성 검사
- 감사 결과 기존 GSM8K에서 정답 위치와 선택지 형식에 따른 편법이 발견되어 DI 0.3 문항을 재구성했으며, 학습 기록은 상위 그룹 단위로 홀드아웃 세트와 대조해 선별한다.감사에는 콘텐츠 비의존 기준 모델을 사용하며, 데이터 오염 제거는 Decision Index, 공개 JevBench, DecisionPivot 및 기타 홀드아웃 세트를 대상으로 한다.출처: §A.6 · p. 30
Appendix B. 학습 구현 및 추가 분석
- Stage 1과 RLCD2에서는 모든 언어 모델 파라미터를 갱신하고, Stage 2와 추론 지도 학습에는 병합된 어댑터를 사용하며, 사전학습된 비전 타워는 고정한다.이 부분은 고정된 비전 타워에 관해 Section 2를 참조한다.출처: Appendix B · p. 30
B.1 양방향 프롬프트 어텐션
- 양방향 프롬프트 어텐션은 전체 어텐션 레이어에서 인과 마스크를 제거하되, 선형 어텐션 레이어의 인과적 순환은 유지한다.양방향 어텐션을 비활성화하면 수정된 구현은 기존 인과 구현과 비트 단위로 동일한 출력을 생성한다.출처: §B.1 · p. 30
B.2 추가 학습 제거 실험
- Table B.1은 확률 최적화, 파라미터 갱신, 추론 종료 및 RLCD2 초기화를 대상으로 한 4B 모델의 표적 제거 실험을 요약한다.제공된 부분에는 제거 실험의 범위만 제시되어 있고 결과는 포함되어 있지 않다.출처: §B.2 · p. 31, Table B.1 · p. 31
B.3 적정 점수 규칙에서의 보정과 분해능
- 기대 적정 점수가 높아진 것은 보정, 분해능 또는 두 요소 모두가 개선되었음을 반영할 수 있으며, 결과 불확실성은 주어진 평가 분포에서 고정되어 있다.Brier 분해에서는 오보정에 음의 부호, 분해능에 양의 부호, 결과 불확실성에 음의 부호를 부여한다.출처: §B.3 · p. 31
B.4 직접 확률 최적화 … C.2 이론적 성질
직접 확률 최적화는 결정 점수를 비슷하게 유지하면서 calibration을 개선하며, 이론적 분석은 선택, 라우팅, 인증 정책이 calibration을 어떻게 바꿀 수 있는지 보여준다. 또한 정책 인지 calibration이 보존되는 조건과 점수 및 계산 비용을 고려해 추론 게이트를 최적화하는 방법을 규명한다.
B.4 직접 확률 최적화
- 직접 목적함수는 로그 항, 결정 효용 항, 레코드 수준 항을 기준 모델에 대한 정규화와 결합하지만, 효용 항 때문에 엄밀한 proper성은 보장되지 않는다.개별 항의 기여를 분리해 측정하지 않았으므로, calibration 개선은 결합 목적함수에 기인한 것으로 해석한다.출처: §B.4 · p. 31
- Calibration error는 5.1에서 3.9점으로, Brier loss는 0.278에서 0.271로 감소하며, DI 0.2.1 점수는 52.49와 52.57로 비슷하게 유지된다.샘플링한 답변에 대한 정책 그래디언트는 비슷한 DI 점수 52.55를 얻지만 calibration은 개선하지 않는다. 최적화된 모델의 적합 temperature는 1.37에서 1.60으로 증가한다.출처: §B.4 · p. 31
부록 C. 정책 인지 calibration: 증명 및 세부 사항
- 부록에서는 선택과 라우팅으로 유도되는 calibration 효과를 형식화하고, 개별 예측의 주변 calibration과 선택 또는 라우팅 후의 정책 인지 calibration을 구분한다.단일 패스 신뢰도가 임계값보다 낮을 때 입력을 추론으로 보내는 think-gate를 정의한다.출처: Appendix C · p. 32, §C.1 · p. 32
C.2 이론적 성질
- 명시된 단조성 가정하에서 best-of-N 선택은 후보 집합 크기가 커질수록 고정 점수에서의 정확도가 비증가하게 하며, 개별 응답이 calibration된 경우 약한 과신을 낳는다.0.8–0.9로 점수가 매겨진 9B-verifier 응답의 정확도는 난이도 하·중·상 집단에서 각각 75.6%, 93.4%, 98.3%다. 이는 한 가정과 부합하지만 그 가정을 입증하지는 않는다.출처: §C.2 · p. 32
- 초기 신뢰도를 고정했을 때 추론 후 정답률이 출력 신뢰도와 함께 증가한다면, 추론 경로 정확도는 전체 정확도보다 높지 않고 전체 정확도는 비추론 경로 정확도보다 높지 않다.비증가 의존성에서는 부등식의 방향이 반대가 된다. AUROC가 0.5보다 높거나 낮으면 잔여 순위화 방향을 진단하지만, 0.5라는 값만으로 조건부 독립성이 입증되지는 않는다.출처: §C.2 · p. 32
- 게이트가 적용된 시스템을 주변적으로 인증해도 각 경로가 동일한 오류 한계를 만족하는 것은 아니지만, 허용되는 모든 경로를 인증하면 전체적으로 그 한계가 보장된다.허용된 예측의 전체 오류는 경로별 오류를 경로 비중으로 가중한 평균이다.출처: §C.2 · p. 33
- 반환을 결정하는 모든 정책 통계량을 조건으로 한 calibration은 해당 통계량과 보고된 신뢰도로 결정되는 모든 반환 사건에서도 보존된다.정책 인지 맵은 후보 점수, 개수 또는 라우팅 신뢰도를 사용해 조건부 정답 여부를 근사하지만, 유한 표본 추정으로 정확한 조건부 calibration이 보장되지는 않는다.출처: §C.2 · p. 33
- 고정된 추론 정책에서 최적 게이팅은 점별 가치가 양수일 때만 정확히 추론을 수행한다. 고정 게이트와 엄밀히 proper한 점수 함수에서는 최적 판독값이 조건부 레이블 분포다.이 특성화만으로 공개된 모델의 고정 신뢰도 임계값이 최적임이 입증되지는 않는다.출처: §C.2 · p. 33
C.3 평가 프로토콜
평가에서는 보류된 산술·추론·진단·중국어 의사결정 설정 전반에서 Best-of-N 검증과 모델 라우팅을 테스트하며, 신뢰도 보정과 수용 임계값을 명시적으로 정의한다.
C.3 평가 프로토콜
- Best-of-N 테스트에서는 보류된 GSM8K 학습 변형, 다섯 개의 미관측 산술 데이터셋, 추론 과제에서 검증기 9개를 평가하고, 라우팅 테스트에서는 진단·추론·중국어 의사결정 전반에 걸쳐 모델 12개를 평가한다.진단 의사결정은 39개 과제군을 포괄하며, CJ-Bench에는 중국어로 된 까다로운 의사결정이 포함된다.출처: §C.3 · p. 33
- 부호 있는 과신도는 보고된 평균 신뢰도에서 경험적 정확도를 뺀 값이다. 라우팅 효과는 신뢰도를 맞춘 상태에서 라우팅 정확도에서 비라우팅 정확도를 뺀 값이며, 임계값에는 95% 고정 순서 Clopper–Pearson 절차를 사용한다.임계값은 20개 원천 문제 분할 각각의 보정 절반에서 계산한다.출처: §C.3 · p. 33
- 정책 인식 보정은 선택 및 라우팅 파이프라인 전반에서 부호 있는 신뢰도–정확도 차이를 줄인다.외부 행위자-추론기 결과는 공개된 시스템 기록을 사용하며, 그 외 결과는 저자들의 평가에서 나온다.출처: Table C.1 · p. 34
- 잔여 라우팅 정보는 라우팅에 따른 정확도 차이와 상관관계를 보였다(36개 모델–데이터셋 설정에서 Spearman −0.88).잔여 AUROC는 추론 후 신뢰도 구간 내에서 라우팅 신뢰도가 정답 여부의 순위를 매기는 정도를 측정하며, 삼각형은 캐스케이드를 나타낸다.출처: Figure C.1 · p. 34
C.4 의사결정 파이프라인별 결과 · C.5 정책별 임계값 인증 · 부록 D. 평가 세부사항
의사결정 파이프라인 전반에서 경로 인지 보정은 경로별 격차를 줄이고, 정책별 임계값은 관측된 오류율 위반을 줄이지만 일부 경로에서는 예측을 하나도 수락하지 않을 수 있다. 부록 D에서는 평가 점수 산정, 안전장치, 추론 세부사항을 설명한다.
C.4 Results Across Decision Pipelines
- Route-aware isotonic calibration reduces route-specific gaps to approximately 2 percentage points across nine models.It maps post-reasoning confidence within quantile strata of initial confidence, addressing residual routing-confidence information associated with route effects for think-gates and cascades.출처: §C.4 · p. 34
- System Switch records show an 8.3-point mean absolute gap between overall reasoner accuracy and deferred-item accuracy, versus 2.1 points after route-aware calibration.System Switch defers uncertain actor decisions to a reasoner.출처: §C.4 · p. 34
C.5 정책별 임계값 인증
- 정책별 임계값은 수락된 예측 중 목표 오류율 위반의 관측 빈도를 줄이지만, 일부 경로에서는 예측을 하나도 수락하지 않는다.Table C.2에는 수락된 예측의 오류율과 괄호 안에 목표 α를 초과한 평가 분할 20개 중 분할 수가 보고되어 있다.출처: §C.5 · p. 34, Table C.2 · p. 35
- 후보 수 N, 라우팅 비율, 생성기 또는 작업군이 달라지면 보정과 임계값 인증을 다시 수행해야 할 수 있다.출처: §C.5 · p. 35
부록 D. 평가 세부사항
- 부록 D에서는 Decision Index 점수 산정, 벤치마크별 결과, 평가 안전장치, 긴 선택지 목록과 여러 질문에 대한 추론을 자세히 설명한다.출처: Appendix D · p. 35
- DecisionPivot은 StartLux (2026)에 설명되어 있으며, 데이터와 채점기는 Hugging Face에서 이용할 수 있다.출처: Appendix D · p. 35
D.1 Decision Index 평가 … D.4 여러 질문 및 긴 선택지 목록 처리
부록에서는 attention 방향과 GSM8K 재구성에 관한 통제된 근거와 함께, 긴 선택지 목록 및 여러 문서 질문을 위한 평가 안전장치와 서빙 절차를 보고한다. 보고된 효과에는 벤치마크 차이, 선택지 목록 정확도, 특정 서빙 설정에서의 처리량 향상이 포함된다.
D.1 Decision Index 평가
- 동일한 데이터와 Stage 1 체크포인트를 사용한 통제된 Stage 2 비교에서 양방향 attention은 MuSR에서 인과적 attention보다 높은 점수를 기록했다(64.9 versus 50.3).추가 양방향 시드 3개는 55.8–58.1점을 기록해 인과적 모델보다 5.5–14.6점 높았다. SATA-Bench에서는 Stage 3와 명시적 추론이 변형 간 차이 6.7점 중 4.4점을 설명한다. 27B에서 AutoThink는 MuSR에서 Instant보다 11.8점 낮고, 추론에 따른 AutoThink 정확도 변화는 +0.5점에 그친다.출처: §D.1 · p. 35
- StartLux-Decision 모델 중 하나 이상이 공개 DI 0.3 벤치마크 37개 중 23개에서 선두를 기록하며, 결과는 우연 수준 보정 skill 점수로 보고된다.DI 0.2.1은 가중치가 적용된 5개 도메인의 벤치마크 38개를 통합한다. DI 0.3은 5개 도메인을 유지하고 공개 벤치마크 37개를 포함한다. 무응답 요청은 오답으로 처리하며, 반복 추론 추적 평가의 변동 폭은 지수 점수 약 0.05다.출처: Table D.1 · p. 35, §D.1 · p. 35
D.2 GSM8K 벤치마크 재구성
- 원래 GSM8K 오답 선택지를 사용하면 이전 체크포인트의 DI 0.2.1 점수가 0.7–1.8점 높지만, 재구성된 질문만으로 학습한 4B Instant 모델에서는 이러한 이점이 나타나지 않는다.DI 0.3에서는 다른 문제의 답을 오답 선택지로 사용해 정답 선택 지름길을 유도하는 단서를 줄인다.출처: §D.2 · p. 36
D.3 평가 신뢰성과 서빙 설정
- 유효한 평가 실행에는 요청 완료율이 최소 99.9%여야 하며, vLLM 0.19.1에서 결정 판독 결과를 바꿀 수 있으므로 prefix caching과 chunked prefill을 비활성화한다.무응답 요청은 오답으로 처리한다.출처: §D.3 · p. 36
D.4 여러 질문 및 긴 선택지 목록 처리
- 한 번의 판독으로 최대 26개 선택지를 처리하며, 더 긴 목록은 최대 25개씩 병렬 그룹으로 나누고 각 그룹의 상위 3개를 최종 판독으로 넘긴다.최대 151개 선택지 목록에서 이 절차는 최종 라운드 전에 정답을 탈락시키는 경우가 0.2–0.7% 발생한다.출처: §D.4 · pp. 36–37
- 4B 모델의 의도 질문 정확도는 선택지가 151개일 때 86.7%, 26개일 때 95.7%로 보고됐다.이러한 목록을 서빙하려면 여러 차례 판독이 필요하다.출처: §D.4 · p. 37
- 3,200토큰 문서에 질문 32개가 있는 경우, 재사용 가능한 문서 표현을 통해 27B에서 측정 처리량이 초당 결정 2.8건에서 27건으로 증가한다.질문은 서로 독립적으로 평가되므로 질문을 추가해도 기존 예측은 바뀌지 않는다. 재사용 가능 여부는 서빙 설정에 달려 있으며, 양방향 프롬프트 attention 때문에 질문과 무관한 문서 인코딩은 재사용할 수 없다.출처: §D.4 · p. 37