PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

SanSi: A Looped Typed Decision Model for System 1.5 Thinking

Shuyu Gan, Young-Jun Lee, Dongyeop Kang

arXiv:2610.07730v1cs.CLcs.AIcs.LG

TL;DR

Typed decision model은 한 번의 순전파로 선택지별 확률을 제공하지만, 일부 결정에는 여러 단계의 의존적 추론이 필요하다. SanSi는 사전학습된 language model 스택을 반복 적용하고 각 루프에서 readout을 학습한다. 단일 패스 비교 모델보다 벤치마크 정확도가 높고, 통제된 두 과제에서 해결 가능한 깊이를 확장한다.

  • 문제

    한 번의 순전파에서는 계산량이 고정되지만, 여러 단계의 결정에는 추론의 연쇄를 따라가거나 규칙을 조합해야 할 수 있다. 생성형 추론은 토큰과 지연 시간을 추가하고 typed contract를 포기한다.

    출처: §1 · p. 1

  • 방법

    SanSi는 사전 학습된 looped model을 반복 적용하고 매 루프마다 option probability를 읽고 학습해, 하나의 모델로 1회부터 8회까지의 예산을 지원한다.

    출처: §1 · p. 2, §3 · p. 3

  • 결과

    루프 적용은 같은 구조의 비루프 모델보다 13.5포인트 높은 성능을 보인다. 깊이를 통제한 두 과제에서는 학습 때보다 더 깊은 문제를 풀며, 이때 더 큰 단일 패스 모델은 실패한다.

    출처: §1 · p. 2

  • 핵심 결과 및 한계

    세 번의 루프만으로 1회부터 8회까지 반복했을 때 얻는 성능 향상의 88%를 달성하며, 대부분의 답은 네 번째 루프까지 확정되고 더 어려운 항목은 그보다 늦게 확정된다.

    출처: §1 · p. 2, §9 · p. 10

  • 핵심 요점 및 한계

    이번 결과는 루프 수행을 위해 사전학습된 Ouro-1.4B 및 Ouro-2.6B 백본에 기반하며, 다른 또는 더 큰 looped backbone으로 얼마나 잘 전이되는지는 아직 밝혀지지 않았다.

    출처: Limitations · pp. 10–11

Abstract

from arXiv · show

Typed decision models answer a declared question without generating text: a decision head returns a probability for each of the declared options in a single forward pass. A single pass is fast, intuitive System 1 thinking. We study what lies between one pass and generated reasoning: looping, in which the same layers are recursively applied several times before one typed readout. Each loop lets the model revise its hidden state before it commits to an answer, without generating a token; we call this System 1.5 thinking. We propose SanSi, which turns a pre-trained looped language model into a typed decision model. The option probabilities are read after every loop, and every loop is trained with a proper scoring rule, so that one model serves every budget from one loop to eight in a single run. On 10,027 test decisions from 59 sources, SanSi reaches 72.0% accuracy: 13.5 points above a non-looped model of the same shape trained with the same recipe, 5.3 points above a newer non-looped model of its size, and 1.8 points below one with three times the parameters. On two depth-controlled tasks, loops extend the solvable depth beyond the depths seen in training, where the larger single-pass model fails. Used as the judge for policy optimization with reinforcement learning, without gold answers, SanSi raises the generator's F1 by 7.7 points.

1 서론

이 논문은 매개변수를 늘리거나 텍스트를 생성하지 않고도 typed decision에 추가 연산을 투입하는 방법으로 루핑을 연구한다. SanSi는 사전 학습된 루프형 모델을 이 과제에 적용하며, 평가에서는 정확도 향상, 더 깊은 문제 해결, 검증자로서의 활용 사례를 보고한다.

1 서론

  • 루핑을 적용하면 같은 크기의 SmolLM2-1.7B보다 13.5포인트 높은 성능을 내며, 매개변수가 세 배인 Qwen3.5-4B와의 차이는 1.8포인트에 그친다.Figure 1은 저자들의 데이터로 학습한 모델의 백본 크기별 정확도를 비교한다.출처: Figure 1 · p. 1, §1 · p. 2
  • 다단계 추론은 +15.1포인트, 분류는 +3.1포인트 향상되며, 긴 문서에서는 +16.7포인트, 지식 질문에서는 +17.6포인트 향상된다.향상 폭은 분류에서 가장 작고 지식 질문에서 가장 크다.출처: §1 · p. 2
  • 세 번 루프를 돌리면 1회에서 8회까지의 향상 폭 중 88%를 얻고, 대부분의 답은 네 번째 루프까지 확정되며 어려운 항목일수록 더 늦게 확정된다.루핑에는 단일 패스보다 연산량이 7.7배 들고, 보정 성능은 세 번째 루프까지만 향상된다.출처: §1 · p. 2
  • 학습에서 본 최대 길이인 8단계를 넘어서는 9–16단계 거짓말 연쇄에서 SanSi는 항목의 72.6%를 맞히지만, Qwen3.5-4B는 우연 수준인 50.0%에 그친다.더 큰 단일 패스 모델이 실패하는 깊이 통제 과제에서 비교한 결과다.출처: §1 · p. 2
  • 유일한 강화학습 보상으로 SanSi를 사용하면 정답 없이도 생성기의 F1이 39.5에서 47.3으로 높아진다.논문은 이를 정책 학습의 심사자로 SanSi를 활용하는 사례로 제시한다.출처: §1 · p. 2

2 배경 및 관련 연구

선행 연구는 typed decision model을 확립하고 언어 모델의 반복 적용을 탐구했으며, SanSi는 반복 적용을 위해 사전 학습된 백본을 기반으로 한다. 논문은 여러 깊이에서 예측값을 읽는 방식을 적응형 계산 및 조기 종료와 연결하지만, 종료 규칙을 제안하지는 않는다.

2 배경 및 관련 연구

  • Jev와 이를 공개적으로 재구현한 Kev는 선언된 선택지에 대한 확률을 한 번의 패스에서 반환한다. 반면 이 연구는 반복 적용을 위해 사전 학습된 백본에서 시작해 모든 반복 단계의 결과를 읽는다.저자들은 한 번 호출할 때 질문 하나를 다루며, 동일한 상태에 관한 여러 질문을 함께 전달할 수 있는 Kev와는 다르다.출처: §2 · p. 2
  • 루프형 언어 모델 연구는 루프의 활용, 안정성, 아키텍처, 비루프 모델에 루프 추가하기, 도구 호출을 다룬다 [Dau et al., 2026; Yang et al., 2026; Jeddi et al., 2026; McLeish et al., 2025; Popescu et al., 2026b].논문은 에이전트 수준에서 고정 연산을 반복하는 연구도 언급한다 [Kim et al., 2026].출처: §2 · p. 2
  • 여러 깊이에서 예측을 읽는 방식은 적응형 계산 및 조기 종료와 관련되지만, 논문은 종료 규칙을 제안하지 않는다 [Graves, 2016; Xin et al., 2020].선행 연구에 따르면 더 늦은 종료 지점에서 올바른 예측이 뒤집힐 수 있으며, 정착 깊이는 예제의 난이도를 측정한다. 저자들은 이와 유사한 루프 동작을 보고한다 [Kaya et al., 2019; Baldock et al., 2021].출처: §2 · p. 3

3 SanSi: 반복 적용형 typed decision model

SanSi는 사전 학습된 transformer stack을 반복 적용하고 각 loop 뒤에 옵션 확률을 읽는다. 각 readout이 목표 분포에 가까워지도록 학습하므로, 하나의 모델로 여러 loop 예산에서 결정을 제공할 수 있다.

3 SanSi: 반복 적용형 typed decision model

  • 각 typed decision은 상태, 질문, 그리고 선언된 옵션 두 개 이상으로 구성되며, 출력은 텍스트 없이 확률 분포로 주어진다.답할 수 있는 항목의 목표값은 one-hot 분포, 답할 수 없는 항목은 균등 분포, 여러 사람이 라벨을 붙인 항목은 주석자의 라벨 분포다.출처: §3 · p. 3
  • Ouro-1.4B는 transformer layer 24개로 이루어진 stack 하나를 반복 적용하며, 정규화된 각 hidden state가 다음 loop의 입력으로 사용되고 입력 토큰은 다시 주입되지 않는다.Stack은 네 번의 loop로 사전 학습되었으며, SanSi는 여덟 번의 loop로 학습된다.출처: §3 · pp. 3–4
  • 모델은 매 loop마다 마지막 prompt token의 state에서 옵션 확률을 읽으므로, 한 번의 실행으로 loop 예산 1부터 T까지의 결정을 제공한다.Readout은 선언된 옵션으로 제한되며, 각 loop에 학습된 rank-16 보정값과 스케일을 사용한다.출처: §3 · p. 3
  • 모든 loop는 cross-entropy와 Brier score를 함께 사용해 학습하며, 각 loop의 손실은 모든 앞선 loop를 거쳐 역전파되고 backbone은 고정된 상태로 유지된다.The trained parameters are LoRA adapters and readouts; their total is about 61 million parameters.출처: §3 · p. 3
  • 결정 평가 모음의 표는 항목 수를 유형과 학습 데이터로부터의 거리별로 정리한다. Type C는 답할 수 없는 항목과 여러 사람이 라벨을 붙인 항목을 포함한다.테스트 세트에는 전체 테스트 항목 10,027개 가운데 공개 JevBench 항목 231개가 포함된다.출처: Table 1 · p. 4

4 실험 설정

실험에서는 공개 자료로 구성한 typed-decision 평가 모음을 사용하고 SanSi를 단일 패스 대조군 및 기준 모델과 비교한다. 설정에서는 정확도, 보정, 증거 순위화, GPU 시간 측정 방법을 정의한다.

4 실험 설정

  • 평가 모음은 공개 데이터셋, Kev 학습 및 전이 평가 모음, 공개 JevBench 항목으로 구성되며, 테스트 항목은 10,027개, 개발 항목은 2,471개다.테스트 항목은 학습 데이터와의 거리에 따라 묶는다. 지식 질문은 테스트 세트에만 포함된다.출처: §4 · p. 4
  • 비교 모델에는 같은 구조의 Ouro-1.4B 및 SmolLM2-1.7B 대조군, Qwen3.5-2B 및 Qwen3.5-4B 기준 모델, Kev의 학습 레시피로 학습한 Kev-4B 모델이 포함된다.미세 조정 모델은 동일한 학습 항목, LoRA rank, readout, loss를 사용하며, 각 모델을 세 개의 시드로 학습한다.출처: §4 · p. 4
  • 정확도, confidence, ECE, evidence AUROC, 테스트 세트 GPU 시간으로 예측 품질, 보정, 증거 민감도, 비용을 측정한다.Evidence AUROC는 증거가 있는 예시와 없는 예시가 모두 포함된 출처의 786개 항목에서 측정한다. 구간은 관련 항목 그룹을 대상으로 한 부트스트랩 95% 구간이다.출처: §4 · p. 4

5 결과

혼합 테스트 세트 전반에서 루프를 적용하면 계산 비용이 늘지만 typed decision 성능이 향상된다. 성능 향상은 초기에 나타나며, 깊이를 통제한 과제에서는 학습 때보다 더 깊은 수준까지 성능이 확장된다.

5.1 RQ1: 루프 적용은 성능을 높이며, 비용은 얼마인가?

  • 동일한 모델 크기의 SanSi와 SmolLM2 비교에서 정확도는 72.0% 대 58.4%(+13.5 points)다. SanSi는 Qwen3.5-2B보다 5.3 points 높고 Qwen3.5-4B보다 1.8 낮다.주요 비교에서는 SanSi와 SmolLM2에 동일한 학습 데이터와 레시피를 적용했다. Qwen3.5 모델은 참조 비교 대상이다.출처: §5.1 · pp. 4–5, Table 2 · p. 5
  • 루프 적용으로 테스트 전용 지식 질문에서 17.6 points, 다단계 추론에서 15.1 points 향상되며, 분류에서는 3.1 points 향상된다.긴 문서에서는 16.7 points 향상된다. 학습 데이터와의 거리를 기준으로 보면 분포 내에서 10.5, 근거리 전이에서 10.0, 원거리 전이에서 15.8 향상된다.출처: §5.1 · p. 5, Figure 3 · p. 6

5.1 RQ1: Does looping help, and at what cost?

  • Looping costs 7.7× the inference computation and 9.5× the training GPU time; three loops reach 70.4% accuracy at three eighths of the full-pass cost.SanSi-2.6B with three loops exceeds Qwen3.5-4B by 0.9 points, at 5.6× versus 2.4× the one-loop computation cost.출처: §5.1 · p. 5, Figure 3 · p. 6

5.3 RQ3: 루프에 따라 확률은 어떻게 달라지는가?

  • 정답과 오답 모두에서 평균 confidence가 상승한다(0.769에서 0.869, 0.567에서 0.660). ECE는 loop 3에서 최솟값인 0.082에 도달한다.답이 안정된 뒤에도 confidence가 계속 높아지면서 loop 8에서는 ECE가 0.093으로 상승한다.출처: Figure 4 · p. 7, §5.3 · p. 7
  • 핵심 증거를 제거한 항목에서 단정적 답변은 loop 1의 27.1%에서 loop 8의 17.5%로 감소하고, 증거 AUROC는 0.835에서 0.935로 상승한다.단일 루프로 학습한 백본은 AUROC 0.837에 도달한다. 단일 패스 모델 중에서는 Qwen3.5-4B와 Kev-4B (our data)만 더 높은 점수를 기록하며, 두 모델 모두 크기가 세 배다.출처: Figure 4 · p. 7, §5.3 · p. 7

5.2 RQ2: 답은 루프마다 어떻게 달라지는가?

  • loop 2와 3에서 loop 1부터 8까지의 정확도 향상분 중 88%가 나타난다. loop 4 이후에는 답의 90.2%가 최종 답이며, loop 5 이후에는 정답으로의 수정과 오답으로의 변경이 균형을 이룬다.어느 한 loop에서는 정답이지만 loop 8에서는 오답인 항목은 최대 11.7%다.출처: §5.2 · p. 6, Figure 5 · p. 7

5.4 RQ4: 루프는 추론 깊이를 늘리는가?

  • 보지 못한 liar-chain 깊이 9–16에서 8회 루프를 적용한 SanSi는 정확도 72.6%를 기록해, 1회 루프의 49.9%보다 높다. Qwen3.5-4B는 보지 못한 깊이에서 우연 수준의 성능을 보인다.8회 루프 후 SanSi는 object swap에서 깊이 9까지, liar chain에서는 학습 때 가장 긴 체인보다 세 단계 더 깊은 11까지 처리한다.출처: Figure 6 · p. 8, §5.4 · p. 8

6 예시와 오류

예시를 보면 결정적 근거가 없을 때 loop는 표면 단서에 따른 답을 수정하거나 확신도를 낮출 수 있지만, 정답을 오답으로 뒤집기도 한다. 확신도 높은 오류를 포함해 오류는 여전히 흔하다.

6 예시와 오류

  • 결정 문장이 제거된 항목에서 SanSi는 0.97의 “yes”에서 loop 2 이후 hard-answer 임계값 아래로 내려간다. Qwen3.5-2B는 0.98로 답을 유지한다.별도의 예시에서는 loop가 표면 단서에 따른 답을 loop 2까지 “unknown”으로 바꾼다.출처: §6 · p. 8
  • loop 8에서 SanSi는 정답 선택지가 하나인 항목의 27.2%에서 오답이며, 이 오류 중 19.7%의 확신도는 0.9 이상이다.Qwen3.5-4B도 이 오류의 68.0%에서 실패하며, 60.9%는 모든 loop에서 오답이다.출처: §6 · p. 8

7 어블레이션

루프별 감독은 초기 판독을 유효하게 만들지만, 학습 깊이를 넘어서면 정확도가 낮아진다. 루프 사전학습은 성능 향상에 필수적이며, 루프 확률을 평균하면 정확도 변화는 거의 없이 보정이 개선된다.

학습 목표의 영향

  • 루프 1에서 35.6%인 정확도는 마지막 루프에만 감독하면 58.4%로 나타나, 초기 루프 정확도가 크게 낮아진다. 루프 8 정확도도 1.1포인트 하락해 70.9%가 된다.감독을 결과만 사용하는 강화학습으로 대체해도 정확도는 72.0% 대비 71.7%로 거의 변하지 않으며, Brier 항을 제거하면 71.6%다.출처: §7 · p. 8

예시 결정

  • Figure 7은 결정에 쓰인 문장을 제거한 항목 하나를 포함해 네 개의 테스트 항목에서 SanSi의 루프별 옵션 확률과 세 가지 단일 패스 모델의 옵션 확률을 비교한다.정답 옵션은 별표와 테두리로 표시하고, 열별 최댓값은 굵게 표시한다.출처: Figure 7 · p. 9

루프 수의 영향

  • SanSi를 학습된 깊이보다 더 실행하면 루프 8의 72.0% 정확도가 루프 16에서 70.1%로 하락하며, 네 루프 모델도 루프 4 이후 성능이 저하된다.네 루프를 학습하면 루프 4에서 70.8%를 달성하며, 이는 루프 4에서의 SanSi보다 0.8포인트 낮을 뿐이다.출처: §7 · p. 9, Figure 8 · p. 10

백본의 영향

  • 루프 사전학습을 거치지 않은 SmolLM2-1.7B에 루프를 추가하면 정확도는 33.5% 또는 58.3%로, 루프가 없을 때의 58.4%보다 낮다. SanSi-2.6B는 75.8%에 도달한다.SanSi-2.6B는 파라미터 수가 63%에 불과하지만 Qwen3.5-4B보다 2.0포인트 높다.출처: §7 · p. 9

루프 평균의 영향

  • 여덟 루프의 확률을 평균하면 정확도는 72.0% 대비 71.8%로 유지되고, 추가 계산 없이 ECE를 절반으로 낮춰 0.093에서 0.044가 된다.루프는 이미 계산되어 있으므로 평균을 내는 데 레이블이나 학습이 필요하지 않다.출처: §7 · p. 9

8 활용 사례: 검증기로서의 SanSi

이 논문은 정답 레이블 없이 생성기를 학습할 때 SanSi만을 보상으로 사용하는 방식을 시험한다. 네 번 또는 여덟 번 루프를 거친 검증기 출력은 F1을 높이지만, 한 번 루프를 거친 보상은 F1을 낮추며, 보상 품질 차이가 이러한 결과와 맞물린다.

설정

  • 정답 레이블 없이 샘플링한 답에 대한 SanSi의 확률을 보상으로 사용해, LoRA와 GRPO로 2WikiMultiHopQA에서 SmolLM2-1.7B를 학습한다.검증기 출력 루프만 달리해 1, 2, 4, 8회로 설정하고, 각 설정에 시드 세 개를 사용한다.출처: §8 · p. 10

결과

  • SanSi를 루프 8에서 읽으면 생성기 F1이 39.5에서 47.3으로 상승하고(+7.7), 루프 4에서 읽으면 F1이 45.8로 상승한다(+6.3).루프 2에서는 F1이 변하지 않지만, 루프 1에서는 29.1로 낮아진다(−10.5).출처: §8 · p. 10

보상 깊이가 중요한 이유

  • 학습 초기에는 루프 1 보상이 정답과 일치하는 답을 루프 4 또는 8 보상보다 덜 잘 구분한다. AUROC는 0.78 대 0.91 및 0.90이다.품질이 낮은 보상은 오답을 정답보다 높은 순위에 두는 경우가 더 많다.출처: §8 · p. 10

9 결론

결론에서는 루프를 추가 매개변수 대신 계산량을 더 투입하는 소형 타입 지정 의사결정 모델의 방법으로 제시한다. 정확도 향상, 깊이 일반화, 검증기 효과를 보고하면서 보정, 학습 깊이, 루프 사전학습에 따른 한계도 언급한다.

정확도와 연산량

  • 루프형 1.4B 모델은 같은 형태의 비루프형 모델보다 정확도가 13.5포인트 높고, 같은 크기의 더 최신 비루프형 모델보다 5.3포인트 높으며, 파라미터가 세 배인 모델과의 차이는 1.8포인트 이내다.루프형 모델은 더 큰 모델보다 GPU 시간을 3.3배 사용한다.출처: §9 · p. 10

루프 예산

  • 정확도 향상의 대부분은 세 번의 루프에서 얻고, 대부분의 답은 네 번째 루프까지 확정되며, 더 어려운 항목은 더 늦게 확정된다.항목의 11.7%는 일부 루프에서는 정답이지만 마지막 루프에서는 오답이므로, 루프 수를 조정하는 규칙을 다음 단계로 제안한다.출처: §9 · p. 10

깊이 일반화

  • 깊이를 통제한 두 과제에서 루프 모델은 학습 중 본 깊이를 넘어서는 문제도 풀지만, 매개변수가 세 배인 단일 패스 모델은 이를 풀지 못한다.학습한 것보다 더 많은 루프를 실행하면 정확도가 떨어진다는 점도 결론에서 주의시킨다.출처: §9 · p. 10

보정과 적용 범위

  • 답이 확정된 뒤에도 신뢰도가 계속 높아지므로 보정은 세 번째 루프까지만 개선되며, 이러한 효과는 루프하도록 사전학습된 백본에 달려 있다.출처: §9 · p. 10

검증기 활용

  • 생성기 학습의 유일한 보상으로 사용할 때 SanSi는 네 번 또는 여덟 번의 루프 뒤에 판독하면 성능을 높이지만, 한 번 뒤에 판독하면 성능을 떨어뜨린다.출처: §9 · p. 10

한계

SanSi의 근거는 루프를 돌도록 사전학습된 Ouro 백본에 의존하며, 분석 대부분은 Ouro-1.4B를 사용했다는 점에서 한정적이다. 평가에는 고정 루프의 연산 비용과 몇 가지 과제·데이터셋·시드 제약도 있다.

한계

  • SanSi는 루프를 돌도록 사전학습된 Ouro-1.4B 및 Ouro-2.6B 백본만 사용하며, 성능 향상은 해당 사전학습에 달려 있다.연구 결과가 다른 더 큰 루프형 백본에도 적용되는지는 아직 밝혀지지 않았다.출처: Limitations · p. 10
  • 8회 루프는 Qwen3.5-4B의 GPU 시간 약 3.3배가 들고, 4회 루프는 1.6배, SanSi-2.6B는 약 6.3배가 든다.모델은 루프 횟수가 고정되어 있으며, 쉬운 항목에서 조기 종료하는 방식은 향후 과제로 남아 있다.출처: Limitations · p. 11
  • 추론 깊이 분석은 프로그램으로 생성한 두 과제를 사용하며, 검증기 사례 연구는 하나의 데이터셋과 하나의 생성기만 사용하므로 일반적인 보상 모델 평가가 아니라 예시적 분석이다.출처: Limitations · p. 11
  • 평가 모음은 영어로 된 기존 데이터셋을 저자가 선택한 항목 구성으로 취합했으며, 공개 데이터셋이 사전학습에 노출되었을 가능성을 배제할 수 없다.출처: Limitations · p. 11

Limitations

  • Main comparisons use three seeds, so one- or two-point differences on smaller test groups should be read alongside their intervals.출처: Limitations · p. 11

윤리적 고려사항

논문은 typed decision이 자동화에 사용될 수 있음을 고려해 SanSi의 과신과 근거 없이 답하는 빈도를 보고하며, 데이터는 공개 벤치마크에서 가져왔고 새로 수집한 인간 데이터는 없다고 밝힌다. 평가 모음은 여섯 가지 항목 유형을 아우르고, 답변 불가 항목과 다수 응답자 라벨링 항목에 서로 다른 목표값을 지정하며, 관련 항목 분할과 프롬프트 형식을 통제한다.

윤리적 고려사항

  • typed decision 확률은 자동화에 사용될 수 있으므로, 논문은 SanSi의 과신과 근거 없이 답하는 빈도를 보고한다. 데이터는 모두 공개 벤치마크에서 가져왔으며, 새로운 인간 데이터는 수집하지 않았다.출처: Ethical Considerations · p. 11

A 데이터

  • 평가 모음은 분류와 다단계 추론부터 불확실한 근거, 장문 문서, 문장 쌍, 테스트 전용 지식 질문까지 여섯 가지 항목 유형을 포함한다.학습 데이터는 20개 출처, 테스트 데이터는 59개 출처를 활용한다.출처: A Data · pp. 14–15
  • 답변 불가 항목은 핵심 근거를 제거하고 일률적인 목표값을 사용한다. 다수 응답자가 라벨링한 항목은 라벨 분포를 목표값으로 사용하며, 정확도는 확률이 가장 높은 라벨을 기준으로 계산한다.출처: A Data · p. 15
  • 관련 항목은 개발 데이터와 테스트 데이터 중 한쪽에만 포함되도록 분할하며, 학습 항목과 상태를 공유하거나 문장의 80% 이상이 겹치는 테스트 후보는 제외한다.출처: A Data · p. 15
  • 프롬프트에는 상태, 질문, 선택지, 답변 단서를 차례로 배치한다. 선택지는 한 토큰짜리 문자로 표시하며, 선택지는 최대 26개까지 허용한다.대부분의 테스트 항목에는 선택지가 두 개에서 네 개 있으며, 가장 큰 선택지 집합은 각각 14개, 18개, 26개로 이루어진다.출처: A Data · p. 15

B 학습 및 구현 세부사항

이 부록에서는 SanSi의 학습 설정을 기록하고 모델, 테스트 출처, 항목 유형, 과제 설정별 성능을 평가한다. 또한 근거가 누락된 과제와 깊이를 통제한 과제를 포함해 루프에 따라 답변과 보정이 어떻게 달라지는지 살펴본다.

D.1 모든 모델; B 학습 및 구현 세부사항

  • Fine-tuning으로 SmolLM2-1.7B는 19.6점, Qwen3.5-2B는 17.1점, Qwen3.5-4B는 12.2점 향상된다.학습에는 weight decay를 적용하지 않은 AdamW, LoRA 어댑터, 어댑터에는 10^-4, readout에는 10^-3의 별도 학습률을 사용한다.출처: B Training and Implementation Details · p. 15, §D.1 · p. 18

D.3 같은 구조의 모델과 비교

  • 8번째 루프의 SanSi는 한 번 실행한 Ouro-1.4B보다 13.4점 높으며, 더 오래 학습한 뒤에도 SmolLM2-1.7B보다 11점 넘게 앞선다.학습을 2,000단계로 두 배 늘리면 SmolLM2-1.7B는 1.9점, SanSi는 0.9점 향상되지만 두 모델 모두 보정 성능은 악화된다.출처: §D.3 · p. 18, §D.2 · p. 18, Table 10 · p. 21

D.6 Qwen3.5 모델

  • 8번째 루프의 SanSi는 Qwen3.5-2B보다 5.3점 높고 Qwen3.5-4B보다 1.8점 낮다.Qwen3.5-2B는 66.7%, Qwen3.5-4B는 73.8%를 기록하며, SanSi는 2번째 루프에서 Qwen3.5-2B와 동률이 된다.출처: Table 7 · p. 19, §D.6 · p. 19, Table 8 · p. 20

D.4 모든 테스트 출처

  • 8번째 루프의 SanSi는 테스트 출처 59개 중 55개에서 SmolLM2-1.7B보다 정확도가 높고, 예외는 네 곳이다.예외 중 하나인 자연어 ProofWriter에서 SanSi는 67.2%, SmolLM2-1.7B는 74.4%를 기록한다.출처: §D.4 · p. 19, Table 11 · p. 22

D.5 항목 유형

  • 다단계 추론에서는 8번째 루프의 SanSi가 Qwen3.5-4B와 동률이지만, 지식 질문과 불확실한 근거가 있는 항목에서는 뒤처진다.차이는 다단계 추론에서 0.0점, 지식 질문에서 4.9점 뒤처짐, 불확실한 근거가 있는 항목에서 3.5점 뒤처짐이다.출처: §D.5 · p. 19, Table 12 · p. 23

D.7 자체 데이터에 적용한 Kev의 학습법

  • 같은 12,800개 항목에 Kev의 학습법을 적용하면 Kev-4B는 74.3%를 기록하고 SanSi-2.6B는 이보다 1.5점 앞선다.8번째 루프에서 SanSi는 Kev-4B(자체 데이터)보다 2.4점 낮으며, 두 학습법은 Qwen3.5-4B 백본에서 비슷한 정확도를 낸다.출처: §D.7 · p. 20

D.8 공개 모델: Kev-4B와 Jev API

  • 두 모델 모두 학습에 사용하지 않은 6,040개 항목에서 SanSi-2.6B는 공개된 Kev-4B와 동률이며 Jev API는 83.5%를 기록한다.Jev API는 전체에서 78.9%에 도달하지만 답변 불가능한 항목의 62.8%에 단정적인 답변을 내놓는다. 공개 모델과의 비교는 학습 데이터 중복 때문에 제한적이다.출처: §D.8 · pp. 20–21, Table 13 · p. 23

E.1 모든 루프; E.2 연속된 루프 간 변화

  • 미세 조정 후 정확도는 3번째 루프까지 가파르게 상승한 뒤 4번째 루프부터 정체된다. 연속된 답변 간 변화는 초기에 대략 절반씩 줄어들고 7–8번째 루프에는 2.3%까지 감소한다.루프 1에서 8까지의 향상 폭은 원거리 전이에서 가장 크고(50.8%에서 68.0%), 근거리 전이에서 가장 작다(61.1%에서 67.7%). 5번째 루프까지는 각 단계에서 수정되는 답이 잘못되는 답보다 많다.출처: §E.1 · p. 23, Figure 10 · p. 24, §E.2 · p. 24

E.3 첫 루프와 마지막 루프에서 관찰한 변화

  • 답변 가능한 항목의 83.3%는 각 항목에 최적의 루프를 선택했다면 정답일 수 있었지만, 8번째 루프에서는 71.6%였다. 다만 이 정답 정보 기반 상한은 선택 규칙으로 제안하는 것이 아니다.모든 루프를 통틀어 항목의 46.7%는 매번 정답이고, 20.0%는 한 번 수정된 뒤 계속 정답이며, 6.5%는 한 번 틀린 답으로 바뀐 뒤 계속 오답이다. 10.1%는 두 번 넘게 바뀌고 16.7%는 계속 오답이다.출처: §E.3 · p. 25

E.4 답변이 정해지는 시점

  • 답변의 56.7%는 전혀 바뀌지 않으며, 이 가운데 82.2%가 정답이다. SanSi의 가장 큰 향상은 두 단일 패스 모델이 모두 정답을 낸 항목에서 나타나 52.3%에서 77.4%로 오른다.어떤 단일 패스 모델도 정답을 내지 못한 항목은 평균 2.8번째 루프에 답이 정해지고, 적어도 하나의 모델이 정답을 낸 항목은 3.0번째에 정해진다. 바뀌지 않은 오답의 평균 확신도는 0.782로, 답이 바뀐 뒤 정답이 된 경우의 0.763보다 높다.출처: §E.4 · pp. 25–26, §E.5 · p. 26

F.2 정답과 오답의 확신도

  • 8번째 루프의 확신도 AUROC는 정답과 오답을 구분하는 데 0.795로, 답이 정해지는 루프의 0.685보다 높다. SanSi의 ECE는 단일 루프 백본과 Qwen3.5 모델보다 낮지만 SmolLM2-1.7B보다는 높다.개발 세트에서 temperature를 맞추면 네 모델의 ECE는 0.022–0.029, 단정적 답변 비율은 11.0–14.7%로 낮아지며 근거 AUROC는 변하지 않는다. 원거리 전이에서는 ECE가 4번째 루프까지 0.156에서 0.084로 낮아지고, 근거리 전이에서는 0.053에서 0.149로 높아진다.출처: §F.2 · pp. 26–27, §F.3 · pp. 27–28

F.4 누락된 근거

  • 8번째 루프에서 SanSi는 답변 불가능한 항목의 17.5%에 단정적인 답변을 내놓고 근거 AUROC 0.935를 기록한다. Qwen3.5-4B의 AUROC는 0.948이고 단정적 답변 비율은 18.2%다.SanSi의 1번째 루프 값은 각각 27.1%와 0.835, 4번째 루프 값은 18.1%와 0.928이다. Jev API는 답변 불가능한 항목의 62.8%에 단정적인 답변을 내놓는다.출처: §F.4 · p. 28

G.1 과제, 학습 및 점검

  • SanSi는 깊이 1–8의 거짓말 연쇄와 객체 교환으로 8개 루프까지 학습하고, 깊이 1–16을 대상으로 16개 루프까지 평가한다. 더 깊은 항목일수록 답이 늦게 정해져 깊이 16에서는 평균 정착 루프가 4.2와 4.5에 이른다.과제에는 생성한 항목을 사용하며 테스트 예시는 학습에 포함하지 않는다. 거짓말 연쇄 예시에는 무관한 연쇄가 포함되고, 객체 교환 예시에는 질의 대상 객체와 무관한 추가 교환이 포함된다. 확률 측정값 차이는 95% bootstrap 구간과 함께 보고한다.출처: §F.1 · p. 26, §G.1 · pp. 28–29, §G.4 · p. 31

G.2 결과 요약

  • 16개 루프 후 깊이를 학습에서 보지 못한 항목에 대한 SanSi의 정확도는 거짓말 연쇄에서 72.7%, 객체 교환에서 64.0%로, 8개 루프 결과와 같다. 2번째 루프부터 Qwen3.5-4B를 앞선다.1개 루프에서는 학습에 포함된 거짓말 연쇄 깊이에서 SanSi가 Qwen3.5-4B보다 5.3점, 객체 교환 깊이에서 10.1점 뒤처진다.출처: §G.2 · pp. 29–30

G.3 깊이별 정확도

  • 깊이를 학습에서 보지 못한 객체 교환에서 SanSi의 정확도는 4개 루프 후 57.3%에서 8개 루프 후 63.7%로 오른다. 거짓말 연쇄에서는 70.9%에서 72.6%로 오른다.깊이를 학습에서 보지 못한 객체 교환에서 8번째 루프의 SanSi 시드별 정확도 최저값은 60.2%로, Qwen3.5-4B의 최고값 34.9%보다 높다. 거짓말 연쇄에서 k = 16일 때 SanSi는 평균 확신도 0.73으로 60.3%의 정답률을 보인다.출처: §G.3 · p. 30

G.5 SanSi와 같은 크기의 단일 패스 모델

  • 거짓말 연쇄 학습에서 SanSi와 크기가 같은 단일 패스 모델, 즉 두 가지 학습법의 SmolLM2-1.7B와 한 루프의 Ouro-1.4B는 모델당 두 개의 시드에서 과제를 학습하지 못했다.위의 학습법에서는 SmolLM2-1.7B와 한 루프 모델이 모든 항목에 같은 선택지를 답했으며, 모든 깊이에서 확신도는 0.51–0.52, 정확도는 50.0%였다. 학습률을 절반으로 낮추고 단계를 두 배로 한 두 번째 학습법에서 SmolLM2-1.7B의 정확도는 모든 깊이에서 45.0–59.2%였다.출처: §G.5 · p. 31

G.6 두 과제에서의 Jev API

Jev API를 깊이 제어 과제 두 개에서 제공된 상태 그대로 평가했지만, 이 과제들로 학습하지 않았으므로 점수는 파인튜닝된 모델의 점수와 비교할 수 없다. 의존 단계 수가 늘어날수록 정확도는 우연 수준에 가까워진다.

G.6 두 과제에서의 Jev API

  • Table 27은 더 얕은 모든 깊이에서 정확도가 75% 이상인 경우를 유지 깊이로 정의한다. Tables 28–30은 깊이별 정확도, 수렴 여부, 단일 패스 대조군을 보고한다.Table 28은 SanSi와 Qwen3.5-4B를 비교하고, Table 30은 거짓말 연쇄에서 SanSi와 같은 크기의 단일 패스 모델 결과를 제시한다.출처: Table 27 · p. 32, Table 28 · p. 32, Table 29 · p. 33
  • 거짓말 연쇄 깊이 3에서 62.5%인 정확도는 깊이 6부터 42.5–53.3%로 떨어진다. 객체 바꾸기에서는 깊이 3부터 정확도가 18.6–31.1%로, 우연 수준인 20%에 가깝다.API는 이 과제들로 학습하지 않았으므로, 이 결과는 파인튜닝된 모델과의 비교가 아니라 제공된 상태 그대로의 성능을 보여준다.출처: §G.6 · pp. 31–32
  • 깊이 6–16에서 신뢰도는 거짓말 연쇄에서 0.61, 객체 바꾸기에서 0.33인 반면, 정확도는 각각 47.6%와 23.6%다.깊이 3부터 한 깊이를 제외한 모든 깊이에서 신뢰도가 정확도보다 높다.출처: §G.6 · pp. 32–33

H 제거 실험: 세부 사항

  • Appendix H에서는 루프 학습, 루프 횟수, 백본 선택, 루프 평균을 다룬다.학습 관련 논의는 H.1–H.2에 있고, 이어서 H.3에서 루프 횟수, H.4에서 백본, H.5에서 루프 평균을 다룬다.출처: H Ablations: Details · p. 33

H.1 손실을 적용하는 루프와 Brier 항

부록에서는 루프 지도, 보상 기반 학습, 루프 예산, 백본, 확률 평균이 SanSi에 미치는 영향을 살펴본다. 결과에 따르면 루프는 학습된 예산 안에서 가장 잘 작동하고, 루프형 사전 학습에 의존하며, 측정 가능한 정확도 손실 없이 평균을 내 보정 성능을 높일 수 있다.

H.1 손실을 적용하는 루프와 Brier 항

  • 모든 루프를 학습하면 주로 초기 판독 성능이 향상된다. 마지막 루프에만 지도를 적용하면 루프 8에서 70.9%에 도달해 SanSi보다 1.1포인트 낮고, 희소 지도는 비용이 거의 들지 않지만 이득도 없다.교차 엔트로피만 사용하면 정확도는 비슷하게 유지되지만 루프 3과 8에서 ECE가 나빠지고, 답할 수 없는 항목에 대해 단정적인 답변이 늘어난다.출처: §H.1 · pp. 33–34

H.2 지도 학습 손실 대신 강화 학습

  • 200단계의 지도 학습 워밍업 후, 샘플링한 답에 대한 보상만으로 학습하면 루프 8 정확도는 71.7%로 72.0%에 근접하고 ECE는 낮아지지만, 증거 AUROC는 낮아진다.보상은 샘플링한 각 답에 명시된 확률을 차감하므로 확신에 비용이 따르며, proper scoring rule을 따르는 정책 경사 목적 함수가 된다.출처: §H.2 · pp. 34–35

H.3 루프 수

  • 70.8%: 네 루프로 학습한 모델은 루프 4에서 SanSi보다 0.8포인트 낮으며, 학습한 루프 수를 넘어 실행해도 통제 과제에서 추론 깊이가 늘어나지 않는다.16루프까지 실행한 SanSi의 정확도는 루프 8의 72.0%에서 루프 16의 70.1%로 낮아진다. 16루프에서 학습 중 보지 못한 깊이에 대한 정확도는 루프 8과 같다.출처: §H.3 · p. 35, Table 33 · p. 36, Table 34 · p. 37

H.4 백본

  • 75.8%: SanSi-2.6B는 Qwen3.5-4B보다 1.8포인트 높지만, 사전 학습 후 SmolLM2에 루프를 추가해도 이 미세 조정 규모에서는 정확도가 오르지 않는다.저자들은 유용한 루프가 Ouro의 사전 학습을 통해 준비되었다고 결론짓는다. 제안한 학습법은 그 루프를 의사결정 모델로 만들지만, 루프 자체를 만들어내지는 않는다.출처: §H.4 · pp. 35–37, Table 36 · p. 38

H.5 루프 평균

  • 71.8%: 여덟 루프의 평균은 루프 8의 72.0%와 정확도가 같고, 레이블 데이터나 추가 학습 없이 ECE를 0.093에서 0.044로 절반 이상 낮춘다.보정 데이터가 학습 출처에서만 나온 경우에도 평균은 다른 테스트 항목에서 temperature scaling보다 ECE가 낮다.출처: §H.5 · pp. 37–38, Table 37 · p. 39

I.1 설정

  • 이 연구에서는 8,000개의 학습 질문, 500개의 개발 질문, 3,000개의 2WikiMultiHopQA 테스트 질문을 사용한다. 생성기의 학습 대상 LoRA-adapter 파라미터는 18.1M이며, 평가는 탐욕적 답변의 token F1, exact match, gold-answer containment를 보고한다.출처: §I.1 · pp. 38–39

I.2 결과

검증기 사례 연구에서 F1 향상 폭은 두 사실을 결합해야 하는 추론 질문에서 가장 크다. 생성기가 더 긴 답변을 내놓고 보상이 더 짧은 답변을 선호하지 않으므로 exact match는 개선되지 않는다.

I.2 Results

  • Across three seeds, eight-loop reward F1 ranges from 46.5 to 48.5; four-loop runs vary from 41.0 to 48.3, so four and eight loops cannot be separated.The one-loop reward gives the lowest F1 in every seed, while four- and eight-loop rewards change places.출처: §I.2 · p. 39

I.3 Exact match와 답변의 형식

  • 8루프 보상 적용 시 exact match는 32.2로, 학습 전 32.5보다 낮으며 생성 답변의 평균 길이는 2.6단어에서 3.6단어로 늘어난다.8루프에서는 답변의 17.5%가 정답에 추가 단어를 덧붙인다. 보상은 일부 더 긴 답변을 같은 선택지로 취급해 더 짧은 형식을 선호할 수 없다.출처: §I.3 · pp. 39–40, Table 39 · p. 40

I.2 결과

  • 추론 질문의 F1은 8루프 보상 적용 시 28.6에서 49.7로 상승하며, 질문 유형별로 가장 큰 향상 폭을 보인다.질문 유형별 비교는 Figure 14에 제시되어 있다.출처: §I.2 · p. 39, Figure 14 · p. 40

J 오류 분석: 세부 사항

오류 분석에서는 SanSi의 오답을 단일 패스 모델의 오답과 비교하고, 루프에 따라 오류가 어떻게 달라지는지 추적하며, 미관측 출처 예시를 통해 수정, 퇴행, 지속되는 오류를 보여준다.

J 오류 분석: 세부 사항

  • Qwen3.5-4B는 SanSi가 틀린 항목의 68.0%에서 오답을 내고, 그중 51.7%에서는 같은 오답 선택지를 고른다. SanSi는 Qwen3.5-4B가 틀린 항목의 72.0%에서 오답을 낸다.SanSi의 오류율은 27.2%로, Qwen3.5-4B의 25.7%, SmolLM2-1.7B의 41.1%와 비교된다.출처: J Error Analysis: Details · p. 41
  • 1회 루프와 8회 루프 사이에 SanSi는 항목의 20.9%를 바로잡고 6.4%에서는 오답을 새로 낸다. 8회 루프에서 발생한 오류 중 60.9%는 모든 루프에서 오답이었다.오류는 세 개의 시드에서 정답 선택지가 하나인 테스트 항목을 대상으로 집계한다.출처: J Error Analysis: Details · pp. 40–41
  • SanSi 오답의 19.7%는 신뢰도가 0.9 이상이며, Qwen3.5-4B에서는 이 비율이 24.0%다. SanSi의 오류율은 분포 내 13.2%에서 원거리 전이 31.2%까지 범위가 넓다.근거리 전이에서의 오류율은 30.2%이며, JevBench 항목에서는 27.7%다.출처: J Error Analysis: Details · p. 41

K 예시

  • 미관측 출처 예시에서 루프는 단어 중복에 따른 오류나 참에서 미상으로 이어지는 추론 오류처럼 초기 오류를 바로잡지만, 정답을 오답으로 뒤집거나 확신에 찬 오류를 유지하기도 한다.신청자의 나이를 제거해 만든 답변 불가 항목에서 1회 루프는 0.97의 확률로 '예'라고 답한다. 이후 루프에서는 최상위 확률이 0.75의 hard-answer 임계값 아래로 내려간다.출처: K Examples · pp. 42–43

Related papers

Loading 2610.07730v1…