AI 요약 · 영어에서 AI 번역
The Molecular Structure of Thought: Mapping the Topology of Long Chain-of-Thought Reasoning
Qiguang Chen, Yantao Du, Ziniu Li, Jinhao Liu, Songyao Duan, Jiarui Guo, Minghao Liu, Jiaheng Liu, Tong Yang, Ge Zhang, Libo Qin, Wanxiang Che, Wenhao Huang
TL;DR
LLM은 사람이나 Long CoT가 아닌 모델의 모방만으로 효과적인 Long CoT 추론을 습득하기 어려울 수 있다. 이 논문은 학습 가능한 궤적을 분자 유사 구조로 모델링하고, 행동 분포 전이를 통해 이를 합성하는 Mole-Syn을 제안한다. 6개 벤치마크에서 Long CoT 성능과 RL 안정성이 향상됐다고 보고한다.
문제
이 논문은 instruction-tuned 또는 base 모델에서 cold-start하는 것이 여전히 어려운 상황에서 LLM이 효과적인 Long CoT를 어떻게 학습하는지 묻는다.
출처: §1 · p. 2방법
저자들은 Long CoT를 상호작용하는 세 가지 행동 유형으로 모델링하고, 통제된 궤적 합성을 통해 행동 전이 구조를 전달하는 데 Mole-Syn을 사용한다.
출처: §1 · pp. 2–3결과
Mole-Syn은 6개 벤치마크에서 Long CoT 성능과 RL 안정성을 향상한다.
출처: §1 · p. 3, §10 · p. 13시사점 및 한계
과제상 동등한 추적이라도 행동 분포와 전이 양상이 다를 수 있으며, 서로 다른 교사 모델에서 얻은 안정적인 이성질체를 혼합하면 학습이 불안정해질 수 있다.
출처: §1 · p. 2분석은 제한된 수의 교사 모델과 학생 백본을 사용하며 offline distillation과 supervised fine-tuning에 초점을 맞춰, 현실적인 온라인 또는 상호작용형 RL 유사 설정은 향후 과제로 남긴다.
출처: Limitations · p. 14
Abstract
from arXiv · showhide
Large language models (LLMs) often fail to learn effective long chain-of-thought (Long CoT) reasoning from human or non-Long-CoT LLMs imitation. To understand this, we propose that effective and learnable Long CoT trajectories feature stable molecular-like structures in unified view, which are formed by three interaction types: Deep-Reasoning (covalent-like), Self-Reflection (hydrogen-bond-like), and Self-Exploration (van der Waals-like). Analysis of distilled trajectories reveals these structures emerge from Long CoT fine-tuning, not keyword imitation. We introduce Effective Semantic Isomers and show that only bonds promoting fast entropy convergence support stable Long CoT learning, while structural competition impairs training. Drawing on these findings, we present Mole-Syn, a distribution-transfer-graph method that guides synthesis of effective Long CoT structures, boosting performance and RL stability across benchmarks.
1 서론
서론에서는 LLM이 효과적인 Long CoT를 어떻게 학습하는지 묻고, 인간이나 성능이 낮은 모델을 모방하는 방식으로는 이를 안정적으로 습득하지 못할 수 있다고 지적한다. 추론을 안정적인 분자 유사 구조로 설명하고, 행동 구조를 전이해 이를 합성하는 Mole-Syn을 제안한다.
1 서론
- 저자들은 인간과 instruction 모델의 모방 학습이 효과적인 Long CoT를 안정적으로 습득하게 하지 못할 수 있다고 보고하며, LLM이 효과적인 Long CoT를 학습하고 표현하는 방식을 묻는다.이러한 모델은 긴 궤적에서 일관성을 잃거나 새로운 과제로 패턴을 전이하지 못할 수 있다고 지적한다.출처: §1 · p. 2
- 반복해서 나타나는 세 가지 행동인 Deep-Reasoning, Self-Reflection, Self-Exploration이 결합을 형성하며, 이들의 전반적 배열이 장기 추론을 안정화한다고 제안한다.Deep-Reasoning은 국소적인 연역 클러스터를 형성하고, Self-Reflection은 이전 단계로 연결하며, Self-Exploration은 멀리 떨어진 클러스터를 잇는다.출처: §1 · p. 2
- 같은 과제를 풀고 유사한 의미 영역을 거치는 Long CoT 궤적도 행동 분포와 전이에서 차이를 보일 수 있으며, 서로 다른 교사 모델의 안정적인 이성질체를 섞으면 학습이 불안정해질 수 있다.논문은 토큰 통계가 일치하더라도 이질적인 궤적이 효과를 내지 못할 수 있는 이유를 이것으로 설명한다.출처: §1 · p. 2
- Mole-Syn은 강력한 추론 모델에서 행동 전이 그래프를 추정한 뒤, 교사 모델의 출력을 그대로 복사하는 대신 제어된 합성을 통해 행동 구조를 전이한다.논문은 여섯 개 벤치마크에서 Long CoT 성능과 RL 안정성이 향상됐다고 보고한다.출처: §1 · p. 2
- 서론은 구조 합성을 Long CoT 구조를 흐트러뜨릴 수 있는 요약이나 추론 압축 등의 방법에 대한 대안으로 제시한다.제공된 대목은 이러한 구조 훼손이 내부 추론 과정을 재현하는 데 한계를 초래한다고 설명한다.출처: §1 · p. 3
2 예비 연구: Long Chain-of-Thought를 위한 콜드스타트 LLM
이 절에서는 Long CoT 학습 경로로 강한 추론 모델 증류와 약한 지시 모델의 ICL, 인간 추론 궤적 기반 파인튜닝을 비교한다. 강한 모델의 궤적만이 Long CoT 구조의 학습과 유지를 안정적으로 뒷받침한다.
2 예비 연구: Long Chain-of-Thought를 위한 콜드스타트 LLM
- 비교 대상은 세 가지 출처다. 강한 추론 LLM, ICL 프롬프트를 사용한 약한 지시 LLM, 인간 추론 궤적이다.복잡한 추론 과제의 인간 풀이를 사용해 모델을 파인튜닝한다.출처: §2 · p. 3
- 약한 지시 모델의 ICL 증류는 성능을 크게 낮추며, 확장된 탐색과 일관성 없이 약 6–8단계에 그치는 궤적을 생성한다.저자들은 이를 견고한 장쇄 모방의 문제가 아니라 ICL 기반 증류의 한계로 본다.출처: §2 · p. 3
- 인간 추론 궤적 기반 파인튜닝은 강한 추론 모델 증류에서 얻는 Long CoT 성능 향상을 재현하지 못한다.저자들은 인간 풀이가 국소적인 문제 해결에는 도움이 될 수 있지만, 장기 추론 분포를 안정적으로 담아내지는 못할 수 있다고 제안한다.출처: Figure 4 · p. 3, §2 · p. 4
- 강한 추론 모델 증류만이 Long CoT 구조를 부여하고 유지하는 반면, 약한 모델의 ICL과 인간 추론 궤적 기반 파인튜닝은 제한적인 성능 향상만 가져온다.저자들은 견고한 장쇄 학습에 고품질 추론 예시가 중요하다고 본다.출처: §2 · pp. 3–4
3 가설: Long CoT의 안정적인 ‘분자 구조’
효과적인 Long CoT는 추론 단계와 간선에 행동 레이블을 부여한 분자 유사 구조로 조직된다고 제안한다. 세 상호작용 유형은 국소적 논리 의존성, 장거리 점검, 탐색적 연관성을 설명한다.
3 가설: Long CoT의 안정적인 ‘분자 구조’
- 이 프레임워크는 Long CoT 궤적을 행동 지향 그래프로 나타내며, 추론 단계는 노드로, 행동 주석이 달린 간선은 엣지로 표현한다.코퍼스에서는 연속한 간선 사이의 행동 전이와 주변 행동 분포를 추정한다.출처: §3 · p. 4
- Deep Reasoning은 공유 결합처럼 작용해 단계 사이의 방향성과 연속성을 보존하는 강한 논리적 의존성을 부호화한다.이 논리적 골격이 무너지면 후속 단계와 답변이 불안정해질 수 있다.출처: §3 · p. 4
- Self-Reflection은 수소 결합처럼 작용한다. 후속 단계가 궤적 내 멀리 떨어진 지점을 연결하며 앞선 전제를 점검하고 수정하거나 강화한다.이러한 연결은 논리의 이탈과 환각을 억제하고 더 자기 일관적인 구조를 뒷받침한다.출처: §3 · p. 4
- Self-Exploration은 일시적인 반데르발스 상호작용과 유사하며, 더 강한 제약이 적용되기 전에 개념을 탐색하거나 결합하는 낮은 확신도의 연관을 가능하게 한다.이 대목은 이를 의미 공간에서의 가설 연역 및 귀납적 추론을 뒷받침하는 것으로 설명한다.출처: §3 · p. 4
4 검증: 분자 구조
Long CoT 궤적은 안정적이고 공유되는 결합 분포를 보이며, 미세조정은 키워드에 의존하지 않고 추론 행동을 내재화한다. 접힌 위상 구조와 행동별 attention 에너지는 추론 구조가 조직되는 방식을 보여준다.
4.1 Long CoT의 안정적인 결합 분포
- 모델 간 transfer graph 상관관계는 2,000개가 넘는 샘플에서 0.9를 웃돌며(p<0.001), 표본 추출 크기가 달라도 0.95를 넘는다.보고된 안정성은 효과적인 Long CoT 궤적이 견고한 추론 위상을 공유한다는 점을 시사한다.출처: §4.1 · p. 4, Figure 5 · p. 5
4.2 SFT는 키워드가 아니라 이러한 결합 구조를 실제로 학습한다.
- 키워드가 없거나 임의의 대체 표현을 사용해도, 기반이 되는 추론 행동이 유지된다면 충분히 학습했을 때 모델은 비슷한 성능에 도달한다.명시적인 키워드는 학습을 가속하지만 필수적이지는 않다.출처: §4.2 · pp. 5–6
4.3 ‘논리적 결합-접힘’ 구조
- 심층 추론 단계의 72.56%는 거리 3 이내에 남고, 성찰 단계의 81.72%는 이전의 유사한 클러스터와 다시 연결되며, 탐색 단계의 평균 범위는 5.32다.이러한 패턴은 단순한 선형 사슬이 아니라 접혀 있고 영역별로 구조화된 위상을 뒷받침한다.출처: §4.3 · pp. 6–7
4.4 결합의 attention ⇔ 에너지 수준
- 모든 모델에서 attention-energy 분포는 심층 추론이 가장 강하고, 성찰이 중간이며, 탐색이 가장 약한 순으로 일관되게 나타난다.이 분석은 attention weight를 음수 logits에 대한 Gibbs–Boltzmann 분포로 다루고, 재매개변수화된 logits를 에너지로 사용한다.출처: §4.4 · p. 7
5 특징: 효과적인 의미 이성질체
의미 이성질체는 개념은 비슷하지만 행동 분포와 전이가 다른 추론 사슬이다. 효과는 결합 구조와 분포 정렬에 달려 있다. 서로 다른 구조의 작은 변화나 동시 활성화는 학습과 성능을 불안정하게 만들 수 있다.
5 특징: 효과적인 의미 이성질체
- 의미 이성질체는 같은 과제를 해결하고 비슷한 의미 영역을 거치지만 행동 분포와 전이가 다른 궤적이다.과제군마다 준최적 이성질체가 여러 개 존재할 수 있지만, 토큰 통계가 일치하더라도 서로 다른 교사의 안정적인 이성질체를 혼합하면 학습이 불안정해질 수 있다.출처: §5 · p. 8
5.1 의미 이성질체의 결합 구조가 Long-CoT 학습의 핵심이다
- 시연 예제가 목표 추론 키 분포와 일치하면 ICL 향상이 나타나지만, 상관계수가 0.95인 추론 사슬도 성능을 10% 넘게 떨어뜨릴 수 있다.분포 상관도가 약 0.9인 구조가 잘 잡힌 변형은 일관된 향상을 보이지만, 작은 구조적 차이로도 준최적 이성질체가 취약해질 수 있다.출처: §5.1 · p. 8
5.1.1 이성질체의 모든 결합이 효과적인 것은 아니다.
- R1 모델은 76.1%의 사례에서 정보성이 가속되는 반면, 사람은 81.3%의 사례에서 순방향 정보 이득 변화가 0.1 미만이다.R1 추론은 발산적 탐색(slope > 0.6, Δentropy > 0.05)과 수렴적 검증을 번갈아 수행한다. 사람의 엔트로피 프로파일은 더 균일하다.출처: §5.1.1 · p. 9
5.2 두 안정 구조 간의 충돌
- 상관도가 높은(r ≈0.9) R1 및 OSS 추론 사슬을 동시 활성화하면 결합 분포가 요동하고 자기 상관도는 0.8을 넘지 않으며, 성능은 어느 한 추론 사슬만 사용할 때보다 낮다.이 결과는 통계적 유사성만으로 구조적 양립성이 보장되지는 않음을 보여준다.출처: §5.2 · pp. 9–10
6 합성 화학: 처음부터 Long CoT 분자 합성
이 절에서는 교사 출력을 증류하는 대신, 교사에서 도출한 행동 전이 구조를 instruction LLM에 전달해 Long CoT 궤적을 생성하는 방법을 제안한다. Mole-Syn 생성 데이터는 QwQ 증류 성능에 근접하며, Mole-Syn 초기화는 더 안정적이고 지속적인 RL 성능 향상과 관련된다.
6 합성 화학: 처음부터 Long CoT 분자 합성
- Mole-Syn은 더 강력한 추론 LLM의 네 가지 추론 행동으로 구성된 전이 확률 그래프에서 random walk를 수행해, instruction LLM으로 목표 궤적을 합성한다.이 프레임워크는 Long CoT 증류로 궤적을 얻는 방식의 대안으로 제시된다.출처: §6 · p. 10
- Mole-Syn 생성 데이터는 QwQ distillation에 가까운 추론 성능을 보여, 지시 기반 합성이 유용한 구조적 규칙성을 유도할 수 있음을 시사한다.이 대목은 이를 비용이 더 낮은 행동 전이 방식으로 설명한다.출처: §6 · p. 11
- Mole-Syn으로 초기화한 모델은 base LLM으로 초기화한 모델보다 성능이 높고, 장기간 RL 학습에서도 향상된 성능을 유지한다.보고된 fine-tuning 성능 향상은 더 안정적이며, 이는 초기 추론 능력이 더 뛰어나고 RL 적응도 더 안정적임을 나타낸다.출처: §6 · p. 11
- 논문은 전이 기반 데이터셋이 Long CoT 증류 데이터 없이도 성능이 높은 교사 모델의 행동 분포를 재현하고, 증류 성능에 가까운 수준에서 안정적으로 수렴한다고 보고한다.저자들은 이를 비용이 더 낮은 instruction 수준의 합성으로 설명한다.출처: §6 · p. 11
7 Function: Long CoT 구조에서 각 결합의 형성 기능
이 절은 세 가지 추론 행동이 의미 구조에 서로 다른 영향을 미친다고 설명한다. Deep Reasoning은 뼈대를 조밀하게 만들고, Self-Exploration은 탐색 공간을 넓히며, Self-Reflection은 논리를 접어 안정화한다. 제시된 측정값은 이러한 행동을 의미 공간의 부피 또는 탐색 범위 변화와 연결한다.
7 Function: Long CoT 구조에서 각 결합의 형성 기능
- 22%: Deep Reasoning은 기준선 대비 의미 공간의 최소 포함 구 부피를 줄여 핵심 논리 구조를 조밀하게 만든다.저자들은 이것이 답변의 뼈대를 세우지만 전역적 안정성이나 정확성까지 보장하지는 않는다고 말한다.출처: §7 · p. 11
- 35.2에서 31.2로: Self-Reflection은 시스템 부피를 줄이는 동시에 멀리 떨어진 노드들을 교차 연결해 일관성을 검증하고 모순되는 분기를 억제한다.이 대목은 새로운 연역 단계를 추가하기보다 논리 사슬을 접는 과정으로 성찰을 설명한다.출처: §7 · p. 12
- 23.95에서 29.22로: Self-Exploration은 의미 공간에서 탐색 행동을 확장해 가능한 해법의 폭을 넓히지만, 일관성이 낮은 분기를 추가할 수도 있다.이 과정은 즉각적인 안정성이 낮아지는 대신 탐색 범위가 넓어지는 것으로 설명된다.출처: §7 · p. 12
- Long CoT 구조는 Deep Reasoning에 의한 뼈대의 조밀화, Self-Exploration에 의한 탐색 공간의 확장, Self-Reflection을 통한 안정적인 해법으로의 수렴을 결합한다.논문은 이 진행 과정을 의미 공간에서 최적 상태를 향해 접히는 단백질에 비유한다.출처: §7 · p. 12
8 악화된 분자 구조는 쉽게 복원되지 않는다
이 절에서는 Long CoT 궤적을 압축하거나 요약하면 증류 성과가 약화되고 추론 행동 분포가 달라진다고 보고한다. 이러한 구조적 교란이 Long CoT 과정의 행동 복제를 막을 수 있다고 주장한다.
8 악화된 분자 구조는 쉽게 복원되지 않는다
- QwQ-32B 근거에 비해 토큰을 ∼45% 줄이면 Gemini-2.5-Pro-Thinking과 Claude-4-Sonnet에서 증류한 결과의 정확도가 떨어진다. 이는 압축이 Long CoT 구조를 교란할 수 있음을 보여준다.Table 3은 Gemini와 Claude에서 증류한 결과를 보고한다.출처: §8 · p. 12
- 압축된 궤적으로 학습하면 전체 궤적으로 학습할 때보다 성능이 낮고, 증류 효과가 2% 감소한다.Table 4는 OpenAI-OSS와 QwQ 증류 궤적을 바탕으로 요약한 Long CoT 궤적의 결과를 보고한다.출처: §8 · p. 12
- 요약은 추론 행동 분포를 바꾸고, 관찰 가능한 출력과 내부의 오차 한계가 있는 전이 사이에 간극을 만들어 궤적 역전과 행동 복제를 제한한다.논문은 구조적 일관성의 교란이 Long CoT 구조를 증류로부터 보호하는 방식이라고 제시한다.출처: §8 · pp. 12–13, Figure 14 · p. 13
9 관련 연구
관련 연구 절에서는 CoT 연구가 단계별 모방에서 트리 및 그래프 구조의 추론 궤적으로 발전해 온 과정을 살펴보며, 이러한 표현으로는 논리적 행동 분포를 포착할 수 없음을 지적한다. 이 논문은 대신 분자 유사 관점에서 간선을 행동 분포 간 상호작용으로 본다.
9 관련 연구
- Long CoT 콜드 스타트는 일관성이 저하될 수 있고, 성능 향상을 위해 표적화된 학습이나 고품질 궤적이 필요한 경우가 많아 여전히 어렵다. 증류 결과는 추론 품질에 따라 달라진다 [11] [13] [14] [15].이 대목은 강력한 추론 모델에서 유용한 행동을 전이하는 것과 성능이 낮은 지시 모델이 형식만 모방하는 것을 대비한다.출처: §9 · p. 13
- 선행 연구에서는 이전 단계를 수정하기 위한 성찰 을 살펴봤으며, 견고성을 높이기 위해 성찰과 탐색을 결합했다 [18].초기 CoT 연구는 단계 수준 모방과 국소적 일관성을 강조했다.출처: §9 · p. 13
- 후속 연구에서는 트리 또는 그래프 구조의 추론으로 분기와 재방문을 표현했으며, 개별 궤적에서 행동을 노드로 모델링했다.논문은 노드 중심 관점으로는 논리적 행동의 전체 분포를 포착할 수 없다고 설명한다.출처: §9 · p. 13
- 이 논문은 Long CoT를 간선이 논리적 행동의 안정적인 분포를 인코딩하는 분자 유사 구조로 모델링하여, 그 배열이 효과적인 학습을 어떻게 뒷받침하는지 살펴본다.이는 개별 궤적을 행동 노드로 표현하는 방식과 대조된다.출처: §9 · p. 13
10 결론
이 연구는 Long CoT 학습을 Self-Reflection, Deep-Reasoning, Self-Exploration 결합으로 형성되는 분자 유사 구조로 모델링한다. 행동 전이 분포를 사용해 의미 이성질체를 분석하고, 견고한 Long CoT 구조를 구축하는 방법으로 Mole-Syn을 제시해 성능과 RL 안정성을 높인다.
10 결론
- Mole-Syn은 분포 전이 그래프를 사용해 견고한 Long CoT 구조를 구축하고, 성능과 RL 안정성을 높인다.출처: §10 · p. 13
- 의미 이성질체 프레임워크는 행동 전이 분포를 사용해 Long CoT의 안정성과 실패 양상을 이해하는 데 통찰을 제공한다.출처: §10 · p. 13
- 이 연구는 Long CoT 학습을 Self-Reflection, Deep-Reasoning, Self-Exploration 결합을 통해 나타나는 분자 유사 구조로 개념화한다.출처: §10 · p. 13
한계
이 절에서는 모델 범위, 학습 설정, 기하학적 시각화, 자동 행동 라벨의 한계를 살펴보고, attention 기반 추론 결합과 Long CoT 궤적 구조에 관한 분석을 설명한다. 또한 추론 결합 주석, 전이 분포 분석, 궤적 접힘 시각화 방법을 제시한다.
한계
- 분석은 소수의 teacher model과 backbone, 오프라인 distillation과 SFT, 근사적인 결합 기하학, 자동 라벨링된 행동 데이터에 의존하므로, architecture 편향, 온라인/RL 전이, 보편적 구조, 라벨 노이즈는 여전히 해결되지 않았다.저자들은 라벨링의 초기 강건성 점검을 언급하지만, 노이즈와 편향은 남을 것이라고 말한다.출처: Limitations · p. 14
C.1.1 추론 행동 정의.
- Long CoT는 각 단계 전이를 Deep Reasoning, Self-Reflection, Self-Exploration 또는 Normal Operation으로 라벨링하는 방식으로 모델링한다. 이에 따라 행동 라벨이 붙은 edge가 생성되며, 모델 간 분포를 비교하고 전이할 수 있다.출처: §C.1.1 · pp. 18–19
C.1.2 추론 결합의 Attention Energy 정의.
- Attention energy는 attention logit을 Gibbs/Boltzmann 분포로 재매개변수화한다. 에너지가 낮을수록 attention이 높고 의존성이 강하며, edge 에너지는 라벨링된 행동별로 집계된다.출처: §C.1.2 · p. 19
C.1.3 추론 결합의 Attention Energy 순서
- 제시된 RoPE의 거리에 따라 감소하는 공분산 및 양의 정렬 가정에서, 기대 결합 에너지는 Deep Reasoning < Self-Reflection < Self-Exploration 순이다.출처: §C.1.3 · p. 20
C.1.4 저에너지 edge가 경로 집계를 지배한다.
- 한 edge를 더 낮은 에너지의 edge로 바꾸면, 길이가 같은 경로의 상대적 영향력이 최소 exp(δ)만큼 증가한다. 에너지가 일관되게 낮은 Deep Reasoning edge는 다중 홉 의존성을 안정화할 수 있다.출처: §C.1.4 · p. 22
C.1.5 Long CoT 과정은 더 안정적인 추론 구조를 찾는다.
- 저자들은 Long CoT 학습이 attention energy를 최소화하는 안정적 구성을 찾는다고 가정한다. 에르고딕 행동 빈도와 조건부 에너지 가정 아래에서 궤적 평균 에너지는 행동 빈도로 가중한 평균값들의 합으로 분해된다.출처: §C.1.5 · pp. 22–23
C.1.5 Long CoT 과정은 더 안정적인 추론 구조를 찾는다
- Attention은 에너지가 낮은 행동을 지수적으로 선호해, 안정적이고 에너지가 낮은 Long CoT 추론 구조로 경로 설정을 편향시킨다.에너지 편차가 유계일 때, 평균 에너지 차이 γ가 2∆를 넘으면 Deep Reasoning과 Self-Reflection이 Exploration보다 우세하다. 또한 이 대목은 그 과정을 에너지가 낮은 에르고딕 평형에 도달하는 것으로 설명한다.출처: §C.1.5 · p. 23
C.2 Long CoT의 안정적 추론 결합 분포
- N > 2k에서 전이 그래프 상관은 0.9를 초과했고, 해당 임계값을 넘는 비교값은 다섯 번의 trial에서 0.95를 초과했다.OpenThoughts-3 task의 trace는 DeepSeek-R1-671B, OpenAI-o1, QwQ-32B를 사용해 생성했다. 결합 주석은 200개 예제에서 사람 라벨을 기준으로 macro-F1 0.85를 초과했다.출처: §C.2 · pp. 24–25
C.3 Long CoT의 논리적 결합-접힘 구조
- 추론 단계를 통합 의미 공간에 임베딩하면 논리적 결합을 시각화하고 궤적 접힘을 정량화하는 기하학적 지표를 산출할 수 있다.기하학적 분석에서는 완전한 궤적을 단계 임베딩의 순서열로 표현한다.출처: §C.3 · p. 25
C.3.1 결합 구조의 기하학적 임베딩과 시각화
- Qwen3-8B 단계 임베딩과 t-SNE projection은 국소 이웃 구조를 보존하면서 선택된 결합 행동을 시각화한다.논리 클러스터는 임베딩 점들의 퍼짐에 맞춰 조정되는 거리 임계값을 사용해, 가까운 인스턴스를 반복적으로 병합하여 형성한다.출처: §C.3.1 · p. 25
C.3.2 접힘의 기하학적 지표
이 절에서는 추론 행동이 의미 공간을 어떻게 이동하는지 정량화하고, 결합 주의 및 SFT 분석을 설명하며, 의미 이성질체 구성과 ICL 시뮬레이션을 개괄한다.
C.3.2 접힘의 기하학적 지표
- 반성 전이의 81.72%는 사전 정의된 임계값 내에서 이전 상태와 다시 연결되며, 심층 추론 단계의 72.56%는 dt < gt < 3을 만족하고, 탐색 단계의 평균 궤적 길이는 5.32다.결과에 따르면 반성은 응집된 군집으로 돌아가고, 심층 추론은 논리적 이웃 영역에 머무르며, 탐색은 긴 경로를 거친다.출처: §C.3.2 · pp. 25–26
C.4 서로 다른 논리적 결합의 주의 에너지 수준
- 결합 주의 분석은 주석이 달린 추론 행동에 대해 직전 토큰의 주의를 기록하며, 기본적으로 마지막 층의 헤드 평균과 행동별 단계 연결을 사용한다.반성은 은닉 공간에서 가장 가까운 이전 단계와 연결되고, 심층 추론은 바로 직전 단계와 연결되며, 탐색은 이전 단계에서 탐색 단계로 이어진다.출처: §C.4 · p. 26
C.5 결합 구조의 SFT 학습
- SFT 분석에서는 사전학습된 Llama-3.1-8B-Base 모델과 R1-distilled Long-CoT 궤적으로 학습한 Think-SFT 버전을 비교한다.이 연구는 정렬된 은닉 상태를 사용하는 cross-coder SAE를 적용하고, 활성화 확률 차이로 특징을 필터링한 뒤 추론 토큰에서 활성화가 높은 특징을 선택한다.출처: §C.5 · p. 26, §C.5.1 · p. 26
C.5.1 설정: SFT는 실제로 이 결합 구조를 어떻게 학습하는가?
- 키워드 조작 설정에서는 추론 단서를 의미를 보존하는 대안 표현으로 바꾸되, 궤적, 구문, 문제 분포, 답변 유형, 궤적 길이는 유지하고자 한다.두 가지 대체 방식은 서로 다른 표현을 사용해 표면 문구에 대한 민감성을 검증한다.출처: §C.5.1 · pp. 27–28
D 의미 이성질체 구성 세부 사항
- 이 절에서는 구조가 잘 갖춰진 궤적의 증류, ICL 시뮬레이션, 메타인지적 진동 분석, 안정적인 구조 사이의 충돌 학습으로 의미 이성질체를 구성하는 방법을 제시한다.구성 설정은 Appendix B를 따른다고 설명한다.출처: D Semantic Isomer Construction Details · p. 28, §D.1 · p. 29
D.1 구조가 잘 갖춰진 의미 이성질체의 증류
- 구조가 잘 갖춰진 이성질체의 증류 설정에서는 기반 및 지시형 LLM 여덟 개를 사용하고, 고급 추론 LLM 세 개로부터 증류한다.출처: §D.1 · p. 29
D.2 의미 이성질체 구조의 ICL 시뮬레이션
- ICL 시뮬레이션에서는 후보와 Qwen2.5-32B 교사의 추론 키 분포 간 Pearson correlation을 기준으로 시연 예시 하나를 선택한 뒤, 생성된 궤적으로 학생 모델을 학습한다.선택 전략은 무작위, 높은 상관 정렬(r ≳ 0.9), 낮은 상관 불일치(r < 0.8)이며, 시연 예시는 질문마다 고정한다.출처: §D.2 · pp. 29–30
D.3.1 설정: 정보 흐름 분석 및 메타인지적 진동 정량화
이 절에서는 추론 구조와 행동을 성능에 연결하는 분석을 설명하며, 정보 흐름 측정, Mole-Syn 합성, 강화학습, 기하학적 분석 방법을 다룬다. 또한 요약된 20K 샘플을 사용하는 학습 설정을 명시하고, 모델과 보고 결과가 다른 점을 제외하면 앞 절의 설정을 따른다.
D.3.1 설정: 정보 흐름 분석 및 메타인지적 진동 정량화
- 추론 단계는 semantic-probability 벡터로 인코딩한 뒤 누적 정보량과 단계별 변화 궤적으로 사상했으며, exploration 및 validation 상태는 기울기와 entropy 변화 임계값으로 분류했다.High-entropy exploration은 기울기 mt > 0.6 및 ∆entropy > 0.05를, low-entropy validation은 mt ≈ 0 및 |∆entropy| < 0.05를 사용하며, 전이 빈도와 주기성을 측정했다.출처: §D.3.1 · p. 30
E.1 Mole-Syn을 이용한 지도 미세조정
- Mole-Syn 합성은 Llama-3.1-8B-Instruct에서 성능이 낮았고, Qwen 모델은 Llama-70B와 결합했을 때 안정적으로 작동했으나, deep-reasoning 과제에서는 Qwen-32B가 Qwen-7B와 Llama-70B보다 우수했다.분석에서는 합성 backbone을 바꾸어 self-reflection, exploration 및 내재적 추론 능력이 증류 데이터에 미치는 영향을 검증했다.출처: §E.1 · p. 33
E.2 Mole-Syn 초기화를 이용한 강화학습
- RL 비교에서는 QwQ-distilled 체크포인트와 Mole-Syn-SFT 체크포인트 간의 과제, 보상, 하이퍼파라미터를 동일하게 유지해 초기화의 영향만 분리했으며, 제시된 내용에는 성능 수치가 없다.모델은 MATH와 AIME 1989–2023에서 1,000 steps 동안 학습했으며, Table 8은 세 가지 초기화 및 여섯 개 벤치마크의 결과를 보고한다고 명시되어 있다.출처: §E.2 · p. 33, Table 8 · p. 34
F.1 Deep Reasoning: 기본 구조의 조밀화.
- Deep Reasoning은 baseline short-CoT 및 Long-CoT 학습의 semantic-space 부피를 비교해 평가했으며, Deep Reasoning transfer probability는 50%로 설정했다. 양의 ∆Deep은 핵심 구조의 수축을 나타낸다.단계 표현을 t-SNE로 3차원으로 축소한 다음, 근사 최소 외접구의 부피를 측정했다.출처: §F.1 · p. 34
F.2 Self-Exploration: 논리 공간 확장.
- Self-exploration은 baseline short-CoT 또는 direct-answering 학습과 Long-CoT 학습 간의 최소 외접구 부피를 비교해 측정했으며, self-exploration transfer probability는 50%를 초과했다. 양의 ∆Exp는 논리 공간의 확장을 의미한다.비교 과정에서 다른 행동 확률은 변경하지 않았다.출처: §F.2 · p. 35
F.3 Self-Reflection: 논리적 결과의 조밀화와 안정화.
- Self-Reflection으로 전체 semantic volume은 35.2에서 31.2로 감소했으며, 클러스터 내 거리는 더 짧아지고 클러스터 간 거리는 안정적으로 유지되거나 약간 증가했다.보조 클러스터링 분석에 따르면 지배적인 의미 클러스터는 더 조밀해지고, 일관성이 떨어지는 분기는 제거되거나 약화된다.출처: §F.3 · p. 35
G.1 결합 강화 행동이 성능에 미치는 영향
- 추론 행동이 균형을 이룰 때 성능이 가장 높다. 복잡한 질의에서는 깊이가 중요하지만, 과도한 reflection은 단순 과제의 정확도를 낮출 수 있고 과도한 exploration은 복잡한 과제의 수렴을 방해할 수 있다.과도한 exploration에서는 AIME 사례의 62.7%가 명확한 결론 없이 추론을 이어갔으며, 단순 질의에서는 대체로 더 직접적인 exploration이 유리했다.출처: §G.1 · p. 36
G.2 결합 길이가 추론 품질에 미치는 영향
- 추론 단계 수와 결합 길이를 늘리면 대체로 성능이 향상되며, 특히 deep reasoning에서 효과가 컸다. 그러나 exploration 결합이 지나치게 길면 의미적 이탈이 발생했고, 짧은 결합은 단순 과제에, 긴 결합은 복잡한 과제에 유리했다.분석에서는 행동 비율을 고정한 채 결합 길이를 바꾸었다.출처: §G.2 · p. 36
H.2 추론 과정 요약 분석.
- 모델은 요약된 20K 샘플로 학습했으며, 다른 분석 실험은 모델과 보고 결과를 제외하고 이전 설정을 따랐다.결과는 Table 4에 보고되어 있다.출처: §H.2 · p. 36