PaperlayerView exact revision on arXiv

Source-linked AI summary

Formalizing Latent Thoughts: Four Axioms of Thought Representation in LLMs

Fahd Seddik, Fatemeh Fard

arXiv:2606.27378v1cs.CLcs.LG

TL;DR

기존 평가는 주로 downstream accuracy로 연속적 사고 표현을 판단하므로, 그 고유한 기능적 품질은 불분명하다. 이 논문은 네 가지 직접적 공리 측정치를 제안하며, 평가된 표현이 task identity는 보존하지만 question별 identity는 붕괴시키고, 측정된 모든 축에서 input embedding이 이들과 일치한다는 것을 보인다.

  • 문제

    기존 평가는 주로 downstream accuracy를 사용하며, decoder나 prompt와 독립적으로 연속적 사고 표현의 품질을 평가할 형식적이고 고유한 기준이 부족하다.

  • 방법

    이 framework는 Causality, Minimality, Separability, Stability를 정의하고, 재학습 없이 candidate representation과 open-weight LLM 전반에서 각각을 직접 측정한다.

  • 결과

    평가된 어떤 candidate도 네 가지 공리를 모두 만족하지 못한다. 표현은 거친 task identity는 유지하지만 question별 identity는 잃으며, input embedding은 측정된 모든 축에서 이들과 일치한다.

  • 시사점 및 한계

    네 가지 공리는 representation을 비교하고 aggregate accuracy를 넘어 binding constraint를 식별하기 위한 명시적이고 분해 가능한 진단 목표를 제공한다.

  • 시사점 및 한계

    이 audit는 23개의 BBEH reasoning task와 다섯 개의 open-weight English-language LLM을 다루며, 평가된 candidate에서는 사소하므로 lexical invariance는 측정하지 않았다.

Abstract

from arXiv · show

We introduce an axiomatic evaluation framework for latent thought representations in LLMs, comprising metrics that are independent of downstream benchmark scores and reveal representational failures that benchmark accuracy masks. Existing evaluations conflate representation quality with model capacity. Therefore, failures cannot be attributed to the representation rather than to the model that processes it. We formalize four functional axioms (Causality, Minimality, Separability, and Stability) and define a quantitative measure for each, computed directly on the representation independently of downstream accuracy. We audit open-weight LLMs across 23 reasoning tasks (e.g., Spatial Reasoning, Factual QA). We find that no candidate satisfies all four axioms simultaneously, that the representations distinguish task type reliably but cannot distinguish between two questions within the same task, and that the representations encode little information beyond what is already present in the input embedding. The failure is consistent across dense, reasoning-distilled, and RL-trained model families, indicating that the gap is structural rather than a property of model size or training procedure.

1 서론

이 논문은 downstream accuracy와 독립적으로 latent thought representation을 평가하는 공리적 framework를 제시하고, task identity는 유지하면서 개별 질문을 표현하는 데서 체계적 실패가 나타나는지를 후보 representation에 대해 감사한다.

  • 동기: 이 framework는 representation quality를 model capacity 및 downstream accuracy와 분리할 수 있는 형식적 기능 요구사항과 intrinsic evaluation의 부재를 다룬다.후속 chain의 reasoning quality만이 아니라 LLM이 문제에 대해 무엇을 encode하는지를 평가한다.
  • 공리적 형식화: 이 framework는 thought representation을 그 형식과 독립적으로 특징짓는 네 가지 기능적 속성—Causality, Minimality, Separability, Stability—을 정의한다.이는 vector, tensor, vector set에 적용되며, 공리들이 논리적으로 일관되고 독립적이며 완전함을 증명한다.
  • 실증적 감사: 평가한 후보 중 네 가지 공리를 모두 만족하는 것은 없었으며, 거친 task identity는 유지했지만 question별 identity를 잃고 측정한 모든 축에서 input embedding과 일치했다.BBEH에 대한 audit는 downstream accuracy가 가릴 수 있는 세밀한 representational collapse를 드러낸다.
  • Intrinsic evaluation protocol: 각 공리는 retraining 없이 source LLM에서 계산되고 downstream task accuracy와 분리된 intrinsic measure를 부여받는다.이 measure들은 KL substitution error, Minimality Gap, same-task 및 cross-task discriminator accuracy, Distributional Consistency Score다.
  • 기여: 네 가지 measure는 downstream accuracy 변화의 원인을 특정 representational property에 귀속하기 위한 정량적 최적화 목표와 진단을 제공한다.이를 통해 thought representation은 step count, token budget, explicit-CoT imitation 같은 heuristic proxy가 아니라 연구 대상이 된다.

2 관련 연구

선행 연구는 LLM hidden state가 reasoning, logic, task difficulty에 관한 풍부한 신호를 인코딩한다는 점을 보여주며, model intent의 latent representation을 동기화한다. Continuous reasoning method는 soft conceptual space를 탐색하지만, degeneracy와 제한적인 task 경쟁력, 그리고 signal과 noise 사이의 layer-dependent trade-off에 직면한다.

  • Latent representation: Hidden state는 token generation 이전에 chain-of-thought 성공을 예측하고, 희소한 논리적 feature를 인코딩하며, task difficulty와 상관을 보인다 [1] [48], [34], [35].이러한 결과는 명시적 output에 의존하지 않고 model intent를 포착하는 representation의 필요성을 뒷받침한다.
  • Latent representation: COCONUT [31]과 CODI [63]는 hidden state를 사용해 여러 reasoning path를 continuous representation으로 표현하거나 압축한다.
  • Continuous reasoning method: Soft-token method는 continuous concept space를 탐색하지만 [81] [64], degenerate greedy behavior를 억제하는 제약이 필요하며 [73] [9], textual CoT와의 경쟁력을 유지하는 task subset도 협소하다 [77].
  • Continuous reasoning method: Layer-wise analysis는 last-layer activation이 next-token prediction을 지원하는 반면, mid-depth representation은 signal 보존과 noise 압축 사이의 균형을 더 잘 달성한다고 시사한다 [65] [62].

3 사고의 형식화

이 절에서는 Functional Thought를 입력과 semantic output을 매개하는 latent state로 정의하며, semantic equivalence와 geometry에 기반을 둔다. 또한 thought representation을 직접 평가하기 위한 네 가지 axiom과 metric을 형식화한다.

  • 3.1 Semantic equivalence와 geometric space: Semantic equivalence는 output sequence에서 semantic manifold로의 mapping Φ로 정의되며, equivalent sequence는 동일한 semantic image를 공유한다.이 manifold에는 부분적으로 겹치는 의미를 개념적으로 분리된 의미보다 더 가깝게 배치하는 metric이 부여된다.
  • 3.2 Latent functional state로서의 thought: Functional Thought는 Chain-of-Thought와 같은 communicable linguistic artifact가 아니라, input에서 semantic output으로의 변환을 매개하는 latent representation이다.이는 output distribution의 sufficient statistic을 포착하도록 의도되며, human interpretability와 독립적으로 정의된다.
  • 3.2 Latent functional state로서의 thought: Thought generator g는 input을 thought space로 mapping하면서, input이 semantic하게 구별되는 output을 산출할 때에만 distinction을 보존함으로써 input space를 압축한다.이 구성은 semantic output에 기반한 input equivalence relation을 유도한다.
  • 3.3 Functional Thought axiom의 정량화: 이 framework는 information theory와 probability로 형식화하고 quantitative metric과 결합한 네 가지 axiom property를 통해 Functional Thought를 평가한다.Consistency는 idealized one-hot semantic bottleneck을 사용해 증명되며, independence는 나머지 세 axiom을 보존하면서 한 axiom을 위반하는 counter-model을 통해 따른다.
  • 3.3 Functional Thought axiom의 정량화: Causality는 reasoning prefix를 T로 치환한 뒤 answer suffix에 대한 predictive distribution을 보존할 것을 요구한다.이는 prefix token embedding을 projected representation으로 대체한 후의 divergence로 정량화하며, divergence가 낮을수록 더 강한 causal encapsulation을 의미한다.
  • 3.3 Functional Thought axiom의 정량화: Minimality는 output distribution에 대한 maximal relevance를 유지하면서 input을 압축하고 generation과 무관한 nuisance information을 filtering하도록 T에 요구한다.계산이 어려운 information-bottleneck objective는 cross-entropy surrogate로 근사하며, 더 큰 ΔIB는 더 높은 relevance와 minimality를 나타낸다.
  • 3.3 Functional Thought axiom의 정량화: Separability는 same-task 및 cross-task negative를 사용하고 T와 output 사이의 learned alignment를 통해 latent space에서 semantic content를 functional하게 discrimination할 것을 요구한다.Discriminator는 frozen LLM backbone의 embedding space로 투영하는 trainable linear projection으로 구현된다.

4 실험 설정

이 audit는 23개 BBEH task와 5개 다양한 open-weight LLM에서 두 가지 last-token hidden-state 후보를 평가하며, beam-search 출력과 frozen-backbone probe를 사용해 네 가지 axiom을 검증한다.

  • 후보: 이 연구는 모든 layer와 final layer에서 Last Input Token representation을 분석해, 모델이 y를 출력하기 전의 pre-generation context를 포착한다.선행 연구는 linear probe가 이러한 activation에서 다가올 generation에 관한 비자명한 정보를 복원할 수 있음을 보였다 [48].
  • Table 구성: Input Embedding은 prompt baseline이며, Output Embedding은 Exact 및 Pooled upper-bound reference를 제공한다. Input Embedding을 능가하지 못한다는 것은 prompt 너머의 추가 정보가 없음을 의미한다.Output 기반 encoding은 자체 penalty가 발생하므로 Minimality나 Stability의 reference가 아니다.
  • Model: 이 audit는 23개 BBEH task [41]와 dense, sparse-MoE, reasoning-distilled, RL-trained paradigm을 아우르는 5개 open-weight model을 대상으로 한다.model은 Llama-3.1-8B-Instruct, Llama-3.3-70B-Instruct, DeepSeek-R1-Distill-Qwen-32B, Skywork-OR1-32B [32], GPT-OSS-20B [53]다.
  • Generation: 최대 8192 token으로 이루어진 서로 다른 8개의 beam-search sequence가 각 axiom 평가를 위해 high-probability output의 경험적 단면을 제공한다.Beam search는 sampling variance를 줄이고, 서로 다른 candidate를 보장하며, reasoning path에 대한 경험적 distribution을 드러낸다 [24].
  • Probe: Probe는 token-embedding space로의 trainable projection과 학습된 discriminator head를 갖춘 frozen Llama-3.2-1B backbone을 사용한다.frozen backbone은 공유된 decoding surface를 제공하고, projection은 각 candidate와 source-model pair에 특화된 feature를 학습한다.

5 결과

네 가지 공리 전반에서 어떤 thought representation도 LLM 전체에 걸쳐 Input Embedding 기준을 일관되게 능가하지 못하며, benchmark accuracy로는 이러한 representation failure가 드러나지 않는다. Representation은 task는 구분하지만 대체로 동일 task 내의 question은 구분하지 못하고, iterative thinking은 step 수가 늘어날수록 저하된다.

  • Causality: 모든 thought representation은 information-free Random Vector baseline보다 훨씬 낮은 causality KL을 보이는 반면, Output Embedding과 Input Embedding은 이 축에서 비슷하다.Output Embedding causality score는 bootstrap noise 범위 내에서 Input Embedding 기준과 차이가 없다.
  • Minimality: Minimality 결과는 엇갈린다: LIT는 대체로 Input Embedding보다 낮고, soft-thinking은 그와 같거나 높으며, Latent Thinking은 거의 동등하다.어떤 candidate도 prompt가 이미 제공하는 것보다 더 많은 output-relevant compression을 일관되게 encode하지 않는다.
  • Separability: 모든 candidate에서 cross-task accuracy는 saturation에 가깝지만, Output Embedding을 제외한 모든 candidate는 within-task question discrimination에서 여전히 random에 가깝다.Output Embedding은 within-task discrimination에서 random을 의미 있게 웃도는 유일한 family이며, Exact가 Pooled보다 우수하다.
  • Stability: Stability에서는 beam output이 여러 semantic class를 형성할 때 candidate가 Random Vector를 크게 능가하며, Output Embedding이 가장 높고 iterative family는 step 수가 증가할수록 저하된다.이 분석은 상당한 비율의 question에서 non-singleton beam cluster를 생성하는 네 LLM을 대상으로 한다.
  • 종합 결과: LLM 전체에 걸쳐 평균했을 때 어떤 candidate도 어떤 축에서든 Input Embedding 기준을 일관되게 능가하지 못하며, 어떤 candidate도 네 가지 공리를 모두 만족하지 않는다.LLM별 이점은 일반화되지 않으며, iterative thinking variant는 step 수가 늘어날수록 저하된다.

6 결론 · A 확장 관련 연구

이 논문은 다양한 LLM 패러다임에서 질문별 표현 붕괴를 드러내는 직접적이고 네 가지 측정값으로 구성된 공리적 평가 프레임워크를 제시한다. 관련 연구는 이 프레임워크를 latent reasoning, latent world-model, sentence-level representation 방법론 속에 위치시킨다.

  • 6 결론: 이 프레임워크는 재학습 없이 source LLM에서 후보 thought representation을 직접 평가하며, dense, sparse-MoE, reasoning-distilled, RL-trained 패러다임 전반에 걸쳐 네 가지 측정값을 사용한다.이 프로토콜은 downstream task accuracy로는 드러나지 않는 질문별 identity collapse를 노출한다.
  • 6 결론: 네 가지 공리는 독립적인 최적화 목표와 진단적 readout을 제공하므로, downstream accuracy 변화가 어떤 표현 특성에 기인하는지 귀속할 수 있다.감사를 통해 재학습 전에 binding constraint를 식별하고, 경쟁하는 representation 간 비교를 수행할 수 있다.
  • 6 결론: 모든 평가 후보가 구성상 paraphrase-identical vector를 생성하므로 Stability의 lexical-invariance 하위 속성은 측정하지 않는다.이 하위 속성을 위한 프로토콜은 비자명한 paraphrase variation을 갖는 후보 구성이 제시될 때까지 유보된다.
  • 6 결론: 평가 프로토콜은 LLM generation과 추가적인 짧은 probe-training 단계를 요구하므로 단일 accuracy benchmark보다 비용이 크다.이러한 측정 비용은 제안된 감사의 명시적 한계다.
  • A 확장 관련 연구: 관련 survey들은 latent 및 continuous reasoning 방법을 token-wise horizontal 접근법과 layer-wise vertical 접근법으로 분류하는 한편, 이론 연구는 근본적인 exploration–exploitation 문제를 규정한다.Chen et al. [13]은 두 축 taxonomy를 제시하며, 제공된 본문은 Zou et al. 의 이론적 규정을 소개하지만 그 설명이 중간에 끝난다.
  • A 확장 관련 연구: Latent-world-model 연구는 hidden state에서 구조화된 proposition을 추출하여, 선형적으로 decode 가능한 semantic-world 정보로서 Separability에 경험적 근거를 제공한다.Feng et al. [26]은 propositional probe를 사용해 이러한 추출을 입증한다.
  • A 확장 관련 연구: Sentence-level representation 방법은 token vocabulary가 아니라 continuous embedding spaces에서 의미를 모델링하며, SONAR [22]와 SONAR-LLM [20]을 사용하는 Large Concept Models [68]도 이에 포함된다.제공된 본문은 이러한 접근법을 sentence-embedding-space language modeling과 reasoning을 확장하는 방법으로 설명한다.

B 공리계의 형식적 분석 … C.6 안정성 하위 속성과 DCS 진단

공리계는 이상화된 설정에서만 논리적으로 일관되고 독립적이며 완전하지만, 경험적 진단은 그 평가를 조작적으로 구현하고 안정성과 불확실성 디코딩의 한계를 드러낸다.

  • B.1 일관성 (존재): 네 공리는 이상화된 semantic-bottleneck 모델에서 논리적으로 일관되지만, 임의의 frozen model은 인과적 정확성과 의미적 안정성 사이의 Pareto frontier에 직면한다.이 구성은 Causality, Minimality, Separability, Stability를 동시에 만족하지만, 경험적 표현은 대신 ε-optimal 근사를 제공한다.
  • B.2 독립성 (비중복성): 각 공리는 논리적으로 독립적이다. 반례 모델은 다른 속성을 보존하면서 Causality, Minimality, Separability 또는 Stability를 위반한다.이 구성은 fixed-head coordinate permutation, nuisance information, XOR geometry, output-dependent lexical feature를 사용해 각 실패를 분리한다.
  • B.3 완전성 (충분성): 네 공리를 엄격히 만족하면 도달 가능한 표현과 의미 클래스 사이에 bijective functional isomorphism이 성립하며, 이는 경험적 안정성 허용오차와 유한한 separability margin 아래에서 근사적 관계가 된다.Stability와 Minimality는 사상을 well-defined하게 만들고, Separability는 injective하게 만들며, Minimality는 surjective하게 만들고, Causality는 downstream behavior를 보존한다.
  • C.1 LLM 데이터 생성: 모든 decoding layer와 step에서 표현을 추출하며, source LLM 전반에서 마지막 prefill token을 primary thought representation으로 사용한다.모델은 native bfloat16 precision으로 실행되며, 평가한 architecture에 따라 모델별 layer 수가 달라진다.
  • C.2 Soft Thinking과 Latent Thinking 생성: Soft, noisy, recurrent latent-thinking procedure는 iterative step 1, 16, 32, 64, 128에서 평가하며, fixed seed를 사용해 stochastic extraction을 결정론적으로 만든다.Soft Thinking은 token embedding을 혼합하고, Gumbel noise는 temperature τ = 1.0을 사용하며, Latent Thinking은 COCONUT-like recurrent protocol을 따른다.
  • C.3 Causality 평가 protocol: Causality는 training 없이 평가한다. 각 beam의 reasoning prefix를 tiled thought representation으로 대체하고 teacher forcing 아래에서 suffix distribution을 비교한다.이 protocol은 K = 8개 beam을 사용하고 51 token보다 짧은 beam을 제외하며, candidate를 128 position으로 tiling해 position effect를 통제한다.
  • C.4 Minimality Probe Architecture와 Training: Minimality와 Separability는 LayerNorm, 2048차원으로의 learned projection, frozen LLaMA-3.2-1B backbone을 포함한 고정된 probe 및 discriminator architecture를 사용한다.source LLM과 candidate representation 전반에서 configuration을 고정했으며, held-out test를 통한 hyperparameter tuning은 수행하지 않았다.
  • C.6 안정성 하위 속성과 DCS 진단: 질문별 singleton representation은 구성상 lexical invariance를 만족하는 반면, GPT-OSS-20B는 질문의 1.0%에서만 non-singleton semantic cluster를 생성하며, 네 dense LLM에서는 그 비율이 16–46%에 이른다.MoE model의 routing은 diverging beam을 다시 수렴시킬 수 있다. threshold-sweep ranking은 안정적으로 유지되지만, near-random DCS score는 linear encoding에 반대하는 근거일 뿐 nonlinear encoding에 반대하는 근거는 아니다.

C.7 재현성 및 코드 공개 … D.4 출력 재구성 Projection을 사용한 Causality

공개된 고정 버전 pipeline을 통해 평가를 재현할 수 있으며, 문제 수준 bootstrap 절차로 불확실성을 보고한다. 세부 분석은 Causality가 projection objective에 크게 의존함을 보이는 한편, representation 수준 결과와 distributional diagnostics는 네 가지 axiom 측정치를 특성화한다.

  • C.7 재현성 및 코드 공개: repository는 MIT license로 공개되었으며, 각 phase마다 실행 가능한 script 하나, 공유 configuration, 고정된 random seeds를 사용하는 Hydra project로 구성된다.Source LLM과 text embedder는 공개된 HuggingFace asset이므로 추가적인 parameter 전달 없이 phase 수준의 재실행이 가능하다.
  • C.7 재현성 및 코드 공개: Python 3.12와 CUDA 12.6 dependency는 고정되어 있으며 uv sync로 해결된다. 반면 flash-attention은 보고된 수치를 재현할 때 선택 사항이다.대부분의 연산에는 H100 SXM 80 GB GPU를 사용했으며, 일부 probe-training 및 evaluation run에는 configuration 변경 없이 A100 40 GB GPU를 사용했다.
  • D.1 Bootstrap Confidence Intervals: 문제 수준 bootstrap resampling은 Minimality, Causality, discriminator 기반 DCS 측정치에서 문제 내부 beam 상관을 보존한다.Causality는 clustered valid beam을 사용하고, DCS는 문제당 하나의 score를 기여한다. paired Causality advantage는 각 candidate-reference pair를 함께 유지한다.
  • D.1 Bootstrap Confidence Intervals: Causality의 paired advantage에서 음수 값은 representation이 evaluation backbone의 projection을 넘어서는 정보를 전달한다는 증거로 간주되며, 음이 아닌 값은 검출 가능한 advantage가 없음을 나타낸다.Pairing은 KL scale에서 문제별 shift를 상쇄하고, paired bootstrap difference에서 불확실성을 얻는 부호 해석 가능한 statistic을 제공한다.
  • D.2 Axiom별 세부 결과: Tables 9–11은 source LLM별 Separability, Causality, Minimality metric을 보고하며, Figure 4는 Stability AUROC와 DCS diagnostic을 보고한다.Minimality candidate 비교는 residual의 절대 scale이 누락된 LLM 의존적 constant에 따라 이동하므로 source LLM 내부에서 의미가 있다.
  • D.3 Causality의 Distributional View: Causality distribution은 더 낮은 mean KL이 문제별 동작의 긴밀함을 반영하는지, 아니면 상위 꼬리가 두꺼운지를 보여주며, ICC는 문제 간 dispersion과 문제 내 dispersion을 분리한다.Figure 5는 beam별 KL CDF를 사용하고, Figure 6은 문제 수준 차이가 cluster-bootstrap 설계를 뒷받침하는지 평가한다.
  • D.4 출력 재구성 Projection을 사용한 Causality: output-reconstruction projection을 사용하면 Soft thinking의 KL은 대략 절반으로 감소하는 반면, exact output embedding은 악화되고 random-vector reference는 변하지 않는다.이 representation-specific effect는 projection choice가 source-model residual-stream representation에서 높은 causality KL에 실질적으로 기여함을 보여준다.

D.5 Minimality Metric을 위한 Information-Bottleneck 분해

Minimality metric ΔIB는 β = 2에서 probe cross-entropy를 통해 추정되는 information-bottleneck Lagrangian surrogate이며, 고정 offset을 제외하면 representation 간 비교가 가능하다. 이 등가성은 T가 X의 deterministic function이어야 한다는 조건을 필요로 한다. 생성된 output에서 도출된 candidate는 이 가정을 위반하므로 correction이 필요하다.

  • Chain-rule decomposition: β = 2에서 ΔIB는 mutual-information chain rule을 통해 information-bottleneck Lagrangian을 output information 항과 conditional input information 항으로 분해한다.T가 X로부터 deterministic하면 I(Y; T | X) = 0이 되어 L(2) = −I(T; Y) + I(X; T | Y)가 성립한다.
  • Barber–Agakov surrogates: Probe cross-entropies는 두 mutual-information 항에 대한 Barber–Agakov 추정량을 제공하며, 충분히 expressive한 probe에서는 tight해져 true conditional과 일치한다.추정에는 H(Y | T) ≈ CE(Y | T)와 H(X | Y, T) ≈ CE(X | Y, T)가 사용되며, conditional 항에서는 Y를 조건으로 probe를 학습한다.
  • Bounding direction and ranking preservation: Representation 간 ΔIB 비교는 dataset과 unconditional baseline probe가 결정하는 representation-independent constant만큼 −L(2)와 다르다.이 offset은 C = H(Y) − CE(X | Y)이며, 고정된 probe class와 source LLM 안에서는 공유되는 candidate bias가 상쇄될 수 있다.
  • Random Vector cross-entropy interpretation: Random Vector anchor는 unconditional language model 수준의 CE(Y | T)를 산출하여, representation이 output에 대한 정보를 전혀 포함하지 않을 때 metric이 이를 감지함을 확인한다.Random vector는 Y에 대한 정보를 담지 않으므로 probe는 T에서 predictive signal을 최적화할 수 없다.
  • When the chain-rule assumption fails: Exact output embedding과 pooled output embedding에서는 T가 X뿐 아니라 Y에도 의존하므로, ΔIB는 더 이상 T-independent constant를 더하더라도 −L(2)를 추정하지 않는다.이 candidate들은 I(Y; T | X) = 0을 위반하여, representation-independent offset으로 소거되지 않는 correction term을 도입한다.

D.6 Causality Metric의 길이 민감도

길이 민감도 테스트에서 informative candidate의 causality KL은 prompt나 output 길이에 의해 유의미하게 좌우되지 않으며, 거친 순위도 evaluation window 전반에서 안정적임을 보인다. 그러나 substitution length는 절대 KL을 부풀리고 candidate 순서를 바꿀 수 있으므로, 이후 비교에서는 공통 길이 tiling을 사용한다.

  • 어떤 candidate에서도 causality KL과 input length 사이에 유의미한 결합이 나타나지 않아, 본문 순서의 주요 원인으로 prompt size를 배제할 수 있다.
  • Output length는 Random Vector lower-bound reference에서만 KL과 결합하며, informative candidate에서는 결합이 거의 0에 가까워 KL이 generation length가 아니라 representation fit을 반영함을 시사한다.
  • Causality-KL 순위는 10, 25, 50, 100, 200-token window 전반에서 대체로 안정적이지만, 더 긴 window에서는 세부 순서가 변하고 가장 짧은 window에서는 분리가 약해진다.
  • Candidate를 공통 substitution length에 맞춰 tiling하면 Random Vector와, 그보다 약한 정도로 Exact Output Embedding이 길이 증가에 따라 더 높은 KL을 누적하므로, native length가 다른 경우 절대값을 비교할 수 없게 된다.
  • 따라서 이후의 모든 causality 및 minimality 비교에서는 T representation을 공통 substitution length로 입력하고, 길이가 다른 비교는 diagnostic을 위해 남겨 둔다.

D.7 표현 붕괴의 기하학적 분석

직접적인 기하학적 진단은 동일 태스크 판별 실패가 probe의 capacity 부족이 아니라 latent thought representation이 태스크 내에서 붕괴하기 때문에 발생함을 보여준다. LLM 전반에서 낮은 태스크 내 dimensionality, noise drift, 또는 둘 다로 인해 representation이 높은 task purity와 풍부한 태스크 내 variation을 동시에 달성하지 못한다.

  • 기하학적 진단: 이 분석은 flatten된 thought vector에서 직접 task clustering과 태스크 내 spread를 검증하기 위해 k-NN task purity와 participation ratio (PR)를 사용한다.Purity는 약 0.042의 random-neighbour baseline과 비교하며, PR은 태스크 내 vector가 여러 방향으로 뻗을 때만 1을 초과한다. 이 split에서 ceiling은 약 19다.
  • 기하학적 결과: (PR, k-NN purity) plane의 top-right region은 모든 LLM에서 비어 있으며, 이는 어떤 candidate도 풍부한 태스크 내 geometry와 강한 task clustering을 결합하지 못함을 보여준다.LIT, one-step Latent Thinking, Input Embedding, Output Embedding은 대체로 moderate-PR, high-purity region에 위치한다. GPT-OSS-20B에서는 두 LIT variant가 purity를 잃는 반면 embedding candidate는 평소의 region에 남는다.
  • 기하학적 결과: 동일 태스크 판별은 테스트한 모든 LLM에서 태스크 내 geometry가 collapsed—너무 좁거나, noise-drift가 크거나, 둘 다이기 때문에—하며 실패하고, 이는 probe capacity와 무관하다.각 panel에서 Output Embedding을 제외한 모든 candidate는 low PR 또는 low purity를 보이며, 모든 candidate가 Table 9에서 동일 태스크 판별에 실패한다.
  • 기하학적 결과: Latent Thinking step을 추가하면 각 LLM에서 purity가 roughly half로 감소하고, 더 큰 Llama 및 distilled model에서는 PR도 감소한다.Latent Thinking은 one step에서 high-purity region의 LIT 근처에서 시작하지만, 더 긴 trajectory에서는 해당 geometry에서 멀어진다.
  • 기하학적 결과: Anisotropy-adjusted similarity diagnostic은 Random Vector의 near 0에서 Input Embedding의 near 0.52까지 나타나며, LIT와 Output Embedding은 roughly 0.18 and 0.45 사이에 위치한다.세 가지 기하학적 진단은 trained discriminator를 사용하지 않고도 동일한 failure pattern으로 수렴한다.

D.8 Probe Capacity Ablation · D.9 Downstream Task Accuracy와의 관계 · E Dataset 및 Benchmark 세부사항

23개 BBEH task와 5개 LLM에서 thought representation의 task 내 separability는 downstream accuracy와 무관했으며, probe capacity를 늘려도 동일 task에서의 실패는 해소되지 않았다. 종합하면 이러한 결과는 붕괴의 원인이 discriminator의 약함이나 task 난이도가 아니라 representation에 있음을 보여준다.

  • D.8 Probe Capacity Ablation: 동일 task에서의 실패는 엄격하게 증가하는 세 가지 probe architecture 전반에서 지속되었으며, 이는 실패가 discriminator가 아니라 representation의 속성임을 보여준다.Llama-3.3-70B를 사용해 latent-thinking 및 last-input-token candidate를 평가했다.
  • D.8 Probe Capacity Ablation: Probe ablation은 capacity를 단일 linear projection에서 LayerNorm을 포함한 two-layer MLP로 늘린 뒤, 1B model의 마지막 두 transformer block까지 추가로 unfreeze한다.각 단계에서 trainable-parameter budget이 엄격하게 증가하며, 가장 깊은 tier는 대략 한 자릿수 배 더 많은 trainable parameter를 갖는다.
  • D.8 Probe Capacity Ablation: Last Input Token과 128 step의 Soft Thinking은 주요한 동일 task 실패 양상을 보이는 반면, Output Embedding (Exact)은 generated answer에서 도출된 positive control로 기능한다.Probe capacity가 random-guess plateau를 극복할 수 있다면 positive control이 가장 먼저 개선되어야 한다.
  • D.8 Probe Capacity Ablation: Output Embedding (Exact)은 Baseline probe에서 0.726 test accuracy에 도달하지만, capacity가 증가하면 Deep에서 0.617, Deep+UF2에서 0.642로 하락한다.trainable parameter가 한 자릿수 배 증가했음에도 BCE가 random-guess plateau를 향해 악화되는 가운데, 이러한 하락은 overfitting에 따른 것으로 해석된다.
  • D.9 Downstream Task Accuracy와의 관계: ρ = 0.10 (p = 0.31, n = 115): thought-representation separability와 downstream BBEH pass@1 사이에는 유의한 pooled correlation이 나타나지 않았다.어떤 개별 LLM도 유의성에 도달하지 않았으며, 이는 separability collapse가 task 난이도에 의해 발생한 것이 아니라는 결론을 뒷받침한다.
  • D.9 Downstream Task Accuracy와의 관계: 따라서 separability collapse는 underlying task의 난이도 때문이 아니라, downstream task accuracy가 포착하지 못하는 representational failure를 반영한다.이 해석은 유의한 accuracy 관계가 없고 geometric probe test와 increasing-capacity probe test가 수렴한다는 점에 근거한다.

E.1 BBEH Task Coverage … F 더 넓은 영향

평가는 23개 BBEH task를 대상으로 하며, source LLM output, parsing, accuracy, length, beam-embedding similarity를 비교한다. 결과는 output behavior와 accuracy에서 상당한 변이를 보이는 한편, embedding similarity는 answer content보다 response format을 주로 반영한다. 이 연구는 diagnostic 성격이며 deployed capability를 도입하지 않는다.

  • E.1 BBEH Task Coverage: 평가는 전체 23개 BBEH task를 다루며, 4,520개 problem과 problem당 8개 beam을 사용해 36,160개의 beam–problem pair를 구성한다.각 task 내에서 problem을 다시 stratified probe split과 discriminator split으로 나눈다.
  • E.1 BBEH Task Coverage: BBEH setup은 Kazemi et al. [40], Nie et al. [52], Kıcıman et al. [42], Tyen et al. [69]를 포함한 originating benchmark를 명시한다.추가적인 task origin으로는 Kazemi et al. [39], Sánchez et al. [60], Hessel et al. [36], Zhang et al. [80], Yamada et al. [75], Fatemi et al. [25], White et al. [72], Shah et al. [61]가 있다.
  • E.2 BBEH Answer Extraction: beam별 answer-parsing failure는 LLM 간에 한 자릿수 이상의 크기로 차이가 나며, 적어도 하나의 parsed beam을 갖는 problem의 비율도 같은 순서를 따른다.평가는 task-specific regular expression과 함께 Kazemi et al.’s [41] official extractor를 사용한다. recoverable problem은 beam-level verifier가 활용할 수 있는 여지를 정량화한다.
  • E.3 Output-Length Statistics: 중앙값 기준으로 GPT-OSS-20B, Skywork-OR1-32B, DS-R1-Qwen-32B는 두 instruction-tuned Llama checkpoint보다 대략 한 자릿수 더 긴 output을 생성한다.이들의 interquartile band는 만 자 단위에 이르며, hard combinatorial task는 각 column에서 계속 가장 길고 short answer-format task는 가장 짧다.
  • E.5 Qualitative Beam Outputs and Embedder Similarity: 정성적 beam comparison에는 held-out test example과 Pooled 및 Exact Output Embedding candidate가 공유하는 Llama-Embed-Nemotron-8B space를 사용한다.Time Arithmetic의 high-similarity pair 하나는 동일한 arithmetic chain과 answer를 따르며 closing wording만 다르다. 반면 low-similarity Causal Understanding pair는 장문의 reasoning과 한 줄짜리 verdict를 대비한다.
  • E.5 Qualitative Beam Outputs and Embedder Similarity: embedder는 beam을 주로 response format에 따라, answer content에 따라서는 부차적으로 구분한다.Causal Understanding example에서 mode 내부 beam의 cos ≥0.98이고, cross-mode similarity는 [0.06, 0.10]으로 낮아지며, 두 short mode는 contradictory verdict에도 불구하고 cos ≈0.80에 이른다.
  • F 더 넓은 영향: 이 연구는 frozen LLM 내부의 representation을 위한 diagnostic protocol이며, 새로운 generative capability, dataset, deployed system을 생성하지 않는다.더 나은 reasoning model과 functional thought representation의 이해를 지원하는 것을 목적으로 하며, 저자들은 negative societal effect를 확인하지 않았다.

G 초기 정식화

초기 정식화에서는 discriminator-based DCS, causality projection, minimality measurement의 방법론적 실패가 드러났다. 정성적·정량적 probe 역시 thought representation이 instance-specific information을 버리고 same-task separability에 실패할 수 있음을 보였다.

  • G.1 Discriminator-Based DCS Evaluation Protocol: Discriminator-based DCS는 random baseline 수준으로 붕괴했다. 모든 representation family와 source LLM에서 cross-question-trained discriminator가 within-question beam pair에 대해 거의 0.5의 score를 반환했기 때문이다.이 protocol은 문제당 8개의 beam을 사용해 embedding-based 및 answer-based equivalence matrix를 비교했지만, 유용한 within-question gradient signal은 제공하지 못했다.
  • G.2 Causality with the Discriminator-Trained Projection: 초기 causality 결과에서는 discriminator-trained projection을 사용했지만, projection-swap pilot이 corrected protocol의 도입을 촉발한 뒤 output reconstruction으로 대체되었다.Table 22는 초기 projection이 현재 결과에 미친 영향을 cell별로 보여주기 위해 유지되었으며, 해당 training procedure는 representation을 공통 fixed length로 확장했다.
  • G.3 Cross-Entropy Proxy for Minimality: 초기 minimality proxy는 ∆CE = CE(X | T)−CE(Y | T)로 정의되었지만, trade-off weight β = 1일 때에만 information-bottleneck Lagrangian과 일치한다.이러한 한계 때문에 Section 3에서 채택하고 Section D.5에서 유도한 corrected ∆IB formulation이 도입되었다.
  • G.3 Cross-Entropy Proxy for Minimality: 높은 ∆CE는 ambiguous하다. input compression과 output retention을 반영할 수도 있고, input과 output 모두에 대한 information의 동시 손실을 반영할 수도 있다.입력 및 출력 구성요소는 Tables 23 and 24에 별도로 보고되며, Random Vector는 CE(X | RV) ≈ 1.87 ± 0.04라는 공통 입력 재구성 기준점을 제공한다.
  • G.3 Cross-Entropy Proxy for Minimality: Llama-3.1-8B에서는 Input Embedding만으로도 high 0.9 range의 ∆CE를 달성했지만, Output Embedding (Exact)만이 이를 명확히 상회했다.대부분의 thinking candidate는 input-alone gap 이하였으므로, 이 proxy는 latent thinking이 prompt보다 더 compressed하고 output-relevant한 summary를 생성한다는 것을 보이지 못했다.
  • G.4 Qualitative Probe Reconstruction: BoardGame QA 예시에서 Last Input Token representation은 sample된 10개 문제 모두에 대해 same boilerplate prediction을 생성하여, problem-specific content를 버렸다.이 probe는 ∆CE = 0.18 및 CE(X|T) = 1.63을 보고했으며, instance-specific reconstruction이 아니라 무관한 multiple-choice template을 생성했다.
  • G.4 Qualitative Probe Reconstruction: input probe가 T에서 10개의 BoardGame QA 문제를 구분하지 못했기 때문에, same-task discriminator 역시 이들을 구분하지 못했다.이 정성적 실패는 thought representation에서 same-task separability가 붕괴했음을 확인해 준다.

G.5 Discriminator-Based DCS 결과

Discriminator 기반 DCS는 within-question pair에서 chance 수준 근처로 포화되어, embedding variant 간 일치도가 높음에도 correlation이 잡음처럼 나타난다. bimodal similarity 구조와 threshold에 안정적인 ranking은 실제 paraphrase와 cross-answer 분리를 시사하지만, 신뢰할 수 있는 discriminator score를 제공하지는 않는다.

  • Similarity 구조: Cosine similarity는 model 전반에서 bimodal 분포를 보이며, 1 근처의 paraphrase-equivalent pair와 0.5 미만의 실제 cross-answer pair를 분리한다.오른쪽 mode가 크고 왼쪽 mode는 더 작다.
  • Cross-model 결과: Representation 전반에서 0.5 근처의 값은 within-question pair에 대한 discriminator saturation을 반영하며, Llama-3.3-70B-Instruct의 correlation은 작은 절대적 불일치에도 noise 수준으로 붕괴한다.Eparse와 Eemb는 model 간에 높은 일치도를 보이므로 결과는 Eemb 기준으로 보고한다. 또한 BBEH answer extraction이 실패해도 Eemb는 정의된 상태로 남는다.
  • Threshold 민감도: Llama-3.1-8B-Instruct에서 전체 threshold sweep을 수행해도 ranking은 안정적으로 유지되며 chance-floor cluster는 재배열되지 않는다.이는 saturation이 binarisation threshold 때문이 아니라 discriminator-based scoring에 내재된 현상임을 확인한다. τ=0.90 row는 Table 26을 cell-for-cell로 재현한다.
Loading 2606.27378v1…