PaperlayerView exact revision on arXiv

Source-linked AI summary

Continuous Latent Diffusion Language Model

Hongcan Guo, Qinyu Zhao, Yian Zhao, Shen Nie, Rui Zhu, Qiushan Guo, Feng Wang, Tao Yang, Hengshuang Zhao, Guoqiang Wei, Yan Zeng

arXiv:2605.06548v1cs.CLcs.AIcs.CV

TL;DR

고품질 텍스트 생성에 고정된 좌→우 토큰 순서는 필수가 아니지만, 기존 대안들은 효율성, 확장 가능한 표현 학습, 전역 의미 모델링을 결합하는 데 어려움을 겪었다. Cola DLM은 계층적 latent diffusion으로 이를 해결하며, 실험 결과 동일 조건 비교에서 우수한 생성 품질과 고무적인 scaling behavior를 보였다.

  • 문제

    텍스트 생성에는 더 일반적인 상태 진화와 denoising 경로를 지원하는 고정 토큰 순서의 대안이 필요하다.

  • 방법

    Cola DLM은 텍스트를 continuous latent로 매핑하고, diffusion으로 그 전역 의미 prior를 모델링한 뒤, 조건부로 로컬 텍스트를 디코딩한다.

  • 결과

    8개 benchmark와 동일 조건 baseline 비교에서 Cola DLM은 우수한 텍스트 생성 품질과 고무적인 scaling behavior를 보였다.

  • 시사점 및 한계

    계층적 continuous latent prior modeling은 엄격한 token-level language modeling에 대한 원리적인 대안을 제공한다.

  • 시사점 및 한계

    실험은 규모와 평가 측면에서 비교적 통제된 조건에 머물러 있어, 더 큰 모델, 더 긴 학습, 더 많은 compute budget에서의 성능은 검토하지 않았다.

Abstract

from arXiv · show

Large language models have achieved remarkable success under the autoregressive paradigm, yet high-quality text generation need not be tied to a fixed left-to-right order. Existing alternatives still struggle to jointly achieve generation efficiency, scalable representation learning, and effective global semantic modeling. We propose Cola DLM, a hierarchical latent diffusion language model that frames text generation through hierarchical information decomposition. Cola DLM first learns a stable text-to-latent mapping with a Text VAE, then models a global semantic prior in continuous latent space with a block-causal DiT, and finally generates text through conditional decoding. From a unified Markov-path perspective, its diffusion process performs latent prior transport rather than token-level observation recovery, thereby separating global semantic organization from local textual realization. This design yields a more flexible non-autoregressive inductive bias, supports semantic compression and prior fitting in continuous space, and naturally extends to other continuous modalities. Through experiments spanning 4 research questions, 8 benchmarks, strictly matched ~2B-parameter autoregressive and LLaDA baselines, and scaling curves up to about 2000 EFLOPs, we identify an effective overall configuration of Cola DLM and verify its strong scaling behavior for text generation. Taken together, the results establish hierarchical continuous latent prior modeling as a principled alternative to strictly token-level language modeling, where generation quality and scaling behavior may better reflect model capability than likelihood, while also suggesting a concrete path toward unified modeling across discrete text and continuous modalities.

1 서론

Autoregressive language model은 큰 발전을 이끌었지만 순차적 추론과 고정된 token 순서를 강제한다 [6] [22] [39] [45] [60] [102]. Cola DLM은 전역 의미 모델링과 국소 텍스트 실현을 분리하는 계층적 continuous-latent modeling으로 이 간극을 해소하며, 폭넓은 실험과 다양한 scaling regime에서 평가된다.

  • 동기: 기존 autoregressive, discrete-diffusion, continuous-diffusion 방법은 generation efficiency, 확장 가능한 representation, global semantic modeling을 동시에 달성하는 데 어려움을 겪는다.Autoregressive model은 명확한 token-level training objective를 제공하지만 순차적 추론 비용이 발생하고 강한 고정 순서 inductive bias를 부과한다.
  • 제안 프레임워크: Cola DLM은 Text VAE로 텍스트를 continuous latent로 매핑하고, block-causal DiT로 그 prior를 모델링하며, conditional decoding을 통해 텍스트를 생성한다.이 diffusion process는 token-level observation recovery가 아니라 latent space prior modeling으로 규정된다.
  • 제안 프레임워크: Cola DLM은 통합된 probabilistic framework 안에서 텍스트 생성을 global semantic modeling과 local textual realization으로 분해한다.이 두 단계를 연결하기 위해 continuous latent space에서 diffusion-based prior modeling을 사용한다.
  • 이론적 관점: 통합된 Markov-path 분석은 global semantic modeling, non-autoregressive inductive bias, theoretical interpretability 측면에서 Cola DLM의 장점을 규정한다.서론에서는 후속 실험이 이러한 장점을 검증한다고 밝힌다.
  • 실증 범위: 실험은 4개의 research question, 8개의 benchmark, 조건을 맞춘 ∼2B-parameter autoregressive 및 LLaDA baseline, 그리고 약 2000 EFLOPs까지의 scaling curve를 아우른다.이를 통해 텍스트 생성을 위한 효과적인 overall configuration을 식별하고 model의 scaling behavior를 평가한다.
  • 추가 분석: 추가 분석은 likelihood–generation-quality mismatch, first-block conditioning, latent compression, 그리고 discrete text에서 vision과 같은 continuous modalities로 이어지는 가능한 bridge를 검토한다.서론은 이 bridge를 더 넓은 unified generative paradigm을 향한 예비적 증거로 제시한다.

2 관련 연구

기존 언어 모델링 대안은 생성 유연성, 샘플링 효율성, 확장 가능한 의미 표현 사이에서 절충한다. Autoregressive 모델은 순차적인 left-to-right 생성을 강제하는 반면, discrete 및 continuous diffusion 접근법은 서로 다른 한계를 지닌 채 non-autoregressive 생성을 다룬다.

  • Autoregressive Language Models: Autoregressive language model [56] [92] [101]은 token-level maximum likelihood를 사용하지만 생성을 고정된 left-to-right 순서와 본질적으로 순차적인 추론에 제약한다.이러한 한계로 인해 infilling, local editing, global reorganization에 덜 적합하다.
  • Discrete Diffusion Language Models: Discrete diffusion language model은 discrete transition kernel [2] [10] [88] 또는 masking과 absorbing state [69, 70, 80, 81, 84, 10…]를 사용해 denoising을 통한 non-autoregressive 생성을 가능하게 한다.Transition-kernel 방식은 일반적으로 샘플링이 느리고 continuous space의 매끄러운 의미 구조를 쉽게 활용하지 못한다.
  • Continuous Diffusion Language Models: Continuous diffusion language model에는 one-hot vector, logit simplex 또는 probability simplex에 직접 diffusion을 적용하는 vocabulary-aligned 방식 [31] [43] [59] [79]이 포함된다.이들의 표현 차원은 vocabulary size에 따라 증가하므로 확장성이 제한된다.

3 연속 잠재 확산 언어 모델

Cola DLM은 전역 의미를 연속 잠재 prior로 압축하고 국소적인 token 실현을 conditional decoder에 맡기는 계층적 latent-variable language model이다. 두 단계 학습과 prior transport 정식화는 좌→우 text-generation path를 강제하지 않으면서 representation learning, 전역 의미 조직화, 텍스트 실현을 분리한다.

  • 계층적 latent-variable model: Cola DLM은 text modeling을 global continuous latent prior pψ(z0)와 conditional discrete-text realization pθ(x | z0)로 분리하며, qϕ(z0 | x)는 inference에만 사용한다.latent prior는 전역 의미를 생성하고 decoder는 텍스트를 실현하며, encoder는 generative model의 일부가 아니다.
  • 전체 workflow: 전체 workflow는 안정적인 latent–text correspondence를 확립하는 Text VAE pretraining으로 시작하고, 최종 latent prior를 학습하는 joint block-causal DiT training으로 이어진다.VAE는 Stage 2에서도 trainable 상태로 유지되며, Stage 1의 base prior는 최종 generative prior로 사용되기보다 interface를 안정화한다.
  • 통합 theoretical framework: 이 diffusion path는 text observation을 복원하는 대신 latent prior를 transport하므로, continuity는 좌→우 inductive bias를 부과하는 대신 latent-distribution geometry를 모델링한다.observation-path 방법과의 차이는 path의 state space와 semantic role 양쪽에 있다.
  • Modeling rationale: latent decomposition은 전역 의미 압축을 z0에, 국소 텍스트 실현을 decoder에 할당하므로, denoising 자체가 아니라 latent organization이 model의 핵심 강점이 된다.VAE의 masking loss는 semantic collapse를 방지하며, strictly causal encoder와 decoder는 sequence-length compression 없이 streaming generation을 지원한다.

4 실험

실험 결과, Cola DLM은 안정적인 초기화에서 DiT와 함께 공동으로 발전하는 더 크고 의미적으로 구조화된 latent space의 이점을 얻는다. 성능은 latent evolution 과정에서 보정된 timeshift와 semantic guidance에도 좌우되며, 경험적 경향은 이론적 예측과 일치한다.

  • Timeshift 보정: 최적 timeshift는 d = 16에서 1.0, d = 64에서 1.7, d = 128에서 2.3으로 거의 단조롭게 이동한다.LAMBADA, MMLU, SIQA, Task Avg 전반에서 동일한 larger-loc 경향이 나타나며, 이는 차원성이 semantic recovery를 위한 denoising scale을 변화시킴을 보여준다.
  • Timeshift 보정: 경험적 timeshift peak는 세 latent dimension 모두에서 이론적 예측을 밀접하게 따르며, latent dimension과 최적 calibration 사이의 관계가 임의적이지 않음을 뒷받침한다.이 결과는 Cola DLM의 latent space에 공유되는 의미 관련 global structure와 Eq. (3.35)의 대응 조건을 경험적으로 뒷받침한다.
  • Latent-Space Training: Joint DiT x1은 최종 결과와 scaling이 가장 우수하며, compute가 증가할수록 fixed-VAE training을 앞지르는 반면 scratch training은 일관되게 더 낮은 성능을 보인다.고정된 latent space는 초기 안정성에 도움이 되지만 곧 포화되며, 효과적인 adaptation에는 의미 있는 pretrained initialization과 충분히 강한 continuous update가 필요하다.
  • Latent-Space Geometry: Scratch latents는 붕괴되고 덜 조직화된 geometry를 형성하는 반면, jointly trained latents는 더 풍부한 trajectory와 의미적으로 더 활용 가능한 structure를 만든다.d를 16에서 128로 늘리면 collapse가 부분적으로 완화되지만, 안정적인 초기화와 joint adaptation을 통한 적절한 latent-space 형성을 대체할 수는 없다.
  • Latent Dimensionality: Average score는 d = 16에서 8.7, d = 64에서 11.3, d = 128에서 11.8로 상승하지만, 더 큰 dimension이 latent collapse를 완전히 해결하지는 못한다.향상 폭은 MMLU와 SIQA에서 가장 크며, geometry는 jointly trained되고 안정적으로 초기화된 latents를 사용한 경우보다 덜 구조화되어 있다.
  • Latent Space의 Semantic Importance: VAE learning-rate ratio가 1일 때 BERT loss를 추가하면 Task Average, LAMBADA, MMLU, SIQA 전반에서 최종 성능이 가장 우수하다.ratio 0.01에서는 이점이 제한적이며, 이는 강한 latent evolution에 trainability만이 아니라 semantic guidance가 필요함을 보여준다.

5 논의

논의에서는 Cola DLM의 생성 품질이 likelihood 중심 PPL과 다르게 나타날 수 있으며, conditioning, latent compression, VAE robustness가 구체적인 설계상의 trade-off를 드러낸다는 점을 보인다. 또한 hierarchical latent-prior formulation이 unified text–image modeling으로 확장될 수 있음을 보여주는 예비 정성적 근거를 제시한다.

  • Likelihood와 generation: 생성 품질은 semantic latent smoothness를 반영하는 반면, likelihood 중심 PPL은 VAE logSNR이 형성하는 local probability-density calibration에도 좌우된다.Decoder probe와 posterior hit는 높은 수준을 유지하지만 prior-hit rate는 달라지며, 이는 gold latent region 주변의 주된 문제가 decoder failure가 아니라 prior misalignment임을 나타낸다.
  • Conditioning과 padding: Clean condition repaint가 모든 task에서 가장 좋은 성능을 달성했으며, 지속적인 conditioning이 부분적인 noisy correction이나 positional layout만 사용하는 경우보다 prompt region을 더 잘 보존함을 보여준다.Partial repaint는 성능을 약화시키고, guided portion을 줄이면 대체로 성능이 저하되며, 추가적인 repaint 반복은 안정적인 이득을 제공하지 않는다.
  • Latent compression: Table 6은 latent compression이 유망하지만 현재는 non-divisible sequence boundaries에 의해 제한되며, 길이가 맞는 even-length prompt가 더 강한 abstraction과 faster generation을 지원할 수 있음을 보여준다.Block size 16에서 patch size 1은 block당 decoded text token 16개를 포괄하는 반면, patch size 2는 32개를 포괄한다. Odd-length prompt는 compressed prompt latent를 이동시키고 오류를 전파할 수 있다.
  • VAE robustness: Figure 13은 t = 0에서 거의 완벽한 VAE reconstruction, low-noise regime에서 매우 높은 accuracy, 그리고 heavier-noise degradation이 나타나기 전 t = 250에서 about 0.92 accuracy를 보여준다.점진적인 degradation은 VAE latent space를 취약한 compressed code가 아니라 안정적인 semantic interface로 사용하는 것을 뒷받침한다.
  • Multimodal extension: Cola DLM은 shared continuous latent space에서 cross-modal semantics를 구성하고 realization에는 modality-specific decoder를 사용함으로써 unified text–image modeling으로 자연스럽게 확장된다.이 prototype은 초기 단계의 정성적 결과이며, extensive curation이나 supervised fine-tuning 없이 in-house 256 및 640 resolution data로 moderate pretraining을 수행한 결과에 기반한다.

6 한계와 향후 전망

Cola DLM은 continuous latent space에서 text generation의 실현 가능성, 경쟁력, 유망한 scaling potential에 대한 초기 근거를 제시하지만, 본 연구는 완성된 종착점이 아니라 초기 기반에 해당한다. 현재 결과는 주로 framework의 핵심 특성을 밝히기 위해 비교적 통제된 규모의 실험에서 도출되었다.

  • Cola DLM은 continuous latent space에서 text generation의 실현 가능성, 경쟁력, 유망한 scaling potential을 뒷받침하는 초기 근거를 제시한다.
  • 이 논문은 Cola DLM을 완성된 종착점이 아니라 추가 탐구를 위한 출발점으로 제시한다.
  • 현재 실험은 비교적 통제된 규모에서 수행되었으며, 주로 framework의 핵심 특성을 밝히는 데 목적이 있다.

7 결론

Cola DLM은 전역 의미 prior modeling과 국소 텍스트 실현을 분리함으로써 계층적 연속 latent diffusion을 엄격한 token-level language modeling의 원리적인 대안으로 제시한다.

  • Cola DLM은 latent space에서의 전역 의미 prior modeling과 conditional decoding을 통한 국소 텍스트 실현으로 텍스트 생성을 분해한다.
  • 이 논문은 계층적 연속 latent diffusion을 엄격한 token-level language modeling의 원리적인 대안으로 정식화한다.
  • 이론적 분석과 실험은 계층적 정보 분해가 텍스트 생성에 도움이 될 수 있음을 일관되게 시사한다.

8 맺음말: 연구 목표와 의의 … B.3 Conditional Probability Estimation and Block-Level Conditional Scoring

Cola DLM은 representation, objective, learning environment를 통합적으로 재설계한다. hierarchical continuous latent는 semantic organization과 textual realization을 분리하고, 엄밀한 probabilistic analysis는 likelihood objective를 practical flow-based solver 및 estimator와 구분한다. 부록에서는 block-level conditional scoring과 그 한계를 포함해 sampling 및 probability estimation을 추가로 구체화한다.

  • 8.1 Text Modeling Paradigm 다시 보기: System의 State Space에서 Hierarchical Text Generation으로: Cola DLM은 token-surface modeling을 직접 수행하는 대신 hierarchical latent representation을 사용해, conditional local text realization에 앞서 continuous latent space에서 global semantics를 구성한다.latent formulation은 Cola DLM을 token space에서 직접 작동하는 reverse process가 아니라 hierarchical latent-variable language model로 다룬다.
  • 8.2 Discrete Text의 Continuous Extension 이해하기: Objective Mismatch에서 Evaluation Emphasis의 전환으로: 이 논문은 representation의 변화가 evaluation도 바꾼다고 주장한다. latent reconstruction, prior fitting, stabilization은 training을 token-level likelihood와 분리하므로, generation quality와 scaling behavior가 핵심 capability measure가 된다.Cola DLM에서는 discrete distribution을 fitting하는 model에 비해 likelihood와 perplexity가 optimized objective와 직접적으로 덜 부합한다.
  • 8.3 Unified Model 탐색하기: Model-Environment Interaction과 Multimodal Unification의 가치: Unified modeling은 분리할 수 없는 multimodal environment에서의 learning으로 제시된다. 여기서는 joint observation, transition, feedback regularity를 학습하려면 서로 독립적인 modality를 표면적으로 결합하는 것만으로는 부족하다.Continuous latent text는 discrete text가 shared multimodal interaction state에 참여하지 못하게 하는 structural mismatch를 줄일 수 있는 interface를 제공한다.
  • 8.4 통합 관점에서 본 세 가지 주제: 논문은 세 가지 주제에 걸쳐 representational state, optimization objective, learning environment를 함께 바꾸며, hierarchical latent modeling을 unified representation, objectives, environments로 나아가는 대안적 경로로 자리매김한다.이 관점에서 autoregressive modeling은 text generation을 조직하는 유일한 방식이 아니라 자기 일관적인 하나의 design point로 다뤄진다.
  • Cola DLM의 엄밀한 Probabilistic Formulation과 Training Objective 세부사항: 엄밀한 formulation은 Cola DLM을 CNF-induced prior, inference-only encoder, decoder-conditioned generative distribution을 갖는 hierarchical latent-variable model로 정의하며, ELBO는 likelihood-related training objective다.Flow Matching은 동일한 prior의 vector field를 효율적으로 학습하지만, ELBO likelihood objective 자체가 아니라 practical prior solver다.
  • B.1 Sampling and Inference Procedure: Sampling은 본질적으로 two-stage다. 먼저 base latent를 backward로 transport해 global semantics를 생성한 다음 decoder가 text를 실현하며, prefix-conditioned inference는 response latent block을 순차적으로 생성한다.이 절차는 latent generation 이후 autoregressive, non-autoregressive 또는 bidirectional conditional decoding을 지원한다.
  • B.2 Unconditional Log-Likelihood and PPL Estimation: ELBO-based perplexity는 true perplexity의 upper-bound-type estimate이며, IWAE는 더 tight한 estimate를 제공할 수 있다. decoder가 lower bound만 제공한다면 exact perplexity는 이용할 수 없다.이 estimator들은 unconditional likelihood evaluation에 적용되며, marginal likelihood와 그 variational bound 사이의 구분을 그대로 따른다.
  • B.3 Conditional Probability Estimation and Block-Level Conditional Scoring: Conditional scoring은 ELBO 또는 IWAE plug-in formula를 사용해 joint estimate에서 prefix estimate를 빼지만, 이러한 conditional estimator가 lower-bound guarantee를 자동으로 유지하지는 않는다.block-causal prior에서는 동일한 conditional calculation을 prefix 및 response latent block에 대해 blockwise로 표현할 수 있다.

B.4 CNF Prior의 수치 평가 및 추정 알고리즘 … C.4 Plaid와의 차이: 왜 Latent인가

부록에서는 CNF 기반 likelihood estimator를 명시하고 Cola DLM을 통합 Markov-path framework에 배치해, 연속 latent prior와 conditional realization을 AR, LLaDA, Plaid와 구분한다. 이 비교는 semantic decomposition이 continuity 자체가 아니라 semantic prior modeling과 textual realization을 분리하는 기반임을 보여주며, low-rate semantic structure와의 정렬을 전제로 한다.

  • B.4 CNF Prior의 수치 평가 및 추정 알고리즘: CNF prior는 posterior sample을 인코딩하고 augmented ODE를 적분한 뒤 terminal base density와 누적 log-Jacobian을 통해 log pψ(z0)를 복원함으로써 unconditional ELBO/IWAE estimation을 지원한다.이 절차는 qϕ에서 z0를 sampling하고 ODE를 t = 1까지 풀어 prior density를 계산한 다음, 이를 decoder likelihood 및 encoder posterior 항과 결합한다.
  • B.4 CNF Prior의 수치 평가 및 추정 알고리즘: Conditional log-likelihood는 Algorithm A.1을 black-box unconditional estimator로 사용해 joint full-sequence estimate에서 prefix estimate를 뺀 값으로 추정한다.이 방법은 xfull = (xpre, xres)를 구성하고 log p(xfull)과 log p(xpre)를 각각 추정한 뒤, 두 값을 빼 log p(xres | xpre)를 얻는다.
  • C.1 Process-Based Generative Model을 위한 통합 Framework: Cola DLM의 통합 비교는 state space, trajectory, transition mechanism, path role, readout location, objective tightness에 따라 모델을 구분한다.핵심 구분은 경로가 observation-dependent corruption을 나타내는지, 아니면 observation-independent latent prior를 나타내는지에 있다.
  • C.2 Autoregressive Model과의 차이: 왜 Diffusion인가: AR의 고정된 prefix filtration과 chain-rule factorization과 달리 Cola DLM은 latent marginalization을 사용하며, conditional text realization에 앞서 continuous transport로 pψ(z0)를 모델링한다.Decoder도 non-autoregressive라면 generation은 먼저 global semantic latent를 sampling한 뒤 text를 conditional하게 실현한다. Continuous prior는 expressive transport가 유리할 때 aggregated posterior에 더 잘 맞는다.
  • C.3 Discrete Denoising Language Model과의 차이: 왜 Continuous인가: LLaDA는 discrete token space에서 reverse recovery를 수행하는 반면, Cola DLM은 명시적 log-density, Flow Matching geometry, interpolation, gradient guidance, representation editing을 갖춘 continuous latent prior를 모델링한다.이러한 이점은 continuous-time change of variables와 Euclidean vector-field regression에서 비롯되지만, 성능 향상은 latent structure와 low-dimensional semantic organization의 정렬에 좌우된다.
  • C.4 Plaid와의 차이: 왜 Latent인가: Plaid의 token-aligned near-observation continuous representation과 비교하면, Cola DLM은 global representation과 textual realization을 분리하는 명시적 semantic latent variable을 도입한다.Encoder가 거의 invertible하면 Cola DLM은 Plaid의 non-compressive limit에 가까워지며, 차별적 기여는 latent decomposition 자체에 있다.
  • C.4 Plaid와의 차이: 왜 Latent인가: Latent formulation은 representation learning을 conditional reconstruction, mutual information Iq(X; Z0), aggregated posterior와 prior 사이의 KL-based matching으로 분해한다.이 분해는 데이터에 low-rate high-value semantic structure가 있을 때에만 통계적 이점을 제공한다. Latent가 단순히 token을 continuous하게 완화하는 것이 아니라 marginalization에 참여하기 때문이다.

C.5 Cola DLM이 단순한 Latent Reverse-Diffusion LM이 아닌 이유 … D.3 구조적 생성 체계: Cola DLM이 실제 메커니즘에 더 잘 부합하는 경우

Cola DLM은 CNF prior를 갖는 계층적 latent-variable language model이지, 단순한 latent reverse-diffusion model이 아니다. 잠재적 이점은 더 낮은 총 통계적 부담과 전역 구조를 정보성 latent factor로 압축할 수 있는 데이터에 달려 있다.

  • C.5 Cola DLM이 단순한 Latent Reverse-Diffusion LM이 아닌 이유: Cola DLM은 Gaussian noise에서 semantic prior를 운반하는 반면, Plaid와 LLaDA는 데이터에 조건화된 corruption process를 역전한다.생성 경로는 특정 sample x를 복원하는 과정이 아니라 observation-independent prior transport다.
  • C.5 Cola DLM이 단순한 Latent Reverse-Diffusion LM이 아닌 이유: Cola DLM은 무엇보다 CNF prior를 갖는 계층적 latent-variable language model이며, flow 또는 diffusion은 그 prior를 더 표현력 있게 만들 뿐이다.encoder는 variational inference에 속하며 생성에 참여하지 않는다. 이는 Plaid와 LLaDA의 forward corruption process와 다르다.
  • D.1 통합된 Population-Level 비교 기준: 네 가지 model class는 모두 population risk를 data entropy, model mismatch, 그리고 추가적인 training-objective gap으로 분해한다.이는 model complexity만을 넘어 AR, Cola DLM, Plaid, LLaDA를 비교할 수 있는 통합적 기반을 제공한다.
  • D.1 통합된 Population-Level 비교 기준: Population level에서 Cola DLM은 총 통계적 부담이 더 작을 때 그리고 그럴 때에만 비교 class보다 우수하다.기준은 R_Cola DLM < R_AR ⇐⇒ Cola DLM이 population level에서 AR보다 우수하다는 식으로 표현된다.
  • D.2 Rate-Distortion와 Latent Bottleneck의 적용 경계: Latent bottleneck은 latent가 reconstruction에 충분한 정보를 보존할 때 도움이 되며, 낮은 mutual information은 달성 가능한 최선의 reconstruction loss를 높인다.rate-distortion curve는 낮은 information rate에서도 상당한 reconstruction quality를 얻을 수 있을 때 bottleneck에 유리하지만, 거의 모든 token detail이 불가역적일 때는 그렇지 않다.
  • D.3 구조적 생성 체계: Cola DLM이 실제 메커니즘에 더 잘 부합하는 경우: Cola DLM은 text가 topic, plan, discourse structure, style 또는 constraints와 같은 저차원·고가치 전역 요인에서 생성될 때 가장 잘 작동할 것으로 예상된다.이러한 구조적 체계에서 model은 전역 semantic organization과 conditional textual realization을 분리한다.
  • D.3 구조적 생성 체계: Cola DLM이 실제 메커니즘에 더 잘 부합하는 경우: inference gap과 decoding gap이 작을 때 Cola DLM의 부담은 전체 surface sequence가 아니라 저차원 전역 요인을 모델링하는 데서 주로 결정된다.이 분해가 AR, LLaDA, Plaid에 비해 가능한 이점을 제공하는 명시된 원천이다.

D.4 세 곡선, 이론적 장점과 한계

Cola DLM은 representation, prior-approximation, inference-gap 곡선이 함께 latent decomposition에 유리할 때에만 이론적으로 유리하다. AR 및 discrete diffusion model 대비 이점은 불리한 regime에서 variational, bottleneck, optimization, evaluation 비용으로 상쇄된다.

  • 이론적 한계: 낮은 rate에서 충분한 representation이 존재하지 않거나, local surface form이 semantics를 담고 있거나, 강력한 token-space model만으로 이미 충분한 경우 Cola DLM은 성능이 낮을 수 있다.이러한 regime에서는 bottleneck으로 유도되는 reconstruction lower bound와 encoder 및 다른 구성 요소를 공동 학습하는 복잡성이 비용으로 발생한다.
  • 세 곡선: Cola DLM은 representation rate-distortion, prior-approximation, inference-gap 곡선이 모두 latent decomposition에 유리할 때에만 성공한다.그렇지 않으면 latent decomposition이 이론적 이점을 제공한다고 볼 수 없다.
  • 이론적 장점: AR과 비교하면 Cola DLM은 하나의 left-to-right ordering 없이 latent space에서 global semantics를 계획할 수 있어 infilling, constraint satisfaction, global planning에 유리하다.
  • 이론적 장점: discrete DLM과 비교하면 Cola DLM은 continuous latent geometry를 활용해 명시적 log-density와 vector-field regression을 지원한다.
  • 이론적 한계: latent bottleneck은 variational gap을 만들며, decoder가 지나치게 강하거나 latent dimension이 너무 작거나 regularization이 지나치게 강할 때 posterior collapse를 일으킬 수 있다.encoder가 좋지 않으면 Iq(X; Z0)를 줄여 systematic likelihood penalty도 발생한다.
  • 이론적 한계: log pψ(z0)를 평가하는 일은 ODE integration과 divergence estimation이 필요한 경우가 많으므로 AR model보다 비용이 더 클 수 있다.

E 전역 의미 구조의 존재 … F.4 AR / LLaDA와 같은 이산 모델에서 PPL과 생성이 대체로 더 강하게 상관되는 이유

분석 결과, latent dimension에 따른 shift drift는 순수하게 분리 가능한 representation을 기각하며 의미론에 영향을 미치는 공유 구조를 지지한다. 또한 PPL이 높아도 Cola DLM이 양호하게 생성할 수 있는 이유를 설명한다. 생성에는 폭넓은 coverage가 필요하지만, PPL에는 정밀한 국소 확률 보정이 필요하기 때문이다.

  • E 전역 의미 구조의 존재: latent dimension에 따른 최적 timestep shift의 안정적이고 재현 가능한 drift는 순수한 국소 분리 가능성을 반박하며, 차원 간 공유 또는 결합 latent structure를 시사한다.이 결론만으로 global semantic variable이 유일하게 확립되는 것은 아니다. reconstruction이 안정적인 반면 semantic metric이 변한다면, 해당 공유 구조가 고수준 의미론과 연관된다는 뜻이다.
  • E 전역 의미 구조의 존재: shared-factor model은 shift drift를 기계적으로 설명한다. 차원이 증가하면 복원 가능한 공유 정보가 증폭되므로, 유효한 semantic-information regime을 유지하려면 diffusion shift를 재보정해야 한다.이 설명 모델은 엄밀한 모순 논증을 대체하는 것이 아니라 보완한다. VAE logSNR의 변화 역시 posterior uncertainty를 통해 유효한 semantic information을 유사하게 바꾼다.
  • F.1.1 Flow Matching은 gold-specific local log-density가 아니라 vector-field regression을 최적화한다: Flow Matching은 gold-specific local latent log-density calibration이 아니라 vector-field regression을 통해 conditional mean velocity field를 학습한다.폭넓거나 multimodal한 conditional response distribution에서는 하나의 gold posterior tube에서 density를 최대화하기보다, probability mass를 합리적인 영역으로 운반하는 방식이 선호된다.
  • F.1.2 prior mean이 ground truth에서 멀리 떨어져 있어도 generation quality가 양호할 수 있는 이유: multimodal conditional mass가 decoder-good region 안에 있을 때, prior mean이 특정 ground-truth latent에서 멀리 떨어져 있어도 free-generation quality는 양호할 수 있다.context-level prior가 여러 mode를 나타내더라도 posterior는 하나의 좁은 gold-specific mode를 선택할 수 있다.
  • F.2.1 Generation quality와 conditional PPL은 서로 다른 두 geometric object에 대응한다: 양호한 generation과 conditional PPL은 서로 다른 geometric requirements를 측정한다. generation에는 decoder-good region에 prior mass가 필요하지만, PPL에는 특정 gold posterior tube에서 높은 local density가 필요하다.따라서 폭넓은 coverage는 상당히 biased한 conditional ELBO 또는 plug-in PPL과 공존할 수 있다.
  • F.2.2 양호한 reconstruction이 양호한 conditional PPL을 의미하지 않는 이유: 양호한 reconstruction이 양호한 PPL을 의미하지는 않는다. conditional score는 posterior–prior gap과 양자의 국소 확률적 matching에도 의존하기 때문이다.prior가 posterior에 충분한 density를 할당하지 못하면, 강한 decoder reconstruction term도 낮은 conditional scoring과 공존할 수 있다.
  • F.3.1 국소 Gaussian 근사에서 중심 정렬은 필요조건이지만 충분조건은 아니다: prior와 posterior의 중심이 일치하더라도, 불일치하는 covariance scale, orientation, 또는 volume 때문에 KL divergence와 conditional PPL이 상당히 낮게 유지될 수 있다.따라서 continuous-density PPL에는 단순히 prior mean을 ground-truth latent 근처로 옮기는 것이 아니라 완전한 국소 보정이 필요하다.
  • F.3.2 지나치게 sharp한 posterior는 이 문제를 더욱 증폭한다: 매우 집중된 posterior는 국소 density 불일치를 증폭하므로, 양호한 PPL을 얻으려면 prior가 특히 좁은 gold posterior tube를 정확히 포착해야 한다.결과적으로 continuous-latent PPL은 generation quality의 직접적인 측정치라기보다 local density calibration에 가깝게 작동한다. 제공된 문단에는 별도의 F.4 근거가 제시되어 있지 않다.

F.4.1 AR: 학습, 평가, 생성이 동일한 이산 확률 객체를 공유함 … G.1 Noise Schedule과 logSNR의 동등한 Parameterization

이 절은 autoregressive 및 discrete diffusion objective와 Cola DLM의 latent-space integration 및 calibration 요구사항을 대조한 뒤, forward noising을 설명하는 동등한 기술로서 noise schedule과 logSNR을 형식화한다. 또한 logSNR이 sampling measure와 target scaling을 통해 Flow Matching에 미치는 영향을 설명하고, timestep shift가 유효한 semantic information regime을 재보정하는 방식을 다룬다.

  • F.4.1 AR: 학습, 평가, 생성이 동일한 이산 확률 객체를 공유함: Autoregressive 학습, perplexity 평가, 생성은 동일한 conditional probability를 기반으로 작동하므로 생성 품질과 강한 상관을 보인다.다음 토큰 cross-entropy는 생성 과정에서 질의되는 동일한 conditional term의 negative log를 최소화한다.
  • F.4.2 Discrete model은 정답 event의 probability mass를 더 직접적으로 최적화함: Discrete classifier는 정답 event의 probability mass를 직접 최적화하는 반면, Cola DLM은 continuous latent space에 대한 적분을 평가한다.Continuous-latent objective는 posterior–prior matching과 decoder-emission compatibility의 영향을 추가로 받는다.
  • F.4.2 Discrete model은 정답 event의 probability mass를 더 직접적으로 최적화함: Cola DLM의 conditional likelihood는 mode height만이 아니라 mode location, volume, curvature를 포함한 local latent geometry에 의존한다.Laplace approximation을 사용하면 local volume과 curvature의 기여를 명시적으로 드러낼 수 있다.
  • F.4.3 LLaDA: 주요 discrepancy는 latent calibration level이 아니라 discrete observation level에서 발생함: Cola DLM과 비교하면 LLaDA의 주요 discrepancy는 latent space에서의 posterior–prior density collision보다 discrete token recovery에 집중된다.LLaDA에도 surrogate gap이 나타날 수 있지만, Cola DLM의 독립적인 pointwise latent-prior matching 요구사항 없이 discrete observed state를 복원한다.
  • G.1 Noise Schedule과 logSNR의 Equivalent Parameterizations: Noise schedule과 logSNR curve는 동일한 forward noising geometry를 나타내는 equivalent parameterizations이며, 둘 중 하나가 signal 및 noise coefficient를 유일하게 결정한다.이는 loss에 대한 부차적 변환이 아니라 동일한 process에 대한 대안적 기술이다.
  • G Noise Schedule, logSNR, Flow Matching에 대한 통합 이론 관점: Flow Matching에서 logSNR은 expectation의 sampling measure와 supervised target velocity field의 scale을 모두 통해 loss를 변화시킨다.따라서 noise-schedule 선택은 수학적으로 구별되는 두 경로를 통해 training objective에 영향을 준다.
  • G Noise Schedule, logSNR, Flow Matching에 대한 통합 이론 관점: Uniform-timestep training은 일반적으로 uniform-logSNR training과 not equivalent하므로, 선택한 parameterization은 noise regime 전반에 training mass가 분포되는 방식을 바꾼다.이 차이는 단순히 time을 다시 명명해서가 아니라 sampling measure에서 logSNR이 담당하는 역할에서 비롯된다.
  • G.1 Noise Schedule과 logSNR의 Equivalent Parameterizations: Optimal timestep shift는 각 raw timestep을 서로 다른 logSNR regime으로 remap하여, training과 sampling을 더 적절한 effective semantic information regime으로 재보정한다.따라서 그 역할은 추상적인 time label을 단순히 이동하는 데 있지 않다.

G.2 Flow Matching Objective의 Reparameterization … H Experiments Details

부록은 logSNR reparameterization이 Flow Matching의 sampling measure와 target-velocity scale을 모두 변화시키며, noise schedule이 raw timestep 값이 아니라 effective semantic information을 보정한다는 점을 보인다. 또한 latent dimension과 VAE posterior uncertainty가 semantic-information recovery에 미치는 영향을 통해 최적점이 이동하는 이유를 설명한다.

  • G.2 Flow Matching Objective의 Reparameterization: Uniform-timestep training은 schedule이 affine일 때에만 유도된 logSNR density가 constant이므로 일반적으로 uniform-logSNR training과 다르다.이는 timestep과 logSNR sampling density 사이의 change-of-variables 관계에서 따른다.
  • G.2 Flow Matching Objective의 Reparameterization: LogSNR은 noise regime 전반의 sampling weight와 supervised target velocity field의 수치적 scale을 통해 Flow Matching에 영향을 미친다.따라서 noise schedule은 어떤 regime에 emphasis를 둘지와 그 안에서 regression이 얼마나 어려울지를 직접 결정한다.
  • G.3 Equivalent Derivation Under the Signal--Noise Parameterization: 동일한 schedule-scaling conclusion은 abstract bridge-path parameterization과 direct signal–noise coefficients (αt, σt) 중 어느 쪽에서도 성립한다.부록은 이 관계를 하나의 notation에 특화된 것으로 취급하지 않고 두 parameterization 모두에서 도출한다.
  • G.4 The Optimal Schedule as Calibration of the Effective Semantic Information Regime: Schedule은 effective semantic-information curve I(s; z_t)를 제어하므로, timestep shift는 training과 sampling을 다른 semantic-information regime으로 재보정한다.DiT에 중요한 대상은 raw timestep 자체가 아니라 high-level variable s에 대해 보존된 semantic information이다.
  • G.5 Why Latent Dimension and VAE logSNR Shift the Optimum: Increasing latent dimension은 recoverable shared semantic information을 증폭할 수 있으므로, 자연스럽게 logarithmic law를 따르는 compensating timestep shift가 필요하다.Shared-factor analysis는 이 효과를 latent dimension 전반에서 공통된 low-dimensional semantic structure를 반복 관측한 결과로 설명한다.
  • G.5 Why Latent Dimension and VAE logSNR Shift the Optimum: 낮은 VAE posterior logSNR은 posterior variance를 증가시키고 effective semantic mutual information을 감소시켜, comparable information regime을 유지하는 데 필요한 schedule을 이동시킨다.따라서 latent dimension과 posterior logSNR은 각각 aggregation과 noise-floor effect를 통해 동일한 semantic-information curve에 작용한다.
  • G.5 Why Latent Dimension and VAE logSNR Shift the Optimum: Block size에는 확립된 closed-form schedule law가 없지만, semantic aggregation, cross-block dependence, modeling difficulty를 변화시켜 scheduling과 간접적으로 상호작용한다.정확한 효과는 schedule을 직접 결정하기보다 effective semantic-information curve의 형태를 통해 작동한다.

H.1 데이터셋 소개 · H.2 베이스라인 세부사항

평가는 장문맥 이어쓰기, 지식, 추론, 이해, 상식, 담화 수준의 일관성을 아우르는 8개 벤치마크로 구성되며, 내부 분석에는 샘플링한 부분집합을, 외부 비교에는 더 광범위한 테스트 세트를 사용한다. 베이스라인은 동일 조건으로 처음부터 학습한 autoregressive 모델과 discrete diffusion 모델로 구성하여, 프레임워크 중심의 비교를 가능하게 한다.

  • H.1 데이터셋 소개: LAMBADA [74]는 모델이 어려운 목표 단어 예측을 위해 분산된 담화 문맥을 활용하고 장거리 문맥 일관성을 유지하는지를 평가한다.이 벤치마크는 국소 문맥을 넘어선 정보를 중시하며, 대표적인 이어쓰기 방식 평가로 활용된다.
  • H.1 데이터셋 소개: MMLU [33], SIQA, OBQA [64]는 제한된 답변 공간에서 광범위한 사실 지식, 사회적 맥락에 기반한 상식, 다중 홉 지식 통합 능력을 평가한다.MMLU는 인문학, 사회과학, STEM, 전문 과목을 포괄하고, SIQA는 사회적 상황·의도·반응에 초점을 맞추며, OBQA는 과학적 사실과 상식 지식을 결합한다.
  • H.1 데이터셋 소개: SQuAD [78]는 문맥 증거를 조건으로 정확한 개방형 답변을 생성하는 능력을 통해 생성형 독해를 평가한다.이는 개방형 텍스트 생성을 평가함으로써 객관식 평가를 보완한다.
  • H.1 데이터셋 소개: Story Cloze, RACE [48], HellaSwag 는 서사적 일관성, 난도 높은 지문 추론, 근거 기반 상식, 그럴듯한 문장 이어쓰기를 평가한다.이 과제들은 담화 일관성, span 추출을 넘어선 답변 선택, 일관된 이어쓰기와 방해 선택지를 구별하는 능력을 평가한다.
  • H.1 데이터셋 소개: 벤치마크 세트는 8개 과제에 걸쳐 이어쓰기, 지식 집약적 추론, 독해, 상식 추론, 담화 수준의 의미적 일관성을 포괄한다.LAMBADA는 장거리 문맥 일관성을 평가하고, MMLU, SIQA, SQuAD, Story Cloze, OBQA, RACE, HellaSwag는 상호 보완적인 추론 및 생성 능력을 다룬다.
  • H.1 데이터셋 소개: 내부 구성요소 분석은 LAMBADA, MMLU, SIQA에서 무작위로 샘플링한 테스트 부분집합을 사용하며, 외부 비교에는 더 광범위한 테스트 세트 평가 5개를 추가한다.추가된 벤치마크는 SQuAD, Story Cloze, OBQA, RACE, HellaSwag이며, 이어쓰기, 이해, 지식 집약적 추론, 상식을 다룬다.
  • H.2 베이스라인 세부사항: 내부 분석은 외부 베이스라인 없이 Cola DLM 구성만 비교하는 반면, Section 4.5에서는 외부 autoregressive 및 LLaDA 베이스라인을 사용해 스케일링을 비교한다.autoregressive 모델은 공식 LLaMA 프레임워크 [92]를 따르고, LLaDA [70]는 공식 코드베이스로 구현했으며, 두 모델 모두 무작위 초기화로 처음부터 학습한다.
  • H.2 베이스라인 세부사항: 외부 비교에서는 autoregressive 베이스라인, LLaDA [70], Cola DLM을 정렬된 코퍼스, 파라미터 규모, 연산 예산으로 각각 처음부터 독립적으로 학습한다.이러한 매칭은 보고된 차이가 학습 초기화나 자원 격차보다 기본 모델링 프레임워크를 주로 반영하도록 하기 위한 것이다.

H.3 지표 및 평가 · H.4 설정 세부사항 · H.5 VAE 사전학습이 공정성을 훼손하지 않는 이유

평가는 통일된 생성 프롬프트와 후처리를 사용하며, 일치시킨 학습 및 정밀도 설정으로 모델링 패러다임의 차이를 분리한다. 공정성의 근거는 VAE 사전학습을 숨은 생성적 이점이 아니라 표현 안정화로 간주하며, 안정화 및 스케일링 결과가 이를 뒷받침한다.

  • H.3 지표 및 평가: 모든 모델은 고정 템플릿과 통일된 후처리를 사용하는 동일한 few-shot 생성 프로토콜을 따르며, likelihood 추정치가 Cola DLM의 생성 품질과 불일치할 수 있으므로 perplexity는 주요 지표가 아니다.템플릿은 모델 계열과 평가 예제 전반에서 공유하며, 별도 언급이 없으면 2-shot prompting을 기본으로 한다.
  • H.3 지표 및 평가: 객관식 출력은 첫 번째 줄바꿈에서 잘라내고, 정규화한 뒤, 후보 선택지 텍스트와 매칭하며, 선택된 후보가 gold answer와 일치할 때만 정답으로 센다.모델은 선택지 label이 아니라 선택지 텍스트를 생성한다. LAMBADA는 대신 처음 생성된 단어를 사용하고, SQuAD는 정규화된 exact-match 단답을 사용한다.
  • H.3 지표 및 평가: 벤치마크별 형식은 task semantics를 보존한다. MMLU, RACE, OBQA, HellaSwag, SIQA는 객관식 생성을 사용하고, Story Cloze는 End: completion anchor를 사용하며, LAMBADA는 demonstrations 없이 open-ended continuation을 사용한다.SIQA는 세 개의 선택지를 제시하고, 별도 지정이 없으면 나머지 객관식 과제는 네 개 선택지 형식을 사용한다.
  • H.4 설정 세부사항: AR, LLaDA, Cola DLM은 corpus, tokenizer, sequence length, batch size, optimizer, learning-rate schedule, hardware, evaluation protocol을 공유하며, 일치된 optimization step에서 학습 token 수도 맞춘다.AR과 LLaDA는 ∼1.8B non-embedding transformer parameter를 사용하고, Cola DLM은 이에 상응하는 ∼1.8B DiT prior를 사용한다.
  • H.4 설정 세부사항: 정밀도 체계도 일치시켰다. 모든 모델은 checkpoint를 fp32로 저장하고 불러오며, runtime weight를 fp32로 유지하고, 주 forward pass에는 bfloat16 autocast를 사용하며, 민감한 연산은 fp32로 유지한다.이 구현 수준의 점검 결과는 Table 10에 보고한다.
  • H.5 VAE 사전학습이 공정성을 훼손하지 않는 이유: 추가 VAE 단계는 방법별 representation-construction cost로 규정한다. 이 단계는 stable text–latent interface를 학습하지만, 일치된 설정에서 생성은 DiT prior와 conditional decoder가 담당한다.사전학습된 encoder는 학습 중 variational inference와 latent construction에 사용하며, 추론 시 generative prior로 사용하지 않는다.
  • H.5 VAE 사전학습이 공정성을 훼손하지 않는 이유: Figure 15는 AR 표현이 초기 단계 이후 안정화되는 반면, 사전학습된 VAE encoder는 더욱 명확한 stabilization pattern을 보임을 보여준다.이 근거는 inter-step drift와 첫 번째 checkpoint까지의 distance에 관한 것으로, 초기 학습 이후 값이 작아지거나 포화된다.
  • H.5 VAE 사전학습이 공정성을 훼손하지 않는 이유: VAE 사전학습만으로 Cola DLM의 성능 향상을 설명할 수는 없다. Fix VAE는 더 일찍 포화되는 반면, Joint DiT x1은 가장 강한 overall scaling trend를 보인다.이 패턴은 사전학습된 encoder 자체가 아니라 후속 prior learning과 co-adaptation이 관찰된 이점을 이끈다는 것을 나타낸다.

H.6 고정 latent space와 evolving latent space 추가 결과 … I 논의

추가 결과는 pretrained VAE initialization 이후에도 latent space를 DiT와 지속적으로 co-evolve하는 방식이 interval update보다 우수함을 보이며, 부록에서는 VAE logSNR을 정의하고 timestep-shift parameter가 학습 중 강조되는 semantic regime을 어떻게 바꾸는지 설명한다.

  • H.6 고정 latent space와 evolving latent space 추가 결과: 구현 점검에서는 checkpoint precision, runtime autocast policy, 수치적으로 민감한 연산을 긴밀하게 정렬한 조건에서 AR, LLaDA, Cola DLM을 비교한다.이 점검은 세 방법 간 수치적 비교 가능성을 다룬다.
  • H.7 VAE LogSNR 공식: VAE logSNR은 latent coordinate 전반에서 posterior mean의 signal power와 posterior variance의 noise power 사이의 log ratio로 정의된다.기댓값은 data distribution과 latent dimension에 대해 취하며, 이 값은 sample과 latent coordinate 전반에서 경험적으로 추정된다.
  • H.7 VAE LogSNR 공식: 더 큰 VAE logSNR은 posterior-mean signal이 posterior uncertainty를 지배하므로 더 깨끗하고 결정적인 latent representation을 의미한다.논문 전체에서 VAE logSNR은 Eq. (H.2)에 정의된 양을 구체적으로 가리킨다.
  • H.8 Noise Schedule Timestep Shift 시각화: LogitNormal timestep schedule은 denoising trajectory 전반의 학습 강조점을 이동시키며, µ moving sampling toward later timesteps이고 σ는 concentration 또는 dispersion을 제어한다.이는 단순히 고립된 수치 hyperparameter를 조정하는 것이 아니라, 어떤 semantic-information 또는 logSNR regime을 강조할지 바꾼다.
  • H.9 Timestep Shift 공식: Timestep shift는 LogitNormal distribution에서 normalized timestep을 sample하고, logistic function으로 이를 (0, 1)에 매핑한 뒤 diffusion interval로 rescale한다.그 결과 얻은 continuous timestep은 rounding 또는 flooring을 통해 유효한 discrete training timestep으로 변환된다.
  • H.6 고정 latent space와 evolving latent space 추가 결과: Joint DiT x1은 pretrained VAE initialization에도 불구하고 Task Average, LAMBADA, MMLU, SIQA 전반에서 Interval보다 더 강한 overall trend와 better final performance를 달성한다.이는 안정적인 initialization 이후 continuous latent update와 intermittent latent update를 분리해 비교하며, DiT와 latent space의 지속적인 co-evolution을 뒷받침한다.
  • H.9 Timestep Shift 공식: Timestep-shift parameterization에서 더 큰 µ는 probability를 later timestep 쪽으로 이동시키고, 더 작은 σ는 concentration을 날카롭게 하며, 더 큰 σ는 sampling을 분산시킨다.Rescaling 이후 schedule은 학습 중 sample되는 logSNR regime의 distribution을 직접 바꾼다.
  • I 논의: Timestep-shift visualization은 uniform schedule과 LogitNormal schedule을 비교해 µ와 σ가 학습 중 강조되는 logSNR regime을 어떻게 바꾸는지 보여준다.µ를 키우면 sampling mass가 뒤쪽으로 이동하고, σ를 바꾸면 concentration sharpness가 조절된다.

I.1 첫 번째 Generation Block의 Conditioning Strategies 이해 … Text to Text

Clean condition repaint는 첫 번째 generation block에서 알려진 영역을 가장 잘 보존하면서 미지 영역만 transport한다. 정성적 결과는 제한된 데이터로 학습한 unified model이 일관된 텍스트 continuation, text-to-image synthesis, image–text-to-text generation도 수행함을 보여준다.

  • I.1 첫 번째 Generation Block의 Conditioning Strategies 이해: Partial repaint는 clean known region을 noisy하고 시간에 따라 변하는 surrogate로 대체해 conditioning을 약화시키며, irreducible uncertainty를 증가시키고 trajectory error를 누적시킨다.m을 줄이면 성능이 저하되지만, t를 1에서 3으로 늘려도 안정적인 이득은 없다. 초기 correction으로는 이후의 structural mismatch를 제거할 수 없기 때문이다.
  • I.1 첫 번째 Generation Block의 Conditioning Strategies 이해: Clean condition repaint는 세 과제 모두에서 일관되게 가장 좋은 성능을 보이며, padding은 일반적으로 partial repaint를 앞서지만 명시적인 clean conditioning보다는 낮다.첫 번째 block은 known region과 unknown region을 함께 재추정하기보다 고정된 (zpre, zK) 조건에서 zU를 생성해야 한다.
  • I.2 Image Modalities를 포함한 More Unified Approach의 결과: 여러 modality에 걸쳐 jointly 학습한 unified model은 제한된 training data에도 일관된 text, image, image–text output을 생성한다.이 model은 여러 task type을 대상으로 scratch부터 pretraining하며, training stage에 따라 data proportion을 조정한다.
  • I.2.1 Text to Text: 약 1B text tokens로 학습한 뒤 text-to-text sample은 대체로 일관되고 유창하다.Figure 18은 conversational, narrative, expository, technical, article-style continuation example을 포괄한다.
  • Text to Text: 추가적인 text-to-text example은 conversational, narrative, expository, technical, article-style text를 포함해 서로 다른 style 전반에서 일관된 continuation을 보여준다.이 정성적 example은 unified latent-prior formulation이 다양한 textual continuation setting을 처리할 수 있음을 뒷받침한다.
Loading 2605.06548v1…