TTE-Flash: Accelerating Reasoning-based Multimodal Representations via Think-Then-Embed Tokens

• 통합 백본이 embed 토큰에 앞서 미리 정한 수의 잠재 think 토큰을 생성해, 비용이 큰 명시적 추론 생성을 대체한다.기존 Think-Then-Embed 접근법은 CoT 추론으로 표현 품질을 높이지만, 생성 비용이 지나치게 크다 (Cui et al., 2025; Lan et al., 2025).출처: §1 · p. 1
• 8개 토큰으로 구성된 레지스터는 MMEB에서 루프 방식 대비 처리량을 두 배로 늘리지만 검색 정확도가 상대적으로 3% 하락한다. 모든 트랜스포머 층에 레지스터를 도입하면 이 격차가 줄어든다.루프 구조는 출력을 입력으로 재귀적으로 되먹이므로 자기회귀적이며 메모리 병목이 발생한다. 레지스터는 한 번의 프리필 단계만 사용하지만 문맥 의존성이 없다. 층별 레지스터는 순전파 효율을 유지한다.출처: §1 · p. 2
• think 토큰을 명시적 CoT 생성을 위한 잠재 변수이자 정보 병목으로 학습해, 중간 은닉 상태에 학습 신호를 제공하기 어려운 문제를 해결한다.도메인 외 MMEB 평가에서 디코딩된 CoT 추론 과정은 충실도가 높고 멀티모달 지시 및 정답과 부합한다.출처: §1 · p. 2
• think 토큰과 embed 토큰을 겹쳐 사용하면 두 과제의 성능이 모두 저하되므로, 순차적인 Think-Then-Embed 의존 관계를 반영한 매개변수 공유 및 분리 설계가 필요하다.embed 토큰은 대조 학습을 적용한 다중 벡터 검색을 통해 멀티모달 표현을 학습한다 (Santhanam et al., 2022; Faysse et al., 2024).출처: §1 · p. 2
• TTE-Flash-2B는 명시적 CoT 추론 기반 UME 기준 모델보다 70x 더 효율적이며, MMEB-v2 성능도 더 높다.이 모델은 Think-Then-Embed 토큰으로 상수 시간 추론을 수행한다.출처: §1 · p. 2
• 15개 비디오 데이터셋에서 think 토큰 수에 따른 제로샷 성능 확장 양상이 과제마다 다르게 나타나, 과제 난이도에 따른 적응형 예산 할당의 예비 연구로 이어진다.think 토큰은 CoT 디코딩을 통한 텍스트 해석과 부착된 이미지 생성 헤드를 통한 시각적 해석도 지원한다.출처: §1 · p. 2

범용 멀티모달 임베딩

• UME는 통합 MLLM 백본을 통해 멀티모달 입력을 공통 공간으로 매핑한다 (Lin et al., 2024; Gu et al., 2026, 2025).별도의 인코더와 후단 정렬을 사용하는 CLIP 방식의 이중 타워 구조와 달리 (Radford et al., 2021; Zhai et al., 2023), LLM 중심 융합은 추론을 반영한 표현을 지원한다 (Jiang et al., 2024a; Zhang et al., 2024; Lin et al., 2024).출처: §2 · p. 3
• TTE (Cui et al., 2025), UME-R1 (Lan et al., 2025), MMEmb-R1 (Wang et al., 2026)은 UME 표현 학습에 앞서 명시적 CoT를 도입한다.동시기 연구인 PLUME (He et al., 2026)는 UME에 잠재 추론을 도입해 MMEB-v2 (Meng et al., 2025)에서 정확도와 효율성 간 절충을 개선한다.출처: §2 · p. 3

잠재 추론

• 잠재 추론은 명시적 추론 토큰을 중간 은닉 상태로 대체한다. TTE-Flash는 동일한 사전 학습된 LLM 안에서 사고 벡터를 명시적 CoT 생성의 병목으로 활용한다.기존 학습 전략에는 커리큘럼 학습 (Hao et al., 2024; Deng et al., 2024), 명시적 CoT 증류 (Deng et al., 2023; Shen et al., 2025), 종단 간 지도 학습, 강화 학습 (Yue et al., 2025)이 있다.출처: §2 · p. 3

대조·생성 결합 모델

• TTE-Flash는 통합 LLM 안에서 대조 목적 함수와 생성 목적 함수를 결합하며, 추론과 표현 학습에 전용 토큰 헤드를 두는 Think-Then-Embed 과제로 차별화된다.CoCA (Yu et al., 2022)는 대조 손실과 캡션 생성 손실을 결합하며, BLIP (Li et al., 2022)은 여기에 이미지-텍스트 매칭을 추가한다. InternVL (Chen et al., 2024)은 공통 LLM 백본 안에서 시각-언어 대조 학습과 생성 학습을 수행한다.출처: §2 · p. 3

3.1 백본

• TTE-Flash는 통합 인과 LLM에 학습 가능한 think 및 embed 레지스터를 덧붙여, 한 번의 프리필 단계에서 모든 표현을 추출한다.레지스터는 입력 간에 공유된다. think 토큰은 멀티모달 입력에 어텐션을 적용하고, embed 토큰은 입력과 think 토큰 모두에 어텐션을 적용한다.출처: §3.1 · p. 3
• 레지스터는 이론상 N회의 디코딩 단계를 생략한다. 토큰 4개 및 8개를 사용한 절제 실험에서는 루프보다 성능이 낮았지만, 효율성을 고려해 채택했다.N은 think 토큰과 embed 토큰 수의 합이다. 메모리 병목이 있는 루프는 프롬프트 KV 캐시를 N번 다시 불러오지만, 연산 병목이 있는 레지스터는 모든 KV를 한 번에 계산하고 불러온다. 모든 트랜스포머 층에 레지스터를 추가하면 두 과제의 전문가 파라미터가 늘어나 성능 격차를 해소한다.출처: §3.1 · pp. 3–4

3.2 학습

• 1–32개의 think 벡터가 약 300개의 이산 토큰이 있어야 표현할 수 있는 정보를 인코딩하며, 고정된 예산이 정보 병목을 유발한다.LoRA가 적용된 백본과 think 레지스터는 CoT 생성 손실만으로 형성되는 결정론적 잠재 표현을 생성한다. 디코딩에는 LoRA 없이 동결된 동일한 백본을 사용하여 사전학습된 생성 능력을 보존한다.출처: §3.2 · pp. 4–5, Figure 2 · p. 4
• 임베딩 레지스터는 대조 손실로 학습하며, 다중 벡터 검색 점수는 최댓값 대신 대응하는 벡터 쌍의 유사도를 합산해 계산한다.학습에는 배치 내 음성 샘플과 온도 τ를 사용하며, N = 1이면 단일 벡터 검색과 같아진다. 인과 어텐션이 서로 의존하는 벡터를 생성하므로, 쌍별 점수 계산은 위치별 대응 관계를 보존한다.출처: §3.2 · p. 5

3.3 추론

• 추론 시에는 한 번의 프리필로 임베딩을 추출한다. 반면 think 토큰을 해석할 때는 해당 잠재 표현을 사전학습된 백본에 통과시켜 디코딩한다.임베딩 추출에는 think 및 embed 레지스터를 모두 갖춘 미세조정된 백본을 사용한다.출처: §3.3 · p. 5

4.1 구성 요소 분석

• MMEB-V1에서는 루프가 레지스터보다 성능이 높지만, 레지스터는 지연 시간이 짧고 처리량이 높다. 층별 레지스터를 추가하면 성능 격차가 줄어든다.레지스터 수를 늘려도 지연 시간에는 거의 영향이 없다. 각 Transformer 층에 추가하는 위치별 레지스터는 과제별 매개변수를 제공하며, 토큰 1개일 때 55K, 32개일 때 최대 1.7M개의 매개변수가 추가된다.출처: §4.1 · p. 5, Figure 4 · p. 6, Table 1 · p. 6
• 위치를 정렬한 쌍별 유사도는 sum-of-max보다 평균이 높고 분산이 낮으며, 분리된 think 토큰과 embed 토큰은 검색과 CoT 생성 성능을 높인다.토큰 예산을 8개로 설정한 20회 실행에서 유사도 함수들의 전반적인 성능은 비슷하다. 저자들은 위치 정렬이 쌍별 유사도의 우위를 설명한다고 추정한다. 토큰 8개를 사용하는 분리 실험에서는 검색 성능과 디코딩한 CoT 및 정답 CoT 간 코사인 유사도를 평가한다.출처: §4.1 · p. 6, Figure 5 · p. 6, Figure 6 · p. 6
• think 토큰 8개를 사용하면 임베딩 토큰 추가에 따른 검색 성능 이득이 거의 사라지지만, think 토큰이 없을 때는 임베딩 토큰을 늘리는 것이 도움이 된다.think 토큰 8개를 사용할 때 MMEB-V1의 다중 벡터 검색 성능은 단일 벡터 검색에 근접한다. 입력이 더 긴 ViDoRe 검색 과제에서도 성능 이득이 점차 줄어듦을 확인한다(Faysse et al., 2024).출처: §4.1 · p. 7, Figure 9 · p. 7, Figure 8 · p. 7

4.2 전체 결과

• TTE-flash 2B는 TTE-V1보다 70x 더 효율적이며, MMEB-V2에서 명시적 CoT를 사용하는 TTE-V1 2B 변형 모델들, VLM2vec 7B, 잠재 추론 기반 PLUME 2B보다 성능도 높다.최종 구성은 think 토큰 32개, 임베딩 토큰 1개, 층별 레지스터, 공유 LoRA 어댑터, 과제별로 분리된 레지스터를 사용한다. MMEB-V2 평가는 이미지, 비디오, 시각 문서 과제를 포괄한다.출처: §4 · p. 5, Table 1 · p. 6, Table 2 · p. 7

4.1 구성 요소 분석

• 15개 비디오 데이터셋의 제로샷 평가에서 think 토큰 수에 따른 성능 향상이 나타나며, 복잡한 추론 과제에서 상승세가 더 뚜렷하고 최적 토큰 예산은 과제마다 다르다.비디오 평가에는 이미지로 학습한 체크포인트를 사용한다. 임베딩 토큰 수를 1개로 고정했을 때 MMEB-V1 성능도 think 토큰 수가 늘어날수록 대체로 향상된다.출처: §4.1 · pp. 6–7, Figure 7 · p. 7, Figure 10 · p. 8

4.3 적응형 사고

• 전체 토큰 활성화율이 50%일 때 점수는 고정 예산 추론보다 낮으며, 적응형 예산은 추론 복잡도, 검색 방향, 시간 정보 처리 요구를 반영한다.think 토큰을 최대 32개로 제한하면 적응형 방식의 이미지/비디오/시각 문서 점수는 66/49.4/65.5이며, 고정 32토큰 추론에서는 68.3/50.6/68.1이다. 입력을 조건으로 하는 2층 MLP가 hard Gumbel-Softmax 샘플링(Jang et al., 2016)으로 처음 K개 토큰을 선택하는 마스크를 정하며, 추가 손실로 K에 페널티를 부과한다.출처: §4.3 · pp. 8–9

4.4 사고 출력 시각화

• think 토큰이 많을수록 디코딩한 추론의 품질이 높아지며, 확산 디코더는 캡션 기반 생성과 이미지·텍스트 조합을 통해 시각적 의미를 드러낸다.사람 평가에서는 더 큰 think 토큰 예산을 선호하며, Claude 4.7-as-judge는 일관성과 관련성에서 CoT-16을 우수한 것으로 평가한다. 동결된 TTE-Flash think 임베딩을 조건으로 하는 DiTDH-XL 디코더(Peebles and Xie, 2023)는 DINOv2(Oquab et al., 2024)의 이미지 잠재 표현을 복원하도록 학습한다.출처: §4.4 · p. 9

5 결론

• TTE-flash-2B는 think 토큰 예산이 늘어남에 따라 MMEB-V2에서 명시적 CoT 기반 TTE-2B 변형들과 규모가 더 큰 VLM2vec 7B 기준 모델을 모두 능가한다.제공된 결론에서는 구체적인 벤치마크 점수 없이 이 비교 결과를 보고한다.출처: §5 · p. 9
• 15개 비디오 하위 집합의 제로샷 평가에서 think 토큰 수가 늘어날수록 성능이 향상되는 스케일링 양상을 확인한다.과제마다 필요한 사고 깊이가 다르다는 점이 적응형 예산 예비 연구의 동기다.출처: §5 · p. 9
• 잠재 think 토큰은 명시적 CoT 추론 과정에 대응하며, register 토큰은 단 한 번의 인과적 pre-filling으로 모든 think 표현과 임베딩 표현을 생성한다.저자들은 이 register 토큰 기반 아키텍처를 선호한다.출처: §5 · p. 9

A 적응형 사고 예산 할당

• 적응형 사고 예산 할당은 입력별 토큰 수를 학습하며, 쉬운 입력에는 더 짧은 추론 접두부를, 어려운 입력에는 더 많은 think 토큰을 할당하는 것을 목표로 한다.짧은 분류 질의와 조합적 VQA는 의도한 난이도별 할당 방식을 보여주는 예다.출처: A Adaptive Think Budget Allocation · p. 13

A.1 예산 예측기

• 경량 예측기는 풀링한 입력 임베딩을 N개 위치에 대한 예산 로짓으로 변환한 뒤, 온도 τ의 straight-through Gumbel-Softmax로 원핫 예산을 샘플링한다.선택된 위치가 선택한 예산을 나타낸다.출처: §A.1 · p. 13
• 역방향 누적합으로 연속된 접두부 마스크를 만들며, 마지막 활성 위치는 임베딩을, 그 앞의 활성 위치들은 think 토큰을 제공한다.마스크는 입력 임베딩에 곱해진다. Gumbel 재매개변수화는 마스크를 통한 기울기 전파를 가능하게 해 종단 간 학습을 지원한다.출처: §A.1 · p. 13

A.2 예산 정규화

• 가중치 0.01의 ℓ1 예산 정규화는 모든 토큰을 활성화하는 할당을 억제하고, 대조 손실 및 생성 손실과 균형을 이루어 샘플 난이도에 맞게 토큰 사용량을 조절한다.페널티는 활성 think 토큰 수의 평균에 적용된다. 과제 손실은 유용한 토큰에 보상을 주고, 정규화는 불필요한 토큰의 비활성화를 유도한다.출처: §A.2 · p. 13

B.1 데이터셋 세부 사항

• MMEBv2 (Meng et al., 2025)는 텍스트, 이미지, 동영상, 문서 모달리티에 걸쳐 9개 메타 과제에 속한 78개 개별 과제로 구성된다.평가에서는 각 질의를 임베딩하고 후보 집합에서 정답 대상을 검색하여 역량 간 일관된 비교가 가능하다. 실험은 벤치마크의 학습/평가 분할을 따른다.출처: §B.1 · p. 14
• 이미지 분류 과제 10개에는 ImageNet-1K, ObjectNet, HatefulMemes, ImageNet-A, ImageNet-R이 포함된다.나머지 데이터셋은 VOC2007, N24News, SUN397, Country211, Place365다.출처: §B.1 · p. 14
• 시각 질의응답 과제 10개에는 OK-VQA, A-OKVQA, DocVQA, InfoVQA, ChartQA, Visual7W, ScienceQA, GQA, TextVQA, VizWiz가 포함된다.출처: §B.1 · p. 14
• 이미지 단위 검색 과제 12개에는 양방향 MSCOCO 검색, VisDial, CIRR, NIGHTS, WebQA, EDIS, OVEN, Wiki-SS-NQ, FashionIQ, 양방향 VisualNews 검색이 포함된다.출처: §B.1 · p. 14
• 시각적 그라운딩 과제 4개는 MSCOCO, RefCOCO, RefCOCO-Matching, Visual7W-Pointing으로 구성된다.출처: §B.1 · p. 14
• 동영상 분류, 동영상 질의응답, 동영상 단위 검색은 각각 5개 과제로, 동영상 구간 검색은 3개 과제로 구성된다.대표적으로 분류에는 UCF101과 Kinetics-700, 질의응답에는 Video-MME와 EgoSchema, 동영상 단위 검색에는 MSR-VTT와 YouCook2가 포함된다. 동영상 구간 검색은 QVHighlights, Charades-STA, MomentSeeker로 구성된다.출처: §B.1 · p. 14

B.2 학습 및 평가 세부 사항

• Qwen3-VL-2B-Instruct를 기반 모델로 사용하고 MMEB-V2 학습 데이터셋으로 학습한다.Table 3에 전체 학습 하이퍼파라미터를 정리했다.출처: §B.2 · p. 14, Table 3 · p. 14
• 각 개별 과제는 1위 정확도로 정의되는 Hit@1으로 평가한다.출처: §B.2 · p. 14
• 전체 벤치마크 점수는 계층적 가중 평균으로 산출한다 (Meng et al., 2025).출처: §B.2 · p. 14

C 시각적 디코딩: 방법론

• 잠재 확산 모델은 TTE-Flash 백본을 동결한 채 TTE-Flash의 사고 토큰 표현을 이미지로 디코딩한다.모델은 자유 형식의 시각-언어 입력을 받는다.출처: C Visual Decoding: Methodology · p. 15

C.1 개요

• DINOv2-B (Oquab et al., 2024)는 복원 대상을 인코딩하고, DiTDH-XL (Peebles and Xie, 2023)은 ViT-XL이 이미지로 디코딩할 잠재 표현을 생성한다.복원 오토인코더는 768×16×16 크기의 의미적 잠재 공간을 사용한다. 이 오토인코더에서는 ViT-XL 디코더만 학습하며, DINOv2-B 인코더는 동결된 상태로 유지한다.출처: §C.1 · p. 15

C.2 TTE-Flash 표현을 통한 조건 부여

• 시각화 실험에서는 동결된 TTE-Flash 백본이 각각 2048차원인 8개의 사고 토큰을 생성해 확산 과정의 조건으로 사용한다.이 실험에서는 토큰 수를 고정한다.출처: §C.2 · p. 15
• 256개의 학습 가능한 쿼리가 8개 헤드의 교차 어텐션을 통해 투영된 사고 토큰을 768×16×16 크기의 공간 조건 맵으로 재표본화한다.선형 투영으로 토큰 특징을 2048차원에서 768차원으로 줄인다. 재표본화 모듈은 쿼리의 잔차 연결과 LayerNorm을 적용한 뒤, 출력 형태를 확산 잠재 표현의 차원에 맞춘다.출처: §C.2 · p. 15

C.3 DiTDH-XL: Diffusion Transformer

• 28개의 인코더 층이 2D 회전 위치 임베딩과 시간 단계·조건 임베딩의 합으로 조절되는 Adaptive LayerNorm을 사용해 패치로 나눈 잡음 섞인 잠재 표현을 처리한다.인코더의 은닉 차원은 1152, 어텐션 헤드 수는 16이며, SwiGLU 피드포워드 네트워크와 RMSNorm을 사용한다.출처: §C.3 · p. 15
• 2개의 DDT 디코더 층은 단일 전역 벡터 대신 토큰별 인코더 조건을 받아 공간 정보를 반영한 잡음 제거를 수행한다.디코더의 은닉 차원은 2048, 헤드 수는 16이다. 원래의 잡음 섞인 입력을 다시 임베딩하고, 토큰별 스케일·시프트·게이트 연산으로 사고 토큰 조건을 적용한다.출처: §C.3 · p. 15
• Flow matching은 데이터에서 가우시안 잡음으로 이어지는 선형 경로를 따라 MSE로 속도 x_0 − x_1을 예측하며, logit(t)는 N(0, 1)에서 표본 추출한다.MSCOCO, VisualNews, CIRR, NIGHTS를 아우르는 MMEB 표본 243K개로 200에포크 동안 학습하며, AdamW와 유효 배치 크기 1024를 사용한다. 샘플링에는 50단계 Euler ODE 적분과 강도 4.0의 classifier-free guidance를 사용하며, 이를 위해 학습 중 10% 캡션 드롭아웃을 적용한다.출처: §C.3 · pp. 15–16

C.4 정성적 결과

• MSCOCO와 VisualNews의 텍스트-이미지 과제에서 모델은 캡션만 입력받아 캡션에 기술된 내용을 바탕으로 이미지를 생성한다.출처: §C.4 · p. 16
• 세 가지 MMEB 과제의 성공 및 실패 사례가 Appendix E의 표에 제시된다.출처: §C.4 · p. 16
• 성공 사례는 TTE-Flash의 think 토큰이 검색에 필요한 수준을 넘어 풍부한 시각적 의미를 인코딩함을 보여준다.이러한 정성적 근거는 캡션 또는 이미지와 텍스트를 결합한 입력에 기반한 이미지 생성 결과에서 확인된다.출처: §C.4 · p. 16
• 실패 사례는 세밀한 공간 추론의 한계를 드러낸다.이러한 실패는 성공적인 생성 결과에서 드러난 시각적 이해 능력에도 한계가 있음을 보여준다.출처: §C.4 · p. 16
• 실패 사례는 복잡한 조합 지시를 충실히 따르는 능력의 한계도 드러낸다.조합 검색에서는 참조 이미지와 텍스트 수정 지시를 결합한 이미지를 생성해야 한다.출처: §C.4 · p. 16
• CIRR 조합 검색에서 모델은 참조 이미지와 텍스트 수정 지시를 입력받아 두 신호를 결합한 이미지를 생성한다.출처: §C.4 · p. 16

데이터셋: IMAGENET–1K

• CoT-16은 정답인 회색앵무를 식별하지만, CoT-8은 검은 마코앵무, CoT-2는 고양이로 식별한다.CoT-4는 회색앵무와 바바리원숭이를 혼동해 식별한다.출처: Dataset: IMAGENET–1K · p. 17
• 정답이 맥주병인 예시에서 CoT-16과 CoT-8은 병, CoT-4는 맥주를 출력하고, CoT-2는 VODKA라고 표시된 병으로 묘사한다.CoT-8은 Bier를 맥주로 명시적으로 해석하면서도 최종적으로는 포괄적인 레이블인 병으로 결론짓는다.출처: Dataset: IMAGENET–1K · p. 17
• CoT-16은 정답인 북을 맞히지만, CoT-8은 북채나 타악기용 망치로, CoT-4와 CoT-2는 큰북으로 식별한다.추론에서 장면 묘사도 달라진다. CoT-16은 갑옷을 입은 사람이 북을 치는 모습으로 묘사하지만, CoT-4는 완전한 드럼 세트로 묘사한다.출처: Dataset: IMAGENET–1K · p. 18
• CoT-16, CoT-8, CoT-4는 정답인 소방차를 식별하지만, CoT-2는 덜 구체적인 레이블인 트럭을 출력한다.CoT-16은 물탱크, 호스, FIRE DEPT 표시를 단서로 활용하지만, CoT-2는 개방형 적재함이 있는 각진 차량이라는 점을 강조한다.출처: Dataset: IMAGENET–1K · p. 18

데이터셋: MSCOCO

• 객체 크롭 프롬프트는 브로콜리, 피자, 샌드위치를 요청한다. 생성 결과에는 해당 피자와 샌드위치에 대한 설명뿐 아니라 무관한 커피잔 설명도 포함된다.CoT-16의 설명은 피자의 특징과 샌드위치 준비 과정에 중점을 두지만, 제시된 CoT-2의 설명은 커피잔에 초점을 맞춘다.출처: Dataset: MSCOCO · pp. 19–20
• CoT-16의 캡션은 검색 대상인 얼룩말과 핫도그를 묘사하지만, CoT-2의 생성 결과는 대신 코끼리와 장식된 케이크를 묘사한다.이 예시들은 생성 설정 간 묘사 대상의 변화를 보여주며, 전반적인 검색 성능 차이를 보여주는 것은 아니다.출처: Dataset: MSCOCO · pp. 20–21
• CoT-16도 항상 검색 대상과 일치하지는 않는다. 안뜰 예시는 학교 장면으로 바뀌지만, 오토바이 예시는 주차된 오토바이를 그대로 묘사한다.CoT-4에서 안뜰 예시는 사진을 찍는 학생들을 묘사하고, 오토바이 예시는 오토바이가 아닌 자전거가 있는 거리를 묘사한다.출처: Dataset: MSCOCO · pp. 21–22
• 질문 조건부 생성 결과는 CoT-16의 태평양과 창고에서 CoT-4의 서핑보드와 보관으로 바뀐다.제시된 검색 대상은 태평양과 창고다. 짧은 CoT 설정의 답변은 요구된 답의 범주나 구체성 수준을 바꾼다.출처: Dataset: MSCOCO · p. 24
• 생성 결과는 링컨(CoT-16), 스즈키(CoT-8)부터 제조사를 명시하지 않은 1950년대 미국 자동차(CoT-2)까지 다양하며, 다른 예시에서는 사진(CoT-4)이나 새장(CoT-2)을 식별한다.출처: Dataset: MSCOCO · pp. 25, 27

데이터셋: WEBQA

• WEBQA 예시에서는 CoT 설정에 따라 프롬프트에 특화된 해석, 일반적인 설명, 서로 상충하는 식별 결과가 나타난다.RaiNY 프롬프트에서 CoT-16은 Rai와 NYC 표지판을 언급하지만, CoT-8은 시계탑을 묘사한다. 1934 Cadillac 프롬프트에서 CoT-16은 1934 Cadillac Convertible을 묘사하지만, CoT-2는 1957 Ford Thunderbird를 지목한다.출처: Dataset: WEBQA · p. 28

데이터셋: MMLONGBENCH–DOC

• MMLONGBENCH–DOC 생성 결과는 CoT-16, CoT-8, CoT-4에서 학술 참고문헌 목록을 설명하지만, CoT-2에서는 El Nio 현상 표로 바뀐다.긴 추론 과정은 인용 대조, 출판 장소 또는 제목과 연도 확인을 다루지만, CoT-2는 대신 스펙트럼 및 시간적 특성을 설명한다.출처: Dataset: MMLONGBENCH–DOC · p. 30

데이터셋: VIDORE_SYNTHETICDOCQA_AI

• 한 VIDORE_SYNTHETICDOCQA_AI 예시는 설정에 따라 서로 다른 문서 주제를 생성한다. 주제는 Zip 공유, Google 과제 안내, 디지털 미디어 관리, 데이터의 정의다.이 주제들은 각각 CoT-16, CoT-8, CoT-4, CoT-2에 대응한다. CoT-4의 추론 과정은 PDF와 HTML 파일을 언급한다.출처: Dataset: VIDORE_SYNTHETICDOCQA_AI · p. 31
• 제시된 CoT 생성 결과는 CoT-16에서 그래프 순회, CoT-8에서 외판원 문제, CoT-4에서 후방 탐색, CoT-2에서 선형 모델 가정의 한계를 설명한다.출처: Dataset: VIDORE_SYNTHETICDOCQA_AI · p. 32

데이터셋: VISRAG_INFOVQA

• 두 번째 VISRAG_INFOVQA 예시는 CoT-16/8/4에서는 COVID-19 예방 조치를 설명하지만 CoT-2에서는 디지털 전환으로 내용이 바뀐다.CoT-2의 생성 결과는 대신 조직 변화와 데이터, 기술, 사람, 프로세스, 문화 등의 구성 요소를 설명한다.출처: Dataset: VISRAG_INFOVQA · p. 34

E think 토큰으로 생성한 이미지

• DiTDH-XL은 TTE-Flash의 think 토큰을 조건으로 이미지를 생성하며, 예시에는 질의, 정답 대상 이미지, 생성 이미지가 제시된다.질의는 텍스트 프롬프트이거나 수정 지시가 첨부된 참조 이미지다.출처: E Images Generated from Think Tokens · p. 35

데이터셋: MSCOCO_t2i – 성공 사례

• MSCOCO_t2i의 성공 사례 프롬프트는 오토바이 운전자, 생일 초, 주방, 욕실, 도심의 자전거 이용자를 다룬다.이 예시들은 캡션에 맞는 일상 이미지를 요청한다.출처: Dataset: MSCOCO_t2i – Successful Cases · pp. 35–37

데이터셋: VisualNews_t2i – 성공 사례

• VisualNews_t2i의 성공 사례 프롬프트에는 메릴랜드주의 경찰 순찰차, 십종경기에 출전한 애슈턴 이턴, 나이로비에서 젊은 기업인들을 만나는 오바마가 포함된다.각 프롬프트는 뉴스 캡션에 부합하는 이미지를 요청한다.출처: Dataset: VisualNews_t2i – Successful… · pp. 38–39

데이터셋: VisualNews_t2i – 실패 사례

• VisualNews_t2i의 실패 사례는 August 10, 2011에 백악관에서 촬영된 후마 애버딘을 설명하는 캡션을 사용한다.본문은 정답 이미지와 생성 이미지를 구분해 표시하지만, 시각적 불일치는 설명하지 않는다.출처: Dataset: VisualNews_t2i – Failure Cases · p. 40

데이터셋: CIRR – 성공 사례

• 수량 변경 요청은 탄산음료 세 병이나 포장당 종이타월 수량이 더 적은 경우를 지정한다.이 예시들은 객체 수나 포장 내용물의 변경을 다룬다.출처: Dataset: CIRR – Successful Cases · p. 40
• 구도 관련 요청은 동물의 머리를 강조하거나, 비스듬한 각도에서 표면이 드러나게 하거나, 카메라를 돌아보는 사슴의 뒷모습을 보여주도록 한다.머리를 강조하는 한 요청은 개의 품종을 유지하도록 명시한다.출처: Dataset: CIRR – Successful Cases · pp. 41–43
• 개에 관한 요청은 같은 품종의 개가 자기 새끼와 함께 달리는 모습, 같은 품종의 개 두 마리가 바닥에 있는 모습, 입이 가려지지 않은 채 짖는 개를 지정한다.출처: Dataset: CIRR – Successful Cases · pp. 41–42
• 객체 및 장면 편집에는 레몬 제거, 통나무 추가, 물 색상 변경, 깨끗한 흰 접시에 감자튀김 놓기가 포함된다.한 요청은 조개껍데기 제거와 초록색 물을 함께 지정하고, 다른 요청은 파란색 물을 지정한다.출처: Dataset: CIRR – Successful Cases · pp. 41–42
• 복합 요청은 사슴 한 마리를 더 추가하는 것과 햇빛을 추가하는 것을 결합한다.이 요청은 동물 수와 조명을 모두 바꾼다.출처: Dataset: CIRR – Successful Cases · p. 43

데이터셋: CIRR – 실패 사례

• 사람 관련 수정은 사람 없이 다른 종의 동물 두 마리 또는 장비를 덜 갖추고 카메라를 바라보는 사람을 요청한다.동물 두 마리를 요청하는 프롬프트는 원래 동물과 다른 종을 명시한다.출처: Dataset: CIRR – Failure Cases · p. 44
• 자세와 구도 요청은 흙바닥에 서 있는 개의 전신 또는 흙 위에 서 있는 동물을 명시한다.개를 지정하는 프롬프트는 개의 몸 전체가 보여야 한다는 조건도 제시한다.출처: Dataset: CIRR – Failure Cases · pp. 44–45
• 종 변경 요청에는 앞선 두 동물과 다른 동물 한 마리가 사람과 함께 있는 장면이나, 환경을 유지하면서 동물의 종류를 바꾸는 것이 포함된다.사람과 동물이 함께 있는 장면을 요청하는 프롬프트는 다른 종이어야 한다고 명시한다.출처: Dataset: CIRR – Failure Cases · p. 44