AI 요약 · 영어에서 AI 번역
UVU: Improving Multimodal Understanding via Vision-Language Unified Autoregressive Paradigm
Zhehan Kan, Xinghua Jiang, Yubo Zhu, Yanlin Liu, Xiaochen Yang, Zhixiang Wei, Shifeng Liu, Qingmin Liao, Wenming Yang, Xin Li, Yinsong Liu, Deqiang Jiang, Xing Sun
TL;DR
MLLM의 세밀한 시각 이해는 희소한 텍스트 중심 감독으로 제한되며, 사후 학습에서 제공되는 시각 신호는 표현이 대부분 형성된 뒤에야 도입된다. UVU는 통합 자기회귀 사전학습에 연속 시각 인코딩과 픽셀 수준 코드북 토큰을 도입한다. 논문은 여러 과제에서 뛰어난 멀티모달 이해 성능을 보고한다.
문제
MLLM은 주로 희소한 텍스트 중심 감독에 의존하며, 사후 학습의 시각 감독은 시각 표현이 대부분 형성된 뒤에 도입되어 주로 보조적 역할에 머문다.
출처: §1 · pp. 1–2, §2.2 · p. 3방법
UVU는 VQ를 우회하고, 연속 시각 입력과 반복적으로 군집화한 픽셀 수준 코드북을 결합해 이미지 토큰과 텍스트 토큰을 통합 자기회귀 방식으로 감독한다.
출처: §1 · p. 2결과
UVU는 자체 지도 학습 패러다임에서 여러 과제에 걸쳐 뛰어난 멀티모달 이해 성능을 보고한다.
출처: §1 · p. 2시사점 및 한계
논문은 사전학습 중 종단 간 통합 비전-언어 감독이 멀티모달 이해를 향상할 수 있다고 결론짓는다.
출처: §1 · p. 2
Abstract
from arXiv · showhide
Despite remarkable advancements in multimodal large language models (MLLMs), their fine-grained visual understanding is constrained by a primary reliance on sparse textual supervision. Existing efforts to introduce visual supervision typically do so during post-training, when visual representations have already been largely fixed, causing such signals to act mainly as auxiliary constraints rather than as a primary force for shaping perceptual features. In this paper, we aim to fundamentally reshape the model's perceptual backbone by incorporating vision supervision directly into the pre-training stage. We observe that pixel-level image patches and textual tokens naturally coexist in a shared, raw high-dimensional space characterized by an inherent input symmetry. Leveraging this insight, we propose UVU, a novel vision-language unified autoregressive framework that eschews vector quantization. It uniquely employs continuous visual encoding for lossless representation of visual inputs and proposes a large-scale iterative hierarchical clustering algorithm to construct a pixel-level visual codebook, thereby extending the vocabulary for unified supervision and enabling autoregressive generation of pixel-level image tokens alongside textual tokens. UVU effectively synergizes pixel-level visual perception with semantic-level visual understanding, internalizing visual reconstruction capabilities and unlocking the facilitative role of visual supervision in enhancing understanding in the pre-training stage. Extensive experiments across multiple tasks demonstrate that MLLMs are capable of achieving superior multimodal understanding performance under the supervised learning paradigm of UVU.
1. 서론
UVU는 시각 supervision을 사전학습 단계로 옮겨, 사후학습 제약으로 주로 작용하는 대신 표현을 형성하도록 함으로써 세밀한 시각적 이해를 목표로 한다. 연속적인 시각 입력과 픽셀 수준 시각 토큰을 결합해 통합 자기회귀 supervision을 수행하며, 여러 과제에서 더 강한 멀티모달 이해 성능을 보고한다.
1. 서론
- 기존 MLLM은 텍스트 중심 supervision에 크게 의존하며, 사후학습 시각 신호는 표현이 형성된 뒤에 들어와 대개 보조 제약으로 기능한다.논문은 시각 특징을 처음부터 형성할 수 있도록 사전학습 단계에서 시각 supervision을 적용하는 방안을 아직 탐구되지 않은 기회로 제시한다.출처: §1 · pp. 1–2
- 픽셀 수준의 직접적인 VQ supervision은 입력 정보를 손실시키고, 서로 다른 특징 공간에서 이미지와 텍스트 간 gradient 충돌을 일으키며, 외부 시각 디코더에 의존할 수 있다.논문은 저차원 재구성 목표와 고차원 언어 목표가 서로 충돌하는 최적화 경로로 이어진다고 설명한다.출처: §1 · p. 2
- UVU는 손실 없는 연속 시각 인코딩과 픽셀 수준 codebook을 구축하는 반복적 계층 군집화 알고리즘으로 VQ를 우회하고, 이미지 토큰과 텍스트 토큰을 함께 생성한다.codebook은 통합 자기회귀 supervision을 위한 어휘를 확장한다.출처: §1 · p. 2
- UVU는 사전학습 중 통합 시각 supervision을 적용해 여러 과제에서 멀티모달 이해 성능을 크게 향상했다고 보고한다.논문은 종단 간 시각-언어 supervision을 멀티모달 이해 향상의 주요 동력으로 제시한다.출처: §1 · p. 2
2. 관련 연구
기존 MLLM은 대개 연속적인 시각 특징을 추출해 언어와 정렬하지만, 학습은 여전히 텍스트 중심으로 이루어진다. 기존 시각 감독 방법은 대부분 사전학습 이후에 적용되어, 사전학습 단계의 특징 형성은 충분히 탐구되지 않았다.
2.1. 다중모달 이해
- MLLM은 사전학습된 시각 인코더로 연속적인 이미지 특징을 추출하고 이를 언어 임베딩에 가깝게 사상한 뒤, 주로 텍스트 중심 감독하에 LLM을 텍스트 생성에 맞춰 학습한다.논문은 이 방식이 시각 지식의 희소한 학습으로 이어진다고 설명한다.출처: §2.1 · pp. 2–3
2.2. MLLM의 시각 감독
- 기존 시각 감독 접근법은 시각-텍스트 정렬이나 이미지 토큰 예측 및 재구성을 사용하며, 여기에는 DiT 기반 특징 예측, 중간 계층 정렬, 마스크 이미지 모델링이 포함된다.인용된 사례는,,, 이다.출처: §2.2 · p. 3
- 기존 접근법 대부분은 표현이 이미 형성된 사전학습 이후에 시각 감독을 도입하므로, 이는 세밀한 특징 형성의 동인이라기보다 주로 외부 제약으로 작용한다.초기 사전학습 단계에서 시각에 기반한 감독이 지닌 잠재력은 여전히 충분히 탐구되지 않았다.출처: §2.2 · p. 3
- Figure 2는 학습 과정에서 이미지-텍스트 손실 기울기 사이 각도를 비교한다. AR+VQ는 90°보다 큰 값을 유지하는 반면, UVU는 90°보다 작은 값을 유지한다.캡션은 AR+VQ의 각도를 직교하거나 서로 반대되는 것으로, UVU의 각도를 시너지 최적화를 가능하게 하는 것으로 해석한다.출처: Figure 2 · p. 3
3. 시각적 감독은 왜 멀티모달 이해를 저해하는가?
논문은 자기회귀 VQVAE 프레임워크에서 이미지와 언어 생성 간 차원 불일치에 초점을 맞춰 gradient 상호작용을 분석한다. 이미지 손실과 텍스트 손실의 gradient가 직교하거나 서로 반대 방향을 향해 최적화 경로가 충돌하며, 이 현상이 멀티모달 이해 저하와 연관된다고 보고한다.
3. 시각적 감독은 왜 멀티모달 이해를 저해하는가?
- 분석은 계단식 VQVAE 자기회귀 프레임워크를 사용하고 차원 불일치에 초점을 맞추며, 입력 이산화와 외부 디코더 의존성을 구조적 설계 문제로 다룬다.Gradient 직교성은 이미지 손실 gradient와 텍스트 손실 gradient 사이의 각도로 정량화한다. ∇i와 ∇t는 각각 두 gradient를 나타내고, θ는 두 gradient 사이의 각도다.출처: §3 · p. 3
- 이미지 손실 gradient와 텍스트 손실 gradient 사이의 각도는 일관되게 90° 이상에 이르며, 이는 멀티모달 이해 저하와 연관된 직교 또는 상반된 최적화 방향을 나타낸다.이미지 손실은 저수준 재구성을 우선시하는 반면, 텍스트 손실은 모달 간 표현 불일치를 해소하지 않은 채 언어적 일관성을 높인다.출처: §3 · p. 3
4. 방법
Section 4에서는 UVU의 방법을 소개하고, 이미지 패치와 텍스트 토큰이 입력 대칭성을 갖는 공유 원시 고차원 공간에서 이미지 패치를 클러스터링해 픽셀 수준 시각 코드북을 구축한다. 코드북의 커버리지와 재구성 정밀도를 평가한다.
4.1. 픽셀 수준 Visual Codebook
- codebook 구축에는 초기 K-means, 중복 제거, 균일 샘플링, 점진적 초과 샘플링, 캐싱을 활용한 반복적 개선이 사용된다.이 절차는 높은 coverage와 precision을 목표로 한다.출처: Figure 3 · p. 4
- 클러스터링 시각화에서는 각 패치에 해당 이미지 토큰 ID와 클러스터 중심까지의 거리를 표시한다.각 패치 오른쪽의 값에서 토큰 ID는 거리 위에 표시된다.출처: Figure 4 · p. 4
- codebook은 32×32×3 픽셀 패치를 평탄화해 만든 3072차원 벡터를 사용한다.codebook은 200K개의 codeword로 구성되며, 512×512 이상의 해상도 이미지에 대한 정밀한 지각을 목표로 한다.출처: §4.1 · p. 4
- Pixel Space Coverage는 활성 클러스터별 샘플-중심 최대 거리 중 최댓값을 활성 클러스터 수로 나눈 값이다.활성 클러스터는 할당된 샘플이 하나 이상인 클러스터다.출처: §4.1 · p. 4
- Pixel Representation Precision은 정규화된 평균 제곱 오차의 여집합을 사용해 샘플 집합에서의 재구성 정확도를 측정한다.각 패치는 가장 가까운 codeword에 할당된다.출처: §4.1 · p. 5
- 공동 목적 함수는 codebook 품질 지표를 최대화해 자연 이미지 전반의 폭넓은 coverage와 클러스터 내부 표현의 정밀도를 높인다.정규화를 위한 max는 테스트 세트 전체의 전역 최대 분산을 의미한다.출처: §4.1 · p. 5
C (PSC + PRP) . (4)
UVU는 반복적 계층 클러스터링으로 픽셀 수준 시각 코드북을 구축한 뒤, 이미지 토큰과 텍스트 토큰을 예측하는 통합 자기회귀 프레임워크에서 이를 사용한다. 사전 학습 중 이미지 토큰 샘플링은 균형화하며, 지도 미세 조정 단계에서는 이미지 토큰 손실을 중단한다.
C (PSC + PRP) . (4)
- The codebook pipeline clusters 2 billion 3072-dimensional patches from 1 million images, using positional encoding, duplicate filtering, and iterative hierarchical sampling and reclustering.Each iteration samples 20 million patches, filters long-tail clusters, and updates centers from cached samples until convergence.출처: C (PSC + PRP) . (4) · p. 5
4.2. 시각-언어 통합 자기회귀
- UVU는 투영된 연속형 SigLIP-2 특징과 텍스트 임베딩을 하나의 LM 디코더에 입력해 픽셀 수준 코드북으로 인덱싱된 이미지 및 텍스트 토큰을 자기회귀적으로 예측한다.이 프레임워크는 시각 입력 특징을 이산화하거나 외부 시각 디코더를 사용하지 않고 두 양식을 통합한다.출처: §4.2 · pp. 5–6, Figure 5 · p. 6
- 사전 학습 중 이미지 토큰 샘플링은 역빈도 가중치를 적용하며 텍스트 토큰 수와 동적으로 균형을 맞춘다. SFT에서는 이미지 토큰 손실을 중단한다.The inverse-frequency probabilities are computed from 5 billion image-token samples.출처: §4.2 · p. 6
5. 실험
실험 전반에서 UVU는 시각 이해도를 향상시키며, 특히 지각 중심 과제에서 두드러진 성능을 보인다. 정성적 결과에서는 시각적 세부 정보의 재구성과 의미적으로 중요한 영역에 집중된 주의가 확인된다.
5.1. 실험 설정
- 실험에는 Qwen2.5-3B-Instruct, SigLIP2, 1.04조 토큰을 사용하고, 시각 중심 멀티모달 벤치마크 12개에서 평가한다.The 200K-entry codebook is derived from 2 billion 32×32×3 patches; training uses a 32K sequence length.출처: §5.1 · pp. 6–7, §5.4 · p. 8
5.2. 제거 연구
- 동일한 학습 데이터와 실험 설정에서 UVU는 시각 이해도를 향상시키지만, AR+VQ는 성능을 크게 저하시킨다.시각 감독이 없는 모델, AR+VQ 감독을 적용한 모델, UVU를 적용한 모델을 비교한다.출처: §5.2 · p. 7, Table 1 · p. 7
- 200K는 재구성 품질과 추론 효율성의 균형을 이룬다. 코드북 크기가 커질수록 PRP와 이해 성능은 향상되며, PSC는 안정적으로 유지되고 500K에서는 유의미한 추가 향상이 없다.저자들은 항목 수가 200K인 코드북을 선택한다.출처: Table 2 · p. 7, §5.2 · p. 7
- 특징 차원의 위치 인코딩과 반복 계층적 클러스터링은 각각 코드북 품질과 다운스트림 멀티모달 이해 성능 향상에 크게 기여한다.출처: Table 3 · p. 7, §5.2 · p. 7
5.3. 정성적 결과
- UVU는 외부 시각 디코더 없이 학습 중 시각적 세부 정보를 재구성하며, 이를 통해 세밀한 지각 및 공간 지식을 학습했음을 보인다.출처: §5.3 · p. 7, Figure 6 · p. 8
5.4. 정량적 결과
- UVU는 Qwen2.5-VL을 포함한 주요 텍스트 전용 모델보다 성능을 크게 향상시키며, 특히 RefCOCO, LISA, CVBench, BLINK에서 강한 결과를 보인다.저자들은 향후 반복에서 이미지 생성 데이터를 추가하면 성능이 더 향상될 것으로 예상한다.출처: Table 4 · p. 8, §5.4 · p. 8
5.3. 정성적 결과
- UVU의 주의는 시각 감독이 없는 기준 모델과 AR+VQ 기준 모델보다 의미적으로 중요한 영역에 더 정확히 집중된다.Figure 7은 기린 또는 개의 수를 세는 경우의 히트맵을 비교한다.출처: §5.3 · p. 7, Figure 7 · p. 8
6. 결론
결론에서는 통합 autoregressive 멀티모달 모델의 과제로 시각 특징 이산화와 이미지/텍스트 gradient 직교성을 짚는다. UVU는 vector quantization을 우회하고 다양한 과제에서 더 뛰어난 멀티모달 이해 성능을 보고한다.