A Survey on Multimodal Large Language Models

1 서론

• MLLM은 추론 능력이 뛰어난 텍스트 전용 LLM과 이미지를 인지하지만 대체로 추론 능력이 뒤처지는 비전 모델의 상호보완성을 활용한다.규모 확장을 통해 LLM은 지시 따르기 [5], [6], 문맥 내 학습, 사고 연쇄 [8] 능력을 갖추게 된다. 기존 멀티모달 접근법으로는 시각·텍스트 표현을 정렬하는 판별 모델 CLIP 과 시퀀스 간 모델링으로 과제를 통합하는 생성 모델 OFA 가 있다.출처: §1 · p. 1
• MLLM은 수십억 매개변수 규모의 LLM 백본과 멀티모달 지시 튜닝 [19], [20] 같은 학습 패러다임을 통해 기존 멀티모달 모델과 차별화된다.입증된 능력으로는 이미지로부터 웹사이트 코드 생성 [21], 밈에 담긴 심층적 의미 해석 [22], OCR 없이 수행하는 수학적 추론 [23] 등이 있다.출처: §1 · p. 1
• MLLM 연구는 더 세밀한 상호작용, 더 다양한 입출력 모달리티, 추가 언어, 전문 분야, 실세계 에이전트로 확장되고 있다.예로는 박스 기반 [28] 및 클릭 기반 [29] 프롬프트, NExT-GPT를 통한 멀티모달 출력 [32], 중국어 지원 [33], [34]이 있다. 응용 분야는 의료 영상 [35],, [37], 문서 파싱 [38], [39], [40], 체화 에이전트 [41], [42], GUI 에이전트 [43], [44], [45]를 아우른다.출처: §1 · p. 1
• 이 종설은 시각과 언어에 중점을 두면서 비디오와 오디오까지 다루며 MLLM의 개념, 방법, 발전 현황을 종합한다.저자들은 자신들이 아는 한 최초의 MLLM 종설이라고 설명하며, 관련 자료를 모은 GitHub 저장소를 실시간으로 갱신한다.출처: §1 · p. 2
• 이 종설은 구조, 학습 전략과 데이터, 평가를 검토한 뒤 역량 확장과 멀티모달 환각 완화를 살펴본다.마지막으로 내용을 요약하고 향후 연구 방향을 제시한다.출처: §1 · p. 2
• 이 종설은 추론 시점의 퓨샷 성능을 위한 M-ICL, 복잡한 추론을 위한 M-CoT, 복합 추론 과제와 사용자 질의를 처리하는 LLM 기반 시스템을 살펴본다.이 기법들은 서로 다른 상황에 적합한 접근법으로 제시된다.출처: §1 · p. 2

2 아키텍처

• 일반적인 MLLM은 사전 학습된 모달리티 인코더, 사전 학습된 LLM, 모달리티 인터페이스로 구성되며, 비텍스트 출력을 위한 생성기를 선택적으로 추가한다.인코더는 입력 신호를 처리하고, 인터페이스는 LLM에 맞게 모달리티를 정렬한다. 사전 학습된 LLM은 세계 지식과 일반화 및 추론 능력을 제공한다.출처: §2 · p. 2, §2.2 · p. 3

2.1 모달리티 인코더

• 사전 정렬된 인코더는 CLIP 처럼 원시 입력을 LLM과 정렬하기 쉬운 압축된 표현으로 변환한다.반면 인코더가 없는 Fuyu-8b 는 이미지 패치를 직접 투영해 다양한 해상도를 지원한다. 이미지 외에도 Pengi 는 오디오에 CLAP 을 사용하며, ImageBind-LLM [30]은 이미지, 텍스트, 오디오, 깊이, 열화상, IMU 입력에 ImageBind 를 사용한다.출처: §2.1 · pp. 2–3
• 입력 해상도는 인코더 파라미터 수나 학습 데이터 구성보다 중요하며 [52], 해상도가 높을수록 성능이 향상된다 [34], [50], [51], [52].해상도를 직접 높이는 방식은 더 높은 해상도의 입력을 사용하며, 때로는 인코더 조정이나 교체가 필요하다. 반면 CogAgent [44]는 교차 어텐션으로 고해상도 및 저해상도 인코더를 연결한다. Monkey [51]와 SPHINX [53] 같은 패치 분할 방식은 이미지 패치와 다운샘플링된 이미지를 결합해 지역 및 전역 특징을 포착한다.출처: §2.1 · p. 3

2.2 사전 학습된 LLM

• Liu 등의 연구 [50], 에서는 LLM을 7B에서 13B로 확장하면 여러 벤치마크에서 성능이 향상된다.34B LLM은 영어 멀티모달 데이터만으로 학습했음에도 zero-shot 중국어 처리 능력을 보인다 [50],. 한편 MobileVLM [63], [64]은 MobileLLaMA 1.4B/2.7B를 사용해 모바일 프로세서에서 효율적으로 추론한다.출처: §2.2 · p. 3
• MM1 [52]과 MoE-LLaVA [68]에서는 전문가 혼합 LLM이 평가한 거의 모든 벤치마크에서 밀집 모델보다 우수한 성능을 보인다.희소 모델은 파라미터를 선택적으로 활성화하므로 연산 비용을 늘리지 않고도 전체 파라미터 수를 늘릴 수 있다.출처: §2.2 · p. 3

2.3 모달리티 인터페이스

• 학습 가능한 연결 모듈은 인코더에서 얻은 토큰을 텍스트 토큰과 이어 붙이거나, LLM 내부에서 시각 특징과 텍스트 특징을 융합한다.토큰 수준 인터페이스에는 BLIP-2 [59]의 쿼리 기반 압축과 LLaVA의 선형 MLP 투영 [20], [50]이 있다. 특징 수준 방식에는 Flamingo 의 교차 어텐션 층 삽입과 CogVLM [75]의 층별 시각 전문가 모듈이 있다.출처: §2.3 · p. 4
• 토큰 수준 융합은 VQA에서 특징 수준 융합보다 우수하며 [73], MM1 [52]에서는 시각 토큰 수와 입력 해상도가 어댑터 유형보다 중요한 것으로 나타난다.Zeng 등 [73]은 교차 어텐션 모델이 비슷한 성능을 달성하려면 더 복잡한 하이퍼파라미터 탐색이 필요할 수 있다고 제안한다.출처: §2.3 · p. 4
• 전문가 모델은 멀티모달 입력을 언어로 변환해 학습이 필요 없는 인터페이스를 제공하지만, 이 변환 과정에서 정보가 손실되며 학습 가능한 연결 모듈보다 유연성이 낮다.VideoChat-Text [25]는 사전 학습된 비전 모델과 음성 인식을 결합해 동영상을 설명하지만, 텍스트 변환 과정에서 시공간 관계가 왜곡된다.출처: §2.3 · p. 4

• 완전한 기능을 갖춘 MLLM은 사전학습, 지시 튜닝, 정렬 튜닝의 세 가지 학습 단계를 거친다.출처: §3 · p. 4
• 각 학습 단계는 서로 다른 유형의 데이터를 필요로 하며 서로 다른 목표를 달성한다.출처: §3 · p. 4
• 이 절에서는 각 학습 단계의 학습 목표, 데이터 수집, 데이터 특성을 살펴본다.출처: §3 · p. 4

3.1.1 학습 세부 사항

• 사전 학습은 대규모 캡션 쌍을 활용해 모달리티를 정렬하고 멀티모달 세계 지식을 구축한다.시각–텍스트 정렬에는 일반적으로 교차 엔트로피 손실을 이용한 자기회귀 캡션 예측을 사용한다. 대개 사전 학습된 인코더와 LLM을 동결하고 인터페이스를 학습하지만 [20], [35], [72], 정렬을 위해 추가 모듈의 동결을 해제하는 방법도 있다 [34], [81], [82].출처: §3.1.1 · p. 4

3.1.2 데이터

• 개략적인 캡션은 풍부하지만 웹 이미지의 대체 텍스트에서 유래하므로 짧고 잡음이 많은 경우가 흔하다. CLIP 유사도로 서로 맞지 않는 쌍을 걸러낼 수 있다.LAION은 추가로 이미지 크기와 텍스트 길이를 기준으로 필터링하고, URL을 기준으로 중복을 제거하며, CLIP 임베딩을 활용해 불법 소지가 있는 콘텐츠를 제거한다.출처: §3.1.2 · p. 5
• CC-3M 은 3.3M개의 이미지–캡션 쌍으로 구성되며, CC-12M 는 수집 파이프라인의 조건을 완화하고 절차를 단순화해 12.4M 쌍을 포함한다.CC-3M 은 다단계 정제 파이프라인으로 이미지, 텍스트, 이미지–텍스트 일관성을 기준으로 필터링한다. SBU Captions 는 Flickr 이미지–텍스트 쌍 1M개를 포함하며, 길이, 사전 정의된 용어, 공간 관계를 나타내는 단어를 기준으로 설명을 선별한다.출처: §3.1.2 · p. 5
• 다국어 LAION-5B 는 5.85B개의 이미지–텍스트 쌍으로 구성되며, 2B 쌍 규모의 영어 부분집합을 포함한다.LAION-COCO 는 해당 영어 부분집합의 이미지 600M개를 포함하며, BLIP 으로 합성 캡션을 생성하고 CLIP 으로 선별한다. COYO-700M 은 이미지와 텍스트의 품질, 공개 데이터셋과의 중복, 내부 중복을 기준으로 필터링한 CommonCrawl 이미지–텍스트 쌍 747M개를 포함한다.출처: §3.1.2 · p. 5
• 강력한 MLLM [83], [91], [92]이 생성한 세밀한 캡션은 더 길고 정확한 설명을 제공하지만, 비용이 더 높고 데이터 규모가 더 작다.이러한 설명은 더 세밀한 이미지–텍스트 정렬을 가능하게 한다. GPT-4V가 생성한 예시 100K개로 ShareGPT4V [83] 캡션 생성 모델을 학습한 뒤, 이 모델로 데이터 규모를 1.2M개까지 확장한다.출처: §3.1.2 · pp. 5–6

3.2.1 개요

• 인스트럭션 튜닝은 모델이 사용자 지시를 이해하고 학습하지 않은 과제로 일반화하도록 학습시켜, 개별 과제에 맞추기보다 제로샷 성능을 높인다.과제별 지도 미세조정이나 특화된 프롬프팅과 달리, 인스트럭션 튜닝은 과제 간 일반화를 강조한다.출처: §3.2.1 · p. 6

3.2.2 학습 세부사항

• 멀티모달 지시 예시는 선택적인 과제 설명, 선택적으로 텍스트가 수반되는 이미지, 목표 응답으로 구성되며, 템플릿은 여러 차례 주고받는 대화도 지원한다 [20], [37], [71], [98].따라서 이미지 단독 입력을 이용한 캡션 생성과 이미지–질문 기반 질의응답을 모두 수용할 수 있다.출처: §3.2.2 · p. 6, Table 5 · p. 6
• MLLM의 인스트럭션 튜닝은 일반적으로 LLM의 자기회귀 목적함수를 유지하며, 지시, 멀티모달 입력, 앞선 토큰으로부터 각 응답 토큰을 예측한다 [20], [37], [71], [101].학습 예시는 지시, 멀티모달 입력, 정답 응답에 해당하는 (I, M, R)로 표현된다.출처: §3.2.2 · p. 6

3.2.3 데이터 수집

• 지시 데이터 수집에는 기존 데이터셋 변환, 자기 지시 생성, 데이터 혼합을 활용하며, 언어 전용 대화를 추가하면 대화 능력과 지시 이행 능력을 높일 수 있다 [81], [98], [101], [103].데이터셋 변환에는 수작업으로 설계하거나 GPT로 확장한 과제 지시를 사용한다. LaVIN [101]은 미니배치마다 언어 전용 데이터와 멀티모달 데이터를 샘플링하며, MultiInstruct [102]는 무작위로 섞은 데이터 혼합과 텍스트 우선 순차 튜닝을 탐구한다.출처: §3.2.3 · pp. 6–7
• 기존 VQA 및 캡션 데이터셋의 짧은 답변은 MLLM의 응답 길이를 제한할 수 있으며, 명시적인 길이 지시나 답변 확장으로 이를 보완할 수 있다.ChatBridge [104]는 단답형 및 단일 문장 예시에 명시적인 표지를 붙인다. M3IT [105]는 원래 질문과 답변, 캡션과 OCR 같은 이미지 맥락을 ChatGPT에 제공해 답변을 확장한다.출처: §3.2.3 · pp. 6–7
• 자기 지시 생성은 소수의 수작업 시범 예시로 LLM의 지시 예시 생성을 유도하며 [106], 여러 차례 주고받는 대화 등 실제 활용 수요에 대응한다.LLaVA [20]는 텍스트 전용 GPT-4에 캡션과 바운딩 박스를 제공해 LLaVA-Instruct-150k를 구축한다. 반면 LVIS-Instruct4V [91]와 ALLaVA [92]는 더 높은 품질의 생성을 위해 GPT-4V를 사용한다.출처: §3.2.3 · p. 7

3.2.4 데이터 품질

• 규모가 작고 잡음이 적은 데이터셋이 규모가 크고 잡음이 많은 데이터셋보다 우수한 성능을 낼 수 있으며 [73], 품질이 높은 인스트럭션 튜닝 데이터는 양이 줄어도 성능을 높일 수 있다 [108].Wei 등 [108]은 품질 지표와 저품질 시각–언어 데이터의 자동 필터링을 제안한다. Lynx [73] 역시 다양한 프롬프트가 성능과 일반화를 개선함을 확인한다.출처: §3.2.4 · p. 7
• 시각적 추론 학습은 캡션 생성이나 QA보다 성능 향상 폭이 크며, 지시의 복잡성이 과제 다양성이나 세밀한 공간 주석보다 중요할 수 있다 [109].이러한 결과는 학습 데이터에 포함된 과제와 지시의 특성에 관한 것이다.출처: §3.2.4 · p. 7

3.3.1 개요

• 정렬 튜닝은 주로 RLHF와 DPO를 통해 환각 감소를 비롯한 인간의 선호에 모델을 맞춘다.응답 선호 피드백 수집에는 일반적으로 비용이 많이 들어, 정렬에는 대체로 이전 학습 단계보다 적은 데이터를 사용한다.출처: §3.3.1 · p. 7, §3.3.3 · p. 8

3.3.2 학습 세부 사항

• RLHF [110], 는 지도 미세조정, 인간의 선호 쌍을 이용한 보상 모델링, PPO 기반 정책 최적화를 결합한다.지시 튜닝된 모델에서 시작하면 지도 미세조정을 생략할 수 있다. 정책 모델과 참조 모델은 보통 지도 미세조정된 모델로 초기화하며, 토큰별 KL 페널티로 정책의 이탈을 제한한다.출처: §3.3.2 · p. 8
• DPO 는 명시적인 보상 모델 없이 이진 분류 손실로 인간의 선호를 학습하여, 학습 절차를 선호 데이터 수집과 선호 학습으로 단순화한다.PPO 기반 RLHF와 달리 DPO는 별도의 보상 모델을 학습할 필요가 없다.출처: §3.3.2 · p. 8
• LLaVA-RLHF [112]는 LLaVA [20]에 인간 선호 튜닝을 적용해 환각을 줄이며, RLHF-V [114]와 Silkie [115]는 DPO를 사용한다.RLHF-V [114]는 환각을 수정하여 얻은 구간 단위 선호 쌍으로 조밀한 DPO를 적용한다. Silkie [115]는 GPT-4V에 프롬프트를 입력해 선호를 수집하고, DPO를 통해 이 감독 신호를 지시 튜닝된 모델에 증류한다.출처: §3.3.2 · p. 8

3.3.3 데이터

• LLaVA-RLHF [112]는 10K개의 선호 쌍으로 구성된다. RLHF-V [114]는 5.7K개의 세밀한 인간 피드백 데이터를, VLFeedback [115]는 380K개를 넘는 비교 쌍을 포함한다.LLaVA-RLHF는 환각을 줄이기 위해 정직성과 유용성을 측정하며, RLHF-V는 구간 단위의 환각 수정 내용을 수집한다. VLFeedback은 유용성, 충실성, 윤리적 우려에 대한 GPT-4V의 점수를 사용한다.출처: §3.3.3 · p. 8

4.1 폐쇄형

• 폐쇄형 평가는 사전 정의된 답변 선택지와 벤치마크 지표를 사용한다. 학습에서 제외된 데이터셋이나 과제에서 제로샷 테스트를 수행하며, 미세 조정 후 평가는 주로 특정 도메인의 과제를 대상으로 한다.InstructBLIP [60]은 ScienceQA 에서 정확도를, NoCaps 와 Flickr30K 에서 CIDEr 를 보고한다. 제로샷 평가는 학습용 데이터셋에서 모델을 조정한 뒤, 학습에서 보지 못한 데이터셋이나 과제에서 테스트한다.출처: §4.1 · pp. 8–9
• 전용 벤치마크는 일부 선정된 데이터셋을 넘어 일반적 능력, 비디오 이해, 환각까지 평가 범위를 넓힌다.MME [123]는 데이터 누출을 방지하기 위해 수작업으로 설계한 지시-응답 쌍을 사용하며, 14개 지각 및 인지 과제를 포함한다. MMBench [124]는 ChatGPT로 자유 형식 응답을 사전 정의된 선택지에 대응시킨다. Video-ChatGPT [130]와 Video-Bench [131]는 비디오 특화 평가를 제공하며, POPE [132]는 환각을 평가한다.출처: §4.1 · p. 9

4.2 개방형

• 개방형 챗봇 응답은 내용에 제약이 없어 판단하기 더 어렵다. 수동 채점은 직접 작성한 질문으로 특정 능력 차원을 평가한다.mPLUG-Owl [81]은 자연 이미지, 도해, 순서도 이해를 평가한다. GPT4Tools [107]는 미세 조정 후 응답과 제로샷 응답을 구분하여 사고, 행동, 인자, 전체 응답 측면에서 평가한다.출처: §4.2 · p. 9
• GPT 채점은 노동 집약적인 수동 평가에 대한 의존을 줄인다. LLaVA [20]는 텍스트 전용 GPT-4로 멀티모달 대화 응답의 유용성과 정확성을 비교한다.COCO 검증 이미지 30장 각각에 대해 GPT-4의 자기 지시 생성으로 단답형 질문, 상세 답변형 질문, 복잡한 추론 질문을 만든다. 이후 GPT-4가 모델의 답변을 자신의 답변과 비교한다.출처: §4.2 · p. 9
• 텍스트 전용 GPT-4 평가자는 이미지를 직접 확인할 수 없는 반면 [35], Woodpecker [77]는 GPT-4V로 이미지에 비추어 답변을 평가한다.캡션이나 바운딩 박스 좌표에 의존하므로 텍스트 전용 GPT-4를 성능 상한으로 간주하는 데는 의문이 있다 [35]. GPT-4V가 이미지에 직접 접근하면 평가 정확도가 향상될 것으로 기대된다 [77].출처: §4.2 · p. 9
• 사례 연구는 채점을 보완한다. Fu et al. [137]은 Gemini-Pro와 GPT-4V가 응답 방식은 다르지만 시각적 추론 능력은 비슷하다는 점을 발견했다.Yang et al. [135]은 농담 이해와 실내 탐색을 포함해 기초 능력부터 복잡한 지식·추론 과제까지 GPT-4V를 정성적으로 분석한다. Wen et al. [136]은 자율주행 상황에 초점을 맞춘다.출처: §4.2 · p. 9

세밀도 지원

• 더 세밀한 상호작용은 MLLM 입력을 이미지에서 영역과 픽셀로 확장하며, 그라운딩 출력은 바운딩 박스에서 마스크로 발전한다.Shikra [28]는 자연어 바운딩 박스로 표현한 영역 참조와 박스에 그라운딩된 응답을 지원하며, Ferret [141]은 점, 박스, 스케치 프롬프트에 하이브리드 표현을 사용한다. Osprey [29]는 분할 모델 [9]로 한 번의 클릭만으로 개체나 부분을 선택하며, LISA [142]는 마스크 수준의 이해와 추론, 픽셀 수준의 그라운딩을 지원한다.출처: §5 · p. 9

모달리티 지원

• 모달리티 확장은 3D 포인트 클라우드 입력 [41], [143], [144], 과 NExT-GPT [32]를 통한 텍스트·이미지·오디오·비디오 혼합 입출력을 추가한다.NExT-GPT [32]는 LLM을 이해와 추론의 중심에 둔 인코더-디코더 구조를 사용하며, 확산 모델, 을 연결해 멀티모달 생성을 지원한다.출처: §5 · pp. 9–10

언어 지원

• Qwen-VL [34] 사전학습 데이터의 22.7%는 중국어로, 기반 이중언어 LLM인 Qwen [58]의 중국어·영어 능력을 유지하기 위해 포함되었다.다국어 확장은 고품질 비영어 학습 말뭉치가 부족한 상황에서 주로 단일언어에 머무는 모델의 한계를 다룬다. VisCPM [33]은 영어를 매개로 한 다단계 학습, 사전학습된 이중언어 LLM, 번역된 지시 튜닝 샘플을 활용해 멀티모달 능력을 중국어로 전이한다.출처: §5 · p. 10

시나리오/과제 확장

• 시나리오별 확장은 MobileVLM [63]을 통해 자원이 제한된 모바일 환경에서의 배포를, CogAgent [44], AppAgent [43], Mobile-Agent [45]를 통해 GUI 상호작용을 지원한다.MobileVLM [63]은 더 작은 LLM과 양자화로 모바일 기기의 연산을 가속한다. GUI 보조 에이전트는 사용자 요청에 따라 작업 실행을 계획하고 단계별로 안내한다.출처: §5 · p. 10
• 도메인별 확장은 mPLUG-DocOwl [38]을 통한 OCR 없는 문서 이해, TextMonkey [39]를 통한 문서 과제 학습, LLaVA-Med [158]를 통한 의료 영상 보조 기능을 발전시킨다.mPLUG-DocOwl [38]은 다양한 문서 수준 데이터로 튜닝하며, TextMonkey [39]는 위치 관련 과제를 추가해 환각을 줄이고 응답을 시각 정보에 그라운딩한다. LLaVA-Med [158]는 LLaVA [20]에 의학 지식을 주입해 의료 영상 이해와 질의응답을 지원한다.출처: §5 · p. 10

6.1 기초 개념

• 멀티모달 환각에는 존재하지 않는 객체, 잘못된 객체 속성, 객체 간의 잘못된 관계가 포함된다 [159].이러한 오류로 인해 응답이 이미지 내용과 일치하지 않게 된다 [77]. 속성 및 관계 환각은 객체의 존재 여부에 의존한다.출처: §6.1 · p. 10, §6 · p. 10

6.2 평가 방법

• CHAIR 는 캡션의 객체 환각을 측정하고, POPE [132]는 객체 존재 여부에 대한 이진 선택을 평가하며, MME [123]는 개수, 위치, 색상까지 평가한다.CHAIR는 환각 객체가 포함된 문장의 비율 또는 언급된 전체 객체 중 환각 객체의 비율을 측정한다. POPE는 예/아니요 키워드를 통해 응답을 변환하며, 강건성을 평가하기 위해 데이터 통계를 반영한 더 어려운 설정을 포함한다.출처: §6.2 · p. 10
• 평가는 HaELM [161], Woodpecker [77], FaithScore [162], AMBER [163]를 통해 단순한 일치 여부 확인을 넘어 확장된다.HaELM은 텍스트 전용 LLM을 평가자로 사용해 참조 캡션과 비교하는 반면, Woodpecker는 GPT-4V로 응답을 이미지와 직접 대조하여 평가함으로써 제한된 이미지 맥락과 참조 캡션 의존성 문제를 피한다. FaithScore는 서술적 하위 문장을 개별적으로 평가한다. AMBER는 LLM을 사용하지 않는 벤치마크로, 세 가지 환각 유형 모두에 걸쳐 판별 및 생성 과제를 포괄한다.출처: §6.2 · p. 10

6.3 완화 방법

• 사전 교정은 LRV-Instruction 의 부정 지시 튜닝과 LLaVA-RLHF [112]의 인간 선호 기반 강화학습을 통해 환각 응답을 줄인다.LRV-Instruction은 긍정 지시와 서로 다른 의미 수준의 부정 지시를 결합한다. LLaVA-RLHF는 수집한 인간 선호 쌍으로 모델을 미세 조정한다.출처: §6.3 · p. 11
• 생성 중 교정에는 HallE-Switch [159]의 상상 제어, VCD 의 대조 디코딩, HACL [166]의 대조 표현 학습이 포함된다.HallE-Switch는 이미지에 근거하지 않은 객체가 LLM의 지식에서 비롯된다고 가정하고, 추론 시점의 연속적 제어와 이에 대응하는 학습을 도입한다. VCD는 환각의 원인을 말뭉치 편향과 언어적 사전 지식에서 찾으며, 이미지 잡음이 사전 지식 의존도를 높인다는 관찰을 바탕으로 증폭 후 대조 디코딩을 통해 이를 억제한다. HACL은 짝지어진 모달리티 간 표현을 서로 가깝게 만드는 동시에, 환각이 있는 텍스트 표현과 환각이 없는 텍스트 표현을 분리한다.출처: §6.3 · p. 11
• 사후 교정은 추가 학습이 필요 없는 Woodpecker [77]의 전문가 모델 파이프라인이나 LURE [167]의 학습된 수정 모델을 사용해 생성된 응답을 고친다.Woodpecker는 이미지 맥락을 보강하고 환각을 단계적으로 교정하며, 검토 가능한 중간 결과와 이미지에 근거한 객체를 제공한다. LURE는 설명에서 불확실한 객체를 마스킹하고 응답을 다시 생성한다.출처: §6.3 · p. 11

7.1 멀티모달 문맥 내 학습

• M-ICL은 추론 시점에 멀티모달 시범 예시를 추가해 별도 훈련 없이 유추로 학습한다. 예시 수와 순서를 조정할 수 있지만, 모델은 예시 배치에 민감하다 [168], [171].지시 튜닝으로 ICL 능력을 향상할 수 있다 [19]. Table 9는 [98]의 템플릿을 수정해 멀티모달 시범 예시 두 개 뒤에 질의를 배치한 사례를 보여 준다.출처: §7.1 · p. 11, Table 9 · p. 11

7.1.1 ICL 능력 향상

• MIMIC-IT [172]는 멀티모달 문맥 기반 지시 튜닝으로 퓨샷 캡션 생성을 개선하고, Emu [173]와 Sheng 등 [174]은 출력을 텍스트와 이미지로 확장한다.Emu [173]는 생성 모달리티와 훈련 데이터를 추가해 Flamingo 를 확장하며, Stable Diffusion을 시각 디코더로 사용해 추가적인 시각 지도 신호를 제공한다. 반면 Sheng 등 [174]은 전용 이미지 인코더 대신 통합 양자화와 공유 임베딩 층을 사용한다.출처: §7.1.1 · pp. 11–12
• Link-context learning [175], MMICL [176], Jeong [177]은 각각 이미지–설명 대조 학습, 표준화된 교차 배치 문맥, 무관한 문맥 필터링으로 문맥 학습을 강화한다.Link-context learning [175]은 양성·음성 쌍으로 이미지–레이블 간 인과적 연결을 강화하고, MMICL [176]은 서로 관련된 여러 이미지에 대한 추론을 목표로 한다. Jeong [177]은 일관성 없는 이미지나 텍스트가 소량만 포함되어도 문맥과 모순되는 응답을 유발할 수 있음을 확인한다.출처: §7.1.1 · p. 12

7.1.2 응용

• M-ICL은 시각 추론 [22],,,, [180]과 외부 도구 사용 [169],, [181]을 지원하며, 각각 과제 수준의 시범 예시와 실행 가능한 단계열을 사용한다.시각 추론의 시범 예시는 유사한 질문에 대해 과제 의도와 출력 형식을 전달한다. 도구 사용의 시범 예시는 더 세분된 순차적 단계를 제공하므로 이 응용은 CoT와 연결된다.출처: §7.1.2 · p. 12

7.2 멀티모달 사고 사슬

• M-CoT는 중간 단계 추론을 멀티모달 과제로 확장하며 [184], [185], [186], [187], 모델이 최종 답과 함께 추론 과정을 생성하도록 유도한다 [8].CoT는 복잡한 추론 과제에서 효과를 입증했다 [8], [182], [183].출처: §7.2 · p. 12

7.2.1 학습 패러다임

• M-CoT는 미세 조정이나 계산 효율이 더 높은 무훈련 퓨샷·제로샷 학습으로 습득하며, 이 순서대로 필요한 표본 수가 점차 줄어든다.ScienceQA는 미세 조정을 위한 강의와 해설을 제공한다. Multimodal-CoT [185]는 답에 앞서 추론 근거를 생성하고, CoT-PT [187]는 프롬프트 튜닝과 단계별 시각 편향을 결합한다. 퓨샷 학습은 수작업으로 만든 시범 예시를 사용하는 반면, 제로샷 지시는 예시 없이 추론을 이끌어 낸다 [184], [186]. 과제와 도구에 대한 설명도 과제 분해를 유도할 수 있다 [22], [188].출처: §7.2.1 · p. 12

7.2.2 사슬 구성

• M-CoT 사슬은 단일 사슬형·트리형의 구조와 길이 제어 방식에 따라 나뉘며, 적응적 중단이나 사전 정의된 제한을 사용한다.단일 사슬 추론은 질문–추론 근거–답의 단계를 따른다, [185]. 반면 DDCoT 는 LLM이나 시각 전문가 모델로 하위 질문을 해결한 뒤 추론 근거를 종합한다. 적응적 사슬에서는 LLM이 중단 시점을 결정하고, 사전 정의된 사슬은 지정된 길이에서 멈춘다.출처: §7.2.2 · p. 12

7.2.3 생성 방식

• 빈칸 채우기 기반 M-CoT는 앞뒤 단계 사이의 빈 부분을 채우고, 예측 기반 M-CoT는 지시와 이전 이력을 바탕으로 추론을 이어 간다. 두 방식 모두 정확하고 일관된 단계가 필요하다.빈칸 채우기는 [184], [186]에서 사용되며, 예측 기반 생성은 [22],, [169],, [185], [188]에서 사용된다.출처: §7.2.3 · p. 12

7.3.1 소개

• LLM을 활용한 시각 추론 시스템은 보지 못한 개념에 대한 zero/few-shot 일반화, 복잡한 과제의 추론, 사용자 친화적인 세밀한 제어 능력을 보인다.MM-REACT [22]는 밈이 재미있는 이유를 설명할 수 있으며, 클릭과 자연어 질의로 세밀하게 제어할 수 있다 [79].출처: §7.3.1 · p. 13

7.3.2 학습 패러다임

• 추가 학습 없는 시스템은 사전 학습 모델을 고정하고, few-shot 예시로 도구 실행 계획을 유도하거나 zero-shot 프롬프팅으로 언어 지식과 추론 능력을 활용한다.PointCLIP V2 [197]는 GPT-3에 프롬프트를 입력해 3D 의미 기술문을 얻고, CAT [79]는 사용자 질의에 따라 캡션을 정제한다.출처: §7.3.2 · p. 13
• 미세 조정은 도구 사용 계획 [107]이나 위치 추정 능력 [142], [205]을 개선한다.GPT4Tools [107]는 도구 관련 지시 데이터셋을 수집해 인스트럭션 튜닝에 활용한다.출처: §7.3.2 · p. 13

7.3.3 기능

• 제어기는 사고 연쇄 추론으로 복잡한 과제를 분해하고 하위 과제를 도구나 모듈에 할당하며, 대개 한 차례의 실행으로 과제를 완료한다.VisProg 는 GPT-3에 프롬프트를 입력해 각 행이 지정된 입력 인자로 모듈을 호출하는 시각 처리 프로그램을 생성하며, 수작업으로 만든 예시가 계획 수립을 유도한다 [169],, [181].출처: §7.3.3 · p. 13
• 의사결정기는 일반적으로 여러 차례에 걸쳐 작동하며, 맥락과 이력을 요약하고 정보가 충분한지 판단하며 사용자 친화적인 답변을 구성한다.이 과정은 반복적으로 진행될 수 있다 [195].출처: §7.3.3 · p. 13
• 의미 정제기는 언어·의미 지식을 활용해 정보를 유창한 문장으로 통합하거나 [202] 과제별 텍스트를 생성한다 [79], [197],.출처: §7.3.3 · p. 13

긴 문맥 처리

• 긴 문맥의 멀티모달 처리 역량이 부족해 MLLM이 긴 동영상과 이미지·텍스트가 섞인 긴 문서를 다루는 데 한계가 있다.이러한 응용에서는 모델이 더 많은 멀티모달 토큰을 처리해야 한다.출처: §8 · p. 13

복잡한 지시 수행

• MLLM은 복잡한 지시 수행 역량을 높여야 하며, 현재는 이 역량 때문에 고품질 질의응답 데이터 생성에 비공개 모델인 GPT-4V를 의존한다.다른 모델은 대체로 이러한 데이터 생성에 필요한 GPT-4V의 고도화된 지시 수행 역량에 미치지 못한다.출처: §8 · p. 13

M-ICL과 M-CoT

• M-ICL과 M-CoT 연구는 아직 초기 단계이며, 모델 역량이 미흡해 그 기저 메커니즘과 개선 가능성을 탐구할 필요가 있다.출처: §8 · p. 13

체화형 에이전트

• 현실 세계와 상호작용하는 MLLM 기반 체화형 에이전트를 개발하려면 지각, 추론, 계획, 실행 역량이 필요하다.출처: §8 · p. 14

안전성

• MLLM은 의도적으로 설계된 공격 [177], [207], 에 편향되거나 바람직하지 않은 응답을 생성할 수 있어, 안전성 향상이 중요한 연구 방향이다.출처: §8 · p. 14

9 결론

• 이 종설은 기본 구성과 관련 확장을 포함해 MLLM 연구 방향을 폭넓게 조망한다.출처: §9 · p. 14
• 이 종설은 아직 해소되지 않은 연구 공백을 강조한다.출처: §9 · p. 14
• 이 종설은 MLLM의 현재 발전 현황을 명확히 하고 후속 연구를 촉진하고자 유망한 연구 방향을 제시한다.출처: §9 · p. 14