Multimodal Deep Learning

작성 환경

• R 코드와 Markdown을 결합하는 데 rmarkdown을 사용했다.출처: Technical Setup · p. 7
• 시뮬레이션, 데이터 예제, 시각화는 R로 제작했다.출처: Technical Setup · p. 7
• 이 책의 각 장은 Markdown으로 작성했다.출처: Technical Setup · p. 7

0 머리말

• 기여자들은 git과 github을 사용해 공동 작업했다.출처: §0 · p. 8
• 이 책은 bookdown 패키지로 제작했다.출처: §0 · p. 8
• 자세한 내용은 이 책의 저장소를 참조하도록 독자에게 안내한다.출처: §0 · p. 8

1.1 멀티모달 딥러닝 소개

• 멀티모달 딥러닝은 비정형 입력을 수치로 표현하고 모달리티 간 정보를 결합하는 방식을 결정해야 한다.임베딩은 정보를 잠재 공간의 벡터로 인코딩한다. 텍스트 기반 이미지 생성에서는 문맥상 단어 간 관계를 공간상 픽셀 간 관계와 연결해야 한다.출처: §1.1 · p. 9

1.2 책자 구성

• 이 책자는 최신 멀티모달 방법을 개관하며, 언어와 시각의 기초를 다진 뒤 둘을 결합하는 아키텍처를 살펴본다.Chapter 2에서는 단어 임베딩, 트랜스포머 어텐션, 시각 아키텍처와 함께 데이터셋, 사전 학습 과제, 벤치마크를 소개한다.출처: §1.1 · p. 10, §1.2 · p. 10
• Chapter 3에서는 이미지 캡셔닝과 텍스트 기반 이미지 생성을 살펴보며, 적대적 신경망, 변분 오토인코더, 트랜스포머, 텍스트 유도 확산 모델을 다룬다.이 과제들은 이미지 정보를 텍스트로 변환하고 짧은 텍스트 프롬프트로 이미지를 생성하는 방식을 보여준다.출처: §1.2 · p. 10
• 이어지는 아키텍처들은 이미지로 언어 처리를 돕거나 텍스트로 시각 처리를 돕고, 또는 두 모달리티를 함께 처리한다.순차 임베딩과 그라운딩 임베딩, 텍스트–이미지 대조 학습, 제로샷 분류, 공동 어텐션 등의 기법을 다룬다. 음성·시각·언어 간에 학습을 공유하거나, 동결된 사전 학습 시각·언어 모델로 퓨샷 학습을 수행하는 접근법도 살펴본다.출처: §1.2 · pp. 10–11
• Chapter 4에서는 다른 모달리티, 정형–비정형 데이터 융합, 다목적 모델, 생성 예술로 논의를 확장한다.융합, 정렬, 공동 표현과 조정된 표현의 대비를 중심으로 범용 아키텍처를 설명하며, 비디오, 음성, 표 형식 데이터를 다룬다. 정형–비정형 데이터 융합은 생존 분석과 경제학 사례로 설명한다.출처: §1.2 · p. 11

자연어 처리

• 단어 임베딩(Mikolov et al. (2013a), Bojanowski et al. (2016))은 의미를 인코딩하고, 인코더–디코더(Sutskever et al. (2014))는 길이가 다른 시퀀스 간 매핑을 학습한다.임베딩은 의미가 유사한 단어들을 저차원 공간에서 서로 가까이 배치한다. 인코더–디코더는 시퀀스 구조에 대한 가정을 최소화하므로 서로 다른 어순을 수용하고 번역, 비디오 캡셔닝, 질의응답을 지원한다.출처: §2 · p. 13
• Bahdanau et al. (2014)이 도입한 어텐션은 모델이 관련 정보에 집중하게 하여 기계번역 등의 과제에서 성능을 높인다.디코더가 원본 입력에 직접 접근하면 병목을 피하고 멀리 떨어진 상태로 이어지는 지름길을 확보하여 기울기 소실을 완화할 수 있다.출처: §2 · p. 13
• Transformer(Vaswani et al. (2017b))는 입력을 순차적으로 처리하지 않고 어텐션을 사용하여 병렬 연산과 긴 시퀀스의 문맥 유지를 지원한다.BERT, T5, GPT-3 (Brown et al., 2020) 등의 사전학습 아키텍처는 특정 언어 과제에 맞춰 미세조정할 수 있다.출처: §2 · p. 13

컴퓨터 비전

• 이미지 분류 연구는 잔차 학습과 네트워크 확장을 다루며, 표준 Transformer도 이미지에 직접 적용된다.잔차 학습은 학습 정확도 저하 문제를 해결하며, EfficientNet은 너비, 깊이, 이미지 해상도를 함께 조정하는 복합 확장을 사용한다. 합성곱을 대체하는 일부 아키텍처에서는 특수한 어텐션 패턴이 하드웨어 확장의 효율을 제한해 왔다.출처: §2 · p. 14
• 비전 분야의 자기지도 학습 방법에는 SimCLR (Chen et al., 2020a), SwAV (Caron et al., 2020), BYOL 이 있다.SimCLR은 기존 연구보다 우수한 성능을 보인다. SwAV는 한 뷰의 표현으로 다른 뷰의 할당을 예측하며 학습한다. 대조 학습 방법은 같은 이미지에서 증강한 뷰들은 가깝게, 서로 다른 이미지의 뷰들은 멀게 배치한다.출처: §2 · p. 14

멀티모달 데이터와 평가

• 멀티모달 모델링은 확보하기 어려운 짝지어진 데이터, 대규모 사전학습, 과제별 미세조정, 모델 비교용 벤치마크에 의존한다.DALL-E 2는 텍스트로 이미지를 생성하는 사례다. 비전–언어 사전학습 데이터셋에는 COCO, Visual Genome, Conceptual Captions, Flickr30k, LAION-400M, LAION-5B가 있다. 벤치마크는 과제별 지표로 언어, 비전, 교차 모달 과제를 평가하며 인간의 성능을 기준선으로 제공할 수 있다.출처: §2 · p. 15

2.1.2 단어 임베딩

• 단어 임베딩은 희소한 고차원 단어 표현을 학습 가능한 밀집 벡터로 대체하여 의미가 비슷한 단어를 서로 가까이 배치한다.기존 표현은 어휘 크기에 따라 커지고 유사성을 포착하지 못해 일반화와 희귀 단어 처리에 한계가 있다. 임베딩의 산술 연산은 왕–남자–여자–여왕 유추를 비롯한 구문적·의미적 관계를 포착한다.출처: §2.1.2 · pp. 17–18
• 정적 임베딩은 사전 지식을 반영하지만 문맥에 따라 달라지는 단어의 의미를 구분하지 못한다.기존 임베딩은 미리 계산한 표현을 부여하므로 은행과 강둑을 뜻하는 “bank”의 서로 다른 의미가 같은 표현을 공유한다. 문맥적 임베딩 기법은 이러한 한계를 해결한다.출처: §2.1.2 · pp. 17–18
• 영어와 스페인어 임베딩 공간을 선형 매핑하여 번역 정밀도 거의 90 %를 달성했다.기하학적 거리로 사전의 오류를 탐지할 수 있으며, 대규모 말뭉치로 임베딩을 학습하면 사전에 없는 단어도 합리적으로 예측할 수 있다. 영어–베트남어 번역은 단어 간 대응 관계와 많은 동의어로 인해 정확한 예측이 어려워 정확도가 더 낮았다(Mikolov et al. (2013c)).출처: §2.1.2 · p. 19
• Word2vec의 CBOW는 문맥으로 단어를 예측하고, skip-gram은 현재 단어로 주변 단어를 예측한다(Mikolov et al. (2013a)).두 모델 모두 출력 분류기로 softmax를 사용한다. Bojanowski et al. (2016)은 skip-gram에 형태론적 정보를 반영하며, GloVe는 신경망 없이 국소 문맥과 전역 동시 출현 통계를 결합한다.출처: §2.1.2 · p. 20

2.1.3 인코더–디코더

• 시퀀스 대 시퀀스 모델에서 깊은 LSTM은 얕은 LSTM에 비해 층이 하나 추가될 때마다 perplexity가 거의 10% 낮아졌다.인코더–디코더 구조는 가변 길이 입력을 고정된 문맥 표현으로 인코딩하고 가변 길이 출력을 디코딩한다. Cho et al. (2014)에서는 문맥 표현이 입력을 요약하고 각 디코더 은닉 상태의 조건으로 사용된다.출처: §2.1.3 · pp. 21, 23

2.1.4 어텐션

• 어텐션은 관련 인코더 상태에 접근하여 고정 벡터 병목을 우회하고 기울기 소실을 완화해 NLP 성능을 높인다.Bahdanau et al. (2014)은 임의 길이의 입력을 단일 벡터로 요약하는 대신 정렬과 번역을 공동 학습한다. Softmax로 정규화한 점수를 인코더 상태의 가중치로 사용하고, 어텐션 출력을 디코더 상태와 연결한다.출처: §2.1.4 · pp. 23–24
• 어텐션 정렬은 각 생성 단어에 영향을 주는 원문 단어와 번역 과정의 어순 변화를 보여준다(Bahdanau et al. (2014)).영어–프랑스어 정렬은 대체로 단조적이며, 예외는 형용사와 명사의 어순 차이를 반영한다. 정성적 분석에서 모델의 정렬은 대부분 직관과 일치했다.출처: §2.1.4 · pp. 25–26

2.1.5 트랜스포머

• 트랜스포머는 순환 연산을 어텐션으로 대체하여 병렬화 가능한 사전학습과 다양한 언어 과제에서의 우수한 성능을 실현한다.순환 모델은 멀리 떨어진 단어 간 상호작용에 O(sequence length) 단계가 필요하고 병렬 연산을 제한한다. Self-attention은 같은 시퀀스 내 상태들을 연결하고 쿼리–키 일치도에 따라 가중한 값을 반환한다.출처: §2.1.5 · pp. 26–28
• Vaswani et al. (2017c)은 병렬 self-attention에 피드포워드 비선형 연산, 위치 표현, 마스킹을 결합하여 어텐션의 한계를 해결한다.모든 층에서 모든 단어가 상호작용하므로 최대 상호작용 거리가 O(1)이 되고 양방향 문맥을 활용할 수 있다. 위치 표현은 어순 정보를 복원하며, 마스킹은 학습 목적상 필요한 경우 미래 단어에 대한 접근을 차단한다.출처: §2.1.5 · p. 29
• Multi-head attention, 잔차 연결, 층 정규화, 스케일링된 내적은 깊은 트랜스포머 인코더–디코더 적층 구조를 뒷받침한다.독립적인 어텐션 헤드들이 특징별 출력을 결합하며, 스케일링된 어텐션은 극단적인 점수를 억제하기 위해 softmax 전에 쿼리–키 내적을 d_k^0.5로 나눈다. 디코더 마스킹은 병렬 처리를 위해 미래 위치의 점수를 −∞로 설정하며, 마지막 선형 층에 이어 softmax를 적용해 어휘별 확률을 산출한다.출처: §2.1.5 · pp. 30–31

2.1.6.1 BERT

• BERT의 마스크 언어 모델링은 양방향 문맥을 유지하면서 시퀀스 토큰의 15%를 예측 대상으로 삼는다.예측 대상 중 80%는 MASK로, 10%는 무작위 토큰으로 바꾸고 10%는 그대로 둔다. 다음 문장 예측은 영향이 미미하여 후속 연구에서 제외되었다. 미세조정한 BERT는 질의응답, 감성 분석, 요약에 활용되지만, 시퀀스 생성에서는 사전학습 디코더가 사전학습 인코더보다 우수하다.출처: §2.1.6.1 · pp. 33–34

2.1.6.2 T5

• T5 는 C4 사전학습과 span corruption을 활용하여 NLP 과제를 텍스트 대 텍스트 예측으로 통일한다.가변 길이 구간을 고유한 자리표시자로 대체한 뒤 복원하게 하며, 디코더는 언어 모델링 목적을 유지한다. 동일한 모델, 손실 함수, 하이퍼파라미터로 번역, 요약, 질의응답, 분류를 수행하고, 숫자 문자열을 통해 회귀까지 처리한다.출처: §2.1.6.2 · p. 34

2.1.6.3 GPT-3

• GPT-3는 175십억 개의 파라미터와 약 500십억 개의 학습 토큰을 특징으로 하며, 문맥 내 예시를 통해 경사 갱신 없이 과제를 학습한다.GPT는 디코더를 여러 층으로 쌓은 구조를 사용하며(Brown et al., 2020), 앞선 단어들을 조건으로 다음 단어를 예측하도록 사전학습된다. 가장 큰 T5 모델은 11십억 개의 파라미터를 가지며, 이는 여기서 제시한 규모 비교를 보여 준다.출처: §2.1.6 · p. 33, §2.1.6.3 · pp. 34–35

2.1.7.1 언어 모델의 규모 확대에 관한 우려

• Strubell et al. (2019a)은 Transformer (big) 모델 학습의 CO2 배출량을 249t으로 추정했다.영어–독일어 번역에서 BLEU를 0.1 높이는 데 연산 비용이 $150,000 증가한 것으로 추정되었다. 모델이 커질수록 더 큰 데이터셋이 필요하지만, 그 특성과 수집 과정은 제대로 문서화되지 않는 경우가 많다. 웹 데이터의 편향과 불균등한 환경 피해는 소외 집단에 불이익을 준다.출처: §2.1.7.1 · pp. 35–36

2.1.7.2 트랜스포머 기반 모델에 대한 이해 증진

• BERT는 계층적 구문 구조를 인코딩하지만(Lin et al., 2019, Liu et al. (2019a)), 지각적 지식을 다루는 데는 어려움을 보인다.의미 지식은 보유하지만 일부 추론에는 실패한다. 모델 크기가 실험을 어렵게 하는 가운데 어텐션 가중치는 해석에 도움이 된다(Clark et al., 2019). 대부분의 헤드는 뚜렷한 성능 저하 없이 제거할 수 있으며, 어텐션 맵에서는 SEP에 자주 집중하는 양상이 드러난다.출처: §2.1.7.2 · pp. 36–37

2.1.7.3 Few-shot 학습

• Few-shot 학습은 소수의 시연 예시를 활용하고 연산·환경 비용을 줄여, 레이블이 부족하고 구축 비용이 높은 문제에 대응한다.Brown et al. (2020)은 과제 설명, 예시, 프롬프트를 이용해 순전파만 수행하는 프롬프팅을 설명하며, 파라미터 수가 늘수록 few-shot 성능이 향상된다고 보고한다. 예시의 표현과 순서, 디코딩, 하이퍼파라미터는 겉으로 드러나는 능력을 부풀릴 수 있다. Lialin et al. (2022)은 파라미터 수와 상관관계가 없는 조합적 zero-shot 실패를 보고하여, 최적화나 마스킹 전략이 더 중요할 수 있음을 시사한다.출처: §2.1.7.3 · pp. 37–38

2.2.1 역사

• AlexNet은 2012년 ImageNet 인식 대회에서 오류율 16.4%를 기록하며 획기적인 성과를 거뒀다.앞선 신경생리학 연구는 시각 처리의 계층적 구조를 밝혔으며, 이는 컴퓨터 과학자들이 신경 구조를 재현하려는 시도에 영감을 주었다.출처: §2.2.1 · pp. 39–40

2.2.2 지도 학습과 비지도 학습

• 지도 학습(Education, 2020a)은 레이블을 사용해 분류나 회귀를 수행하는 반면, 비지도 학습(Education, 2020b)은 레이블이 없는 데이터에서 패턴을 발견한다.자기지도 학습은 입력의 한 부분으로 다른 부분을 학습하며(techslang, 2020), 대조 학습은 레이블이 없는 예제 간 유사성과 비유사성을 식별한다(Tiu, 2021). 준지도 학습은 레이블이 있는 데이터와 없는 데이터를 결합해 복잡한 대규모 데이터셋에서 특징을 추출하도록 돕는다.출처: §2.2.2 · pp. 40–41

2.2.3 네트워크 확장

• ConvNet은 깊이, 너비 또는 이미지 해상도를 확장할 수 있으며, 너비와 해상도를 늘리면 더 세밀한 특징을 포착하는 데 도움이 된다.깊이 확장은 ResNet의 개발 동기가 되었으며, EfficientNet은 세 차원을 모두 확장한다.출처: §2.2.3 · p. 41

2.2.4.1 심층 잔차 학습

• 잔차 학습은 F(x) = H(x) − x를 학습하고 지름길 연결의 덧셈 F(x) + x로 매핑을 복원해 깊이 증가에 따른 성능 저하를 해결한다.이 성능 저하 현상은 깊이가 증가할수록 훈련 오차가 커지는 것으로, 과적합 때문에 발생하지 않는다. 추가 매개변수나 큰 연산 부담 없이 항등 지름길 연결만으로 해결할 수 있으며, 차원이 다를 때는 투영으로 맞춘다.출처: §2.2.4.1 · pp. 42–43, §2.2.4 · p. 42

2.2.4.2 네트워크 아키텍처

• 잔차 아키텍처는 VGG에서 착안한 기준 모델(Simonyan and Zisserman, 2014)에 지름길 연결을 추가하고, 제로 패딩이나 1×1 합성곱으로 차원을 맞춘다.여기서 설명하는 일반 기준 모델은 가중치가 있는 34개 층, 보폭 2의 다운샘플링, 전역 평균 풀링, 1000개 클래스를 분류하는 완전연결 softmax 출력을 갖춘다.출처: §2.2.4.2 · pp. 43–44, §2.2.4.1 · p. 43

2.2.5 EfficientNet

• EfficientNet은 한 차원만 늘리는 대신 고정된 스케일링 계수로 깊이, 너비, 해상도를 균형 있게 확장한다.보고된 비교에서는 깊이와 해상도를 늘릴 때 너비도 함께 확장하면 같은 FLOPS에서 정확도가 더 높아져, 세 차원을 연계한 확장의 효과를 뒷받침한다.출처: §2.2.5 · p. 44, §2.2.5.1 · p. 48

2.2.5.1 복합 모델 스케일링

• 복합 스케일링은 기준 모델의 층별 연산을 유지하면서 자원 사용량을 제어하는 계수 ϕ로 깊이, 너비, 해상도를 연계해 확장한다.단일 차원 확장의 이득은 점차 줄어든다. ResNet-1000의 정확도는 ResNet-101과 비슷하며, 넓고 얕은 네트워크는 고수준 특징을 포착하는 데 어려움을 겪는다. 격자 탐색으로 구한 상수가 자원을 배분한다. FLOPS는 d*w^2*r^2에 비례하며, α*β^2*γ^2 ≈ 2이면 약 2^ϕ만큼 증가한다.출처: §2.2.5.1 · pp. 46–48

2.2.5.2 EfficientNet 아키텍처

• EfficientNet-B0는 복합 스케일링을 시연하기 위해 개발한 모바일 규모의 기준 모델로, 정확도와 FLOPS로 효과를 평가한다.스케일링은 네트워크의 층별 연산을 바꾸지 않으므로 기준 모델의 설계가 중요하다.출처: §2.2.5.2 · p. 48
• EfficientNet은 작은 기준 모델에서 스케일링 계수를 한 번 탐색한 뒤 이를 고정하고, ϕ를 바꿔 EfficientNet-B1부터 B7까지 구성한다.ϕ = 1일 때 α · β^2 · γ^2 ≈ 2라는 제약 아래 탐색으로 α = 1.2, β = 1.1, γ = 1.15를 선택한다. 더 큰 모델 주변에서 탐색하면 성능을 더 높일 수 있지만 비용이 감당하기 어려울 만큼 커진다.출처: §2.2.5.2 · pp. 48–49

2.2.5.3 결과 및 네트워크 비교

• ImageNet에서 EfficientNet-B0는 ResNet-50보다, EfficientNet-B1은 ResNet-152보다 성능이 높아 깊이만이 아닌 세 차원의 확장을 뒷받침한다.후속 EfficientNet 변형들은 성능을 높이지만 연산 요구량이 단점이다. ResNet-34는 plain-34보다 top-1 정확도가 3.5 % 높으며, ResNet의 깊이를 더 늘리면 정확도가 추가로 향상된다.출처: §2.2.5.3 · pp. 49–50

2.2.6 대조 학습

• Bootstrap Your Own Latent는 이미지 표현을 부트스트래핑해 데이터셋을 두 배로 늘리는 일과 불필요한 이미지 비교를 피한다.이는 비용과 시간이 많이 드는 사람의 레이블링을 줄이려는 노력의 일환으로, SimCLR(Chen et al., 2020a)에서 지적된 연산 부담을 해결한다.출처: §2.2.6 · pp. 50–51

2.2.6.1 A Simple Framework for Contrastive Learning of Visual Representations

• SimCLR(Chen et al., 2020a)는 사람의 지도나 메모리 뱅크 없이 시각 표현을 학습하며, 기존 연구를 능가하는 성능을 보고했다.여러 증강의 조합, 비선형 투영, 정규화된 임베딩, 적절한 온도 스케일링이 효과적인 표현 학습에 기여한다. 더 큰 배치, 더 긴 학습, 더 깊거나 넓은 네트워크도 대조 표현 학습을 개선한다.출처: §2.2.6.1 · p. 51

2.2.6.2 대조 학습 프레임워크

• SimCLR(Chen et al., 2020a)는 증강된 뷰 쌍, ResNet-50 인코더, 비선형 투영 헤드, NT-Xent 대조 손실을 결합한다.강한 색상 증강은 비지도 선형 평가 성능을 높이지만 지도 학습 성능은 높이지 않으며, 비선형 투영은 선형 투영이나 투영을 사용하지 않는 경우보다 성능이 좋다. 정규화와 온도 스케일링은 구분하기 어려운 음성 예제에 가중치를 부여한다. 이를 생략하면 대조 과제의 정확도는 높아져도 학습된 표현의 품질은 떨어진다.출처: §2.2.6.1 · p. 51, §2.2.6.2 · pp. 52–54

2.2.6.3 Bootstrap Your Own Latent; 2.2.6.4 대조 학습 프레임워크 비교

• BYOL의 ResNet-50은 top-1 정확도 74.3, top-5 정확도 91.6으로 SimCLR의 ResNet-50이 기록한 top-1 정확도 69.3, top-5 정확도 89를 웃돈다.BYOL은 온라인 네트워크에만 있는 예측기와 지수이동평균으로 갱신하는 타깃 네트워크를 사용해 음성 예제 없이 증강된 뷰를 일치시킨다. 인코더의 너비를 늘리면 두 프레임워크 모두 개선된다. 무작위 자르기만으로 증강할 때도 BYOL은 SimCLR보다 성능 저하가 작다.출처: §2.2.6.3 · pp. 54–55, §2.2.6.4 · p. 56

2.2.7 컴퓨터 비전의 Transformer

• Vision Transformers는 선형 임베딩된 이미지 패치를 토큰으로 취급하고, 표준 Transformer를 최소한으로 수정해 지도 이미지 분류에 적용한다.앞선 합성곱–어텐션 혼합 모델과 합성곱 대체 모델은 특수한 어텐션 패턴을 현대적 가속기에서 효과적으로 확장하는 데 어려움을 겪었다.출처: §2.2.7 · p. 57

2.2.7.1 Vision Transformers

• Vision Transformers는 학습 가능한 클래스 임베딩과 위치 임베딩을 표준 셀프 어텐션 인코더와 함께 사용하며, 대규모 데이터셋 사전학습을 더 작은 다운스트림 과제로 전이한다.이미지는 대개 16 × 16 크기의 패치를 펼친 형태로 변환된다. 미세조정 시 분류 헤드를 교체하며, 해상도를 높이면 도움이 될 수 있다. CNN에 비해 이미지 특유의 귀납적 편향이 적으며, 주로 패치 추출과 해상도 조정을 통해 도입된다.출처: §2.2.7.1 · pp. 57–59
• 14×14 패치를 사용하는 ViT Hughe의 ImageNet 정확도는 88.5%로, ResNet BiT의 87.54%와 Noisy Student의 88.4%를 넘어섰다.16×16 패치를 사용하는 ViT Large는 정확도 87.76%를 달성했다. 비교 대상인 ResNet(BiT)은 배치 정규화를 그룹 정규화로 대체하고 표준화된 합성곱을 사용했다.출처: §2.2.7.1 · p. 59
• ViT는 규모가 큰 모든 데이터셋에서 CNN 기반 아키텍처보다 성능이 높았지만, 작은 데이터셋에서는 CNN보다 성능이 약간 낮았다.모델의 확장성을 살펴보는 데 ImageNet을 사용했다.출처: §2.2.7.1 · p. 59

2.2.8 결론

• 결론에서는 검토한 네트워크의 정확도가 매우 높아 능가하기 어렵다고 설명하며, 실제 응용이 컴퓨터 비전 네트워크와 프레임워크의 개발 방향을 이끈다고 본다.이러한 응용은 사람의 일상 과업을 돕는다.출처: §2.2.8 · p. 59

• 수작업 라벨링의 높은 비용으로 인해 지도학습이 향후 발전의 병목이 된다.더 나은 아키텍처와 추가 데이터로 모델을 개선할 수 있지만, 새로운 데이터에는 신중한 수작업 라벨링이 필요하며 그 비용은 데이터 규모에 따라 증가한다.출처: §2.3 · p. 60
• 지도학습 모델은 학습한 과제에서는 좋은 성능을 내더라도 다른 과제에서는 성능이 낮을 수 있으며, 세상의 모든 것에 라벨을 붙이는 것은 현실적으로 불가능하다.출처: §2.3 · p. 60
• Meta AI 는 자기지도학습을 AI의 배경지식과 상식 습득을 위한 유망한 접근법으로 제시한다.자기지도학습은 외부 감독자 없이 지도학습 알고리즘을 사용한다. 더 넓은 목표는 방대한 라벨 데이터셋 없이도 여러 과제에서 좋은 성능을 내는 범용 모델이다.출처: §2.3 · p. 60

2.3.1 데이터셋

• 사전학습에는 NLP의 경우 텍스트, CV의 경우 이미지, 비전–언어 모델의 경우 이미지–텍스트 쌍을 사용하며, 이 쌍의 설명은 분류 레이블보다 풍부한 정보를 담을 수 있다.인터넷 크롤링으로 수집한 데이터에는 정보가 없는 이미지 대체 텍스트 등 잡음이 포함될 수 있다. 텍스트 말뭉치는 CV 및 비전–언어 자원보다 규모가 크며, 비공개 데이터셋은 재현성을 저해한다.출처: §2.3.1 · p. 61

2.3.1.1 자연어 처리 데이터셋

• Rosset (2020)은 대규모 웹 수집 데이터와 목적에 맞는 고품질 데이터셋의 결합을 권장하며, Pile 은 이러한 접근법을 구현한다.Pile은 22개 하위 데이터셋을 결합한 총 약 825 GB의 자원이며, mC4 는 100개가 넘는 언어의 다국어 자원을 제공한다. Common Crawl에는 신중한 추출과 필터링이 필요하며, Bandy and Vincent (2021)는 BooksCorpus의 저작권, 중복, 대표성 편중, 문제성 콘텐츠를 지적한다.출처: §2.3.1.1 · pp. 62–64

2.3.1.2 컴퓨터 비전 데이터셋

• ImageNet 은 CV 사전학습에서 지배적인 위치를 차지한다. 더 큰 규모의 독점 데이터셋인 JFT와 EFT에는 레이블 품질, 투명성, 연산상의 한계가 있다.JFT-300M은 300백만 장의 이미지를 포함하며, 레이블의 약 20%에 잡음이 있고, 클래스 분포는 긴 꼬리 형태로 심하게 편향되어 있다. EFT는 클래스가 100k개에 달해 대규모 모델이 필요하고 학습이 느리다. 두 비공개 데이터셋 모두 데이터 명세서를 공개하지 않았다.출처: §2.3.1.2 · pp. 64–65
• Objects365 는 수작업으로 레이블을 부여한 경계 상자가 10백만 개를 넘어 객체 위치 추정에 유용하며, COCO는 시각 및 멀티모달 과제를 지원한다.Objects365는 365개 범주와 600K장이 넘는 학습 이미지를 포함한다. COCO는 대상을 정형적으로 배치하지 않은 장면을 대상으로 하며(Lin et al., 2014b), 인스턴스 분할과 이미지당 다섯 개의 캡션을 추가로 제공한다.출처: §2.3.1.2 · pp. 65–66

2.3.1.3 멀티모달 데이터셋

• LAION-5B는 CLIP으로 필터링한 5.85십억 개의 이미지–텍스트 쌍으로 구성되며, LAION-400M 이 구축한 공개 자원을 확장한다.LAION-400M은 400백만 개의 쌍을 포함하며, CLIP 임베딩을 사용해 이미지–텍스트 유사도가 0.3 미만인 표본을 제거한다. 구축 절차도 공개되어 있다. 명확하고 허용 범위가 넓은 라이선스를 갖춘 공개 데이터셋은 학계와 산업계에 유용하지만, 접근성의 격차는 여전히 남아 있다.출처: §2.3.1.3 · pp. 67, 69
• WuDaoMM 은 650백만 개의 이미지–텍스트 쌍으로 구성되며, Localized Narratives 는 이미지, 텍스트, 음성과 그라운딩을 동기화한다.WuDaoMM은 19개 범주에 걸쳐 품질이 높고 상관성이 강한 약 5백만 개의 예시를 담은 중국어 기본 데이터셋을 공개한다. Localized Narratives는 음성 설명과 마우스 움직임을 동시에 수집해 단어를 이미지 영역에 정렬하며, 수작업 전사로 불완전한 음성 인식을 보완한다.출처: §2.3.1.3 · pp. 67–68
• WIT (Srinivasan et al., 2021)는 108개 언어에 걸친 37.6백만 개 이상의 이미지–텍스트 묶음을 제공해, 멀티모달 데이터셋의 영어 중심적 언어 포괄성을 보완한다.여기에는 서로 다른 이미지 11.5백만 장이 포함되며, 언어당 예시는 12K개를 넘고 53개 언어에서는 이미지–텍스트 쌍이 100K개를 넘는다. 무작위로 추출한 이미지–텍스트 연결의 98.5%가 사람의 주석 평가에서 긍정적인 평가를 받았다.출처: §2.3.1.3 · pp. 68–69

2.3.1.4 데이터셋의 편향

• 인터넷에서 수집한 데이터셋에는 젊은 사용자와 선진국이 과도하게 반영되며, GPT-2의 예시는 생성 텍스트에 성별 편향이 드러나는 양상을 보여준다.Sheng et al. (2019)은 남성을 자동차 판매와, 여성을 성매매와 연관 짓는 후속 생성 문장을 제시한다.출처: §2.3.1.4 · pp. 69–70
• 데이터셋의 편향은 모델의 판단에 다시 나타날 수 있으며, 철회된 데이터셋과 문제가 있는 멀티모달 학습 데이터도 여전히 우려 사항이다.TinyImages와 MS-Celeb는 철회 후에도 파일 공유를 통해 유통된다. LAION-400M의 CLIP 기반 선별은 CLIP의 편향을 전파할 수 있다(Radford et al., 2021a). Birhane et al. (2021)이 확인한 문제성 콘텐츠와 LAION-5B도 같은 파이프라인을 사용한다는 점은 내부·외부 감사의 필요성을 뒷받침한다.출처: §2.3.1.4 · pp. 70–71

2.3.2 사전학습 과제

• 대조학습에는 hard negative가 필요하지만, BYOL 은 이동평균 타깃 인코더를 사용해 음성 쌍 없이 학습한다.에너지 기반 모델은 입력 간 부적합성에 점수를 부여하며, 대조학습은 부적합한 쌍을 분리해 붕괴를 막는다. CLIP (Radford et al., 2021a)과 ALIGN 은 이미지–텍스트 쌍을 활용하며, CLIP에서는 음성 샘플을 쉽게 확보할 수 있다. BYOL은 자신의 출력 중 갱신이 지연된 버전을 예측하지만, 여전히 사람이 설계한 데이터 증강에 의존한다.출처: §2.3.2 · pp. 72–73
• MAE 는 이미지 패치의 75%를 마스킹하는 반면, BERT는 데이터의 15%를 마스킹한다.인코더는 보이는 패치를 처리하고 디코더는 마스킹된 픽셀을 복원하며, 복원 결과가 흐릿해도 풍부한 표현을 학습한다. 이후 지도 미세조정으로 사전학습 가중치를 갱신해 다운스트림 과제에 맞추지만, 과제마다 대규모 레이블 데이터셋이 필요하다.출처: §2.3.2 · p. 73

2.3.3 벤치마크

• CLIP의 분석에서 중복률의 중앙값은 2.2%, 평균은 3.2%였으며, 전체 정확도가 0.1% 넘게 변하는 경우는 드물었다(Radford et al., 2021a).학습에서 제외한 벤치마크도 학습 데이터와 같은 편향을 지닐 수 있고, 실제 환경의 성능을 과대평가할 수 있다. 사전학습 데이터셋의 차이도 모델 비교를 어렵게 한다. 제로샷 벤치마크는 학습 중 보지 못한 클래스로의 일반화를 평가한다.출처: §2.3.3 · pp. 73–74

2.3.3.1 자연어 처리 벤치마크

• GLUE의 9개 과제 데이터셋은 단일 문장, 유사도·의역, 추론 과제를 다룬다. 모델이 인간 기준 성능을 넘어서면서 더 어려운 8개 과제의 SuperGLUE가 등장했다.SuperGLUE는 다양한 과제 형식, 포괄적인 인간 기준선, 단일 수치 지표, 분석 도구를 추가한다. 두 평가 모음 모두 평가를 대체로 분류로 한정하므로, 일반적인 언어 이해를 얼마나 포괄하는지 의문이 제기된다.출처: §2.3.3.1 · pp. 74–76
• SQuAD 2.0 은 적대적으로 작성된 답변 불가능 질문 50,000개 이상을 포함한다는 점에서 정답이 반드시 존재하는 SQuAD와 구별된다.SQuAD 는 Wikipedia 문서 536개의 질문–답변 쌍 107,785개로 구성되며, 주어진 답을 고르는 대신 정답에 해당하는 텍스트 구간을 선택해야 한다. 비영어 버전과 XQuAD, MLQA, TyDi 등의 다국어 자원은 질의응답 평가를 여러 언어로 확장한다.출처: §2.3.3.1 · p. 77
• BIG-bench 의 200개가 넘는 과제는 좁은 목적의 벤치마크를 넘어서는 능력을 탐색하며, GPT-3와 PaLM은 인간 전문가에 비해 성능이 낮다.계속 갱신되는 이 벤치마크는 검토를 거친 커뮤니티 제출물을 수용하며, 주제와 언어의 범위를 넓히는 소규모 과제도 포함한다. 주로 과제별 미세조정 없이 제로샷·퓨샷 조건에서 사전학습 모델을 평가하며, 기존 벤치마크의 좁은 범위와 짧은 수명을 보완한다.출처: §2.3.3.1 · pp. 77–78
• 신뢰할 수 있는 NLP 평가는 신뢰성이 낮은 시스템에 보상을 주는 대신 강건성, 주석 품질, 통계적 검정력, 유해한 편향을 검증해야 한다(Bowman and Dahl, 2021).기계 번역은 WMT 공동 평가 과제를 통해 평가하며, 제출 시스템의 순위는 사람의 평가로 정하고 BLEU로 사람이 작성한 참조 번역과의 유사도를 측정한다. 과제에는 두 언어 간 번역과 제삼의 언어를 활용해 다른 두 언어 간 번역을 개선하는 작업이 포함된다.출처: §2.3.3.1 · pp. 78–79
• CheckList는 최소 기능, 불변성, 방향성 기대 검사를 통해 학습에서 제외한 데이터의 정확도를 넘어 NLP 시스템의 동작을 평가한다.Ribeiro et al. (2020)이 제안한 이 오픈소스 방법론은 특정 모델이나 과제에 종속되지 않으며, 언어 능력과 검사 유형을 조합해 다양한 사례를 생성한다. 최소 기능 검사는 단순한 동작을 확인하고, 불변성 검사는 레이블을 유지하는 변형에도 예측이 바뀌지 않을 것을 요구하며, 방향성 검사는 예측이 지정한 방향으로 바뀔 것을 요구한다.출처: §2.3.3.1 · p. 79

2.3.3.2 컴퓨터 비전 벤치마크

• ImageNet-V2는 일반화 실패를 드러냈으며, ReaL 레이블은 여러 객체가 담긴 이미지의 타당한 설명에도 불이익을 줄 수 있는 단일 레이블 평가를 보완한다.Recht et al. (2019)은 검사한 모든 모델에서 정확도 하락을 확인하고, 그 원인을 벤치마크에 대한 적응이 아니라 조금 더 어려운 이미지에서 찾았다. Beyer et al. (2020)이 도입한 ReaL 정확도는 top-1 예측이 해당 이미지의 재평가된 레이블 집합에 속하면 정답으로 인정한다.출처: §2.3.3.2 · pp. 79–80
• COCO와 Object365는 객체 탐지 벤치마크이며, COCO와 ADE20K는 과제별 중첩 지표로 평가하는 분할 과제를 지원한다.탐지에는 IoU = .50:.05:.95에서의 mean Average Precision을 사용한다. 인스턴스 분할은 개별 객체를 구분하고, 의미 분할은 픽셀에 클래스 레이블을 부여하며, 파놉틱 분할은 둘을 결합한다. ADE20K 는 클래스 간 평균 IoU를 사용하며, 분할 IoU는 TP/(TP + FN + FP)로 계산한다.출처: §2.3.3.2 · pp. 80–82

2.3.3.3 멀티모달 벤치마크

• 집필 당시 보고된 VCR 최고 점수는 Q →A에서 85.5, QA →R에서 87.5, Q →AR에서 74.9였다.VCR은 답변 선택과 근거 선택을 평가하며, Q →AR에서는 둘 다 맞아야 한다. 공개 당시 인간의 정확도는 90%를 넘었지만 최첨단 비전 모델은 45%에 그쳤다. VQA v2.0은 언어 사전정보에 기대는 지름길을 줄이기 위해 같은 질문에 서로 다른 답이 필요한 상보적 이미지를 연결한다(Goyal et al. (2017)).출처: §2.3.3.3 · pp. 83–84

2.3.3.4 GQA

• GQA는 VQA 2.0보다 객관적이고 명확하며 구성적인 질문, 이미지로 답할 수 있는 질문을 제공하고, 이미지별로 더 폭넓은 내용을 다룬다.Hudson and Manning (2019)이 도입한 GQA는 이미지 113K장과 질문 22M개로 구성되며, 인식, 관계, 공간 추론, 논리적 추론, 비교를 다룬다. 추가 지표는 응답 간 Consistency, 질문 범위 내 Validity, 답변의 Plausibility를 평가한다.출처: §2.3.3.4 · p. 84
• 생성 벤치마크는 이미지 품질과 프롬프트 부합도를 평가하지만, 선별된 출력은 한 번의 생성으로 얻는 성능을 대표하지 못할 수 있다.FID가 낮을수록 생성 이미지와 실제 이미지의 분포가 가깝다. 캡션 기반 부합도 평가에는 BLEU, CIDEr, METEOR, SPICE를 사용하며, 품질과 프롬프트 부합도에 대한 인간 평가도 병행한다. PartiPrompts는 여러 범주와 난이도에 걸친 영어 프롬프트 1600개 이상을 제공하며, DrawBench와 Localized Narratives의 긴 프롬프트도 추가 평가에 활용된다.출처: §2.3.3.4 · pp. 85–86
• 개별 능력 수준의 이해는 아직 충분히 탐구되지 않았다. FOIL-COCO와 VALSE는 이미지–언어 불일치와 언어적 그라운딩을 진단한다.Shekhar et al. (2017)이 도입한 FOIL-COCO는 캡션에 오류 하나를 삽입하고 캡션 분류, 오류 단어 탐지, 수정을 검사한다. VALSE 는 언어 모델로 생성한 뒤 추론 기반 필터링과 인간 검증을 거친 오답 대조문을 사용해 존재, 복수성, 개수 세기, 공간 관계, 행동, 상호참조를 과제 독립적인 제로샷 방식으로 검사한다.출처: §2.3.3.4 · pp. 86–87

2.3.3.5 기타 벤치마크

• Strubell et al. (2019b)은 신경망 구조 탐색을 적용한 대규모 Transformer 학습의 CO2 배출량을 284t으로 추정했다.하이퍼파라미터 튜닝 없이 GPU로 BERT base를 학습하는 데 드는 에너지는 미국 횡단 항공편에 맞먹는 것으로 추정되었다. 온라인 에너지 산정 도구와 SustainNLP 등의 활동은 환경 비용을 추적하고 연산 효율이 높은 하드웨어와 알고리즘을 우선하도록 장려한다.출처: §2.3.3.5 · p. 87

Image2Text

• Meshed-Memory Transformer는 MS COCO의 이미지 캡셔닝에서 이미지 인코딩과 언어 생성을 개선한다 (Cornia et al., 2020).MS COCO (Lin et al., 2014c)는 비정형 구도의 객체 탐지, 분할, 캡셔닝을 통해 장면 이해를 다루며, 전적으로 어텐션에 기반한 캡셔닝 모델 간 비교를 지원한다.출처: §3 · p. 89

Text2Image

• Text2Image는 Transformer 계열 인코더의 문맥적 텍스트 임베딩으로 이미지 생성을 유도한다.최근 텍스트 기반 이미지 생성 발전의 토대가 된 생성적 적대 신경망, 변분 오토인코더, 벡터 양자화 변분 오토인코더, 확산 모델, 자기회귀 모델을 시간순으로 살펴본다.출처: §3 · pp. 89–90

언어 모델을 지원하는 이미지

• 시각적 그라운딩은 단어·토큰 및 문장 수준에서 언어 모델을 지원하며, 텍스트만 사용하는 모델보다 성능을 높이는 경우가 많지만 추상적 단어와 문장을 다루는 데는 여전히 어려움이 있다.Silberer and Lapata (2014)는 두 공간 간 일대일 대응을 가정하고, 별도로 인코딩한 텍스트 표현과 시각 표현을 바이모달 오토인코더로 결합한다. 반면 Bordes et al. (2020)은 텍스트 목적함수와 그라운딩 목적함수 간에 매개변수를 공유하고, 이러한 대응을 요구하지 않은 채 문장 임베딩을 중간 그라운딩 공간으로 투영한다.출처: §3 · p. 90, Figure 3.1 · p. 91

이미지 모델을 지원하는 텍스트

• CLIP (Radford et al., 2021a)은 대상 데이터셋을 보지 않고도 과제별 지도학습 모델에 필적하는 제로샷 시각 분류를 수행한다.CLIP은 인터넷에서 수집한 WIT의 텍스트-이미지 쌍 400백만 개를 사용해, 배치 내에서 서로 대응하는 쌍을 식별하도록 이미지 인코더와 텍스트 인코더를 공동 사전 학습한다. 이 방식은 캡션 생성보다 효율적이다. 테스트 시에는 학습된 텍스트 인코더로 대상 클래스를 임베딩해 zero-shot 분류를 수행한다.출처: §3 · p. 91

두 모달리티를 모두 다루는 모델

• data2vec는 하나의 자기지도학습 프레임워크에서 자기 증류를 통해 마스킹된 음성, 언어 또는 시각 입력으로부터 전체 입력의 잠재 표현을 예측한다 (Baevski et al. (2022)).통합 프레임워크는 모달리티별 편향을 줄이고 강건성을 높이는 것을 목표로 한다. data2vec와 달리 VilBert (Lu et al. (2019b))는 모달리티 간 과제를 지원한다. Flamingo (Alayrac et al. (2022))는 80B개의 매개변수를 갖추고 대규모 언어 모델로 퓨샷 개방형 과제를 수행하며, perceiver 아키텍처 (Jaegle et al. (2021a))와 사전학습 후 동결된 모델 간 소통을 보여준다.출처: §3 · p. 92

3.1.1 Microsoft COCO: Common Objects in Context

• MS COCO는 일상적인 객체 범주 91개, 이미지 328,000장, 인스턴스 레이블 2,500,000개를 포함하며, 전형적이지 않은 시점, 객체 간 의미 관계, 정밀한 객체 위치 추정을 다룬다 (Lin et al., 2014c).하늘, 바다, 잔디처럼 경계가 명확하지 않은 범주는 제외한다. 맥락적 관계 탐지를 지원하기 위해 여러 객체가 포함된 복잡한 이미지를 수집한다.출처: §3.1.1 · p. 93

3.1.1.1 MS COCO의 이미지 수집 및 주석 작업

• MS COCO는 Flickr 키워드 수집 및 범주 쌍 검색을 범주 레이블링, 인스턴스 식별, 인스턴스 분할과 결합한다 (Lin et al., 2014c).범주 레이블링에서는 91개 범주를 11개 상위 범주로 묶고 이미지당 작업자 8명을 배정한다. 분할 작업자는 범주별 교육을 받으며, 분할된 모든 인스턴스는 별도의 검증을 거친다.출처: §3.1.1.1 · pp. 95–96

3.1.1.2 다른 데이터셋과의 비교

• MS COCO는 이미지당 범주 3.5개와 인스턴스 7.7개를 포함하며, 이는 ImageNet과 PASCAL VOC보다 많지만 SUN보다는 적다 (Lin et al., 2014c).MS COCO는 ImageNet과 SUN보다 범주 수가 적지만, 이들 데이터셋 중 범주당 평균 인스턴스 수가 가장 많다. PASCAL VOC와 비교하면 범주 수와 범주당 인스턴스 수가 모두 많다.출처: §3.1.1.2 · pp. 96–97, Figure 3.4 · p. 97

3.1.1.3 논의

• MS COCO의 일상 사물 인스턴스 2.5백만 개에 주석을 다는 데 70,000시간이 넘는 작업자 노동이 투입되었다(Lin et al., 2014c).이 논의에서는 MS COCO를 객체 검출, 분할, 장면 이해를 위한 벤치마크로 제시한다. 하늘과 잔디 같은 “stuff” 레이블을 추가해 맥락 정보를 보강할 것을 제안한다.출처: §3.1.1.3 · pp. 97–98

3.1.2 이미지 캡셔닝 모델

• 전적으로 어텐션에 기반한 M 2 캡셔닝에 앞서 CNN–RNN 캡셔닝 파이프라인이 사용되었다,, (Cornia et al., 2020).초기 파이프라인은 CNN으로 시각 정보를 인코딩하고 RNN으로 언어를 생성한다. 이 개관에서는 RNN의 표현력과 순차 처리의 한계를 지적한다 (Cornia et al., 2020).출처: §3.1.2 · p. 98, §3.1.3 · p. 99

3.1.3 이미지 캡셔닝을 위한 Meshed-Memory Transformer

• Meshed-Memory Transformer는 사전 지식을 위한 지속적 메모리와 여러 인코더·디코더 계층 사이의 게이트 연결을 결합한다 (Cornia et al., 2020).인코더는 이미지 영역 간 저수준·고수준 관계를 모두 표현하며, 디코더는 문장 생성 과정에서 이를 결합한다.출처: §3.1.3 · pp. 99–100

3.1.3.1 M 2 Transformer 구조

• M 2는 이미지와 독립적으로 학습된 메모리로 어텐션의 키와 값을 확장하며, 디코더는 게이트 교차 어텐션을 통해 모든 인코더 계층에 접근한다 (Cornia et al., 2020).두 모듈은 모두 여러 계층으로 구성되며, 디코더는 캡션을 단어 단위로 생성한다. 마스킹된 자기 어텐션은 예측 시 이전에 생성된 단어만 참조하도록 제한한다.출처: §3.1.3.1 · pp. 100–102
• M 2의 MS COCO 평가용 데이터 분할은 Karpathy and Fei-Fei (2014)를 따라 검증 이미지 5,000장과 테스트 이미지 5,000장으로 구성하며, 나머지 이미지는 학습에 사용한다.평가에는 BLEU, METEOR, ROUGE (Lin, 2004), CIDEr, SPICE (Anderson et al., 2016)를 사용한다.출처: §3.1.3.1 · p. 103
• 메시형 연결의 CIDEr 점수 131.2는 축소형 M 2 Transformer의 129.2와 원래 Transformer의 121.8을 웃돈다 (Cornia et al., 2020).축소형 모델은 각 인코더 계층을 대응하는 디코더 계층에만 연결하지만, 메시형 연결은 시그모이드 게이팅으로 모든 인코더 계층에 접근한다. 메모리 벡터를 제거하면 축소형과 전체 M 2 Transformer 모두에서 CIDEr가 약 1점 하락한다.출처: §3.1.3.1 · pp. 103–104
• M 2 Transformer는 Karpathy 테스트 분할의 단일 모델 평가에서 비교 모델 중 BLEU-4, METEOR, CIDEr 성능이 가장 높다 (Cornia et al., 2020).BLEU-1에서는 SGAE와, SPICE에서는 ORT와도 견줄 만한 성능을 보인다.출처: Figure 3.8 · p. 104, §3.1.3.1 · p. 104
• 선별된 캡션 예시는 M 2 Transformer가 원래 Transformer보다 더 정확한 설명을 생성하고 이미지 영역 간 관계를 더 세밀하게 포착함을 보여준다 (Cornia et al., 2020).예시에는 두 모델이 생성한 캡션과 정답 설명이 함께 제시된다.출처: §3.1.3.1 · p. 105, Figure 3.9 · p. 105
• M 2 Transformer는 다층적인 이미지 영역 간 관계를 학습하고 메시형 디코딩으로 언어 생성 과정에서 저수준·고수준 특징을 활용한다 (Cornia et al., 2020).이미지 인코딩에서도 각 인코더 계층의 사전 지식을 활용한다.출처: §3.1.3.1 · p. 105

3.2.1 객관성을 찾아서

• Inception Score는 클래스 다양성과 확신도 높은 분류에 높은 점수를 부여하는 반면, FID는 실제 이미지와 생성 이미지의 Inception 특징 분포를 비교한다.Salimans et al. (2016)이 IS를 도입했다. Heusel et al. (2017)은 FID의 특징 분포를 가우시안으로 모델링하여 실제 데이터를 고려하지 않는 IS의 한계를 보완했다. 합의된 평가 지표는 없지만, FID는 사람의 판단과 부합하며 이미지 왜곡에 따라 악화된다.출처: Inception Score (IS) · pp. 107–108, §3.2.1 · p. 107, Fréchet Inception Distance (FID) · p. 108
• 정밀도/재현율은 사실성과 분포 포괄성을 구분하고, CLIP 점수는 캡션–이미지 간 의미적 유사성을 측정하며, 사람 평가는 사진 같은 사실성과 텍스트 부합도를 평가한다.Sajjadi et al. (2018)이 제안하고 Kynkäänniemi et al. (2019)이 개선한 분포 기반 정밀도/재현율은 IS나 FID가 드러내지 못하는 상충 관계를 보여준다. CLIP [CLIP2021]은 의미적 일치도 측정 수단을 제공한다.출처: Precision / Recall · pp. 108–109, CLIP score · p. 109, Human evaluations · p. 110

3.2.2.2 텍스트 조건 부여

• Reed et al. (2016c)은 GAN-INT-CLS의 생성기와 판별기에 텍스트 임베딩을 조건으로 주어 적대적 이미지 생성을 텍스트-이미지 합성으로 확장했다.Goodfellow et al. (2014c)의 방식에 따라 생성기는 실제 이미지와 생성 이미지를 구분하도록 학습된 판별기를 속이려 한다. Reed et al. (2016b)의 방식에 따라 GoogLeNet과 문자 수준 CNN–RNN 인코더가 정렬된 이미지/텍스트 표현을 학습한 뒤 이미지 인코더는 제거된다.출처: §3.2.2.1 · p. 110, §3.2.2 · p. 110, §3.2.2.2 · p. 111
• GAN-CLS는 이미지의 사실성과 캡션 일치 여부를 판별하도록 학습시키고, GAN-INT는 보간된 텍스트 임베딩으로 학습 데이터를 확장한다.GAN-CLS는 실제 이미지/올바른 텍스트 쌍을 참으로, 실제 이미지/틀린 텍스트 쌍과 가짜 이미지/올바른 텍스트 쌍을 모두 거짓으로 표시한다. GAN-INT는 실제 데이터 매니폴드 근처의 보간값을 합성 조건 예제로 활용해 학습을 정규화한다.출처: GAN-CLS · p. 113, GAN-INT · p. 113

결과

• GAN-INT-CLS는 조건 부여와 임베딩 보간을 결합할 때 가장 좋은 성능을 보이며, 자세와 배경을 전이하고 학습에서 보지 못한 클래스의 이미지도 생성한다.실험에는 CUB 조류와 Oxford-102 꽃 데이터셋을 사용하며, 제로샷 예시는 Reed et al. (2016c)에서 가져왔다. GAN-CLS 역시 MS-COCO의 여러 도메인에 일반화되지만, 출력이 항상 일관성 있는 것은 아니다.출처: Results · p. 113, Figure 3.18 · p. 114, Figure 3.19 · p. 115

3.2.2.3 GAN 계열의 후속 발전

• StackGAN은 생성기–판별기 쌍을 쌓아 이미지를 정제하고, AttnGAN은 세 생성 단계에 걸쳐 단어 수준 어텐션을 추가한다.Zhang et al. (2016a)은 텍스트와 Stage-I 이미지를 Stage-II의 조건으로 사용하고 새로운 잡음은 넣지 않은 채 해상도를 64x64에서 256x256으로 높인다. Xu et al. (2017)은 어텐션으로 국소적 정제를 유도하고 어떤 단어에 주목하는지 시각화한다.출처: StackGAN · p. 115, AttnGAN · p. 116
• DM-GAN은 동적 메모리로 초기 이미지의 정제를 개선하고, DF-GAN은 적층 생성기를 단일 단계 백본으로 대체한다.Zhu et al. (2019)은 메모리 쓰기 게이트로 텍스트 정보를 선택하고 응답 게이트로 메모리와 이미지 특징을 결합한다. Tao et al. (2020)은 힌지 손실과 잔차 블록에 Matching-Aware Gradient Penalty를 결합해 의미적 일관성과 정규화를 확보하고, One-Way Output으로 수렴을 돕는다.출처: AttnGAN · pp. 116–117

3.2.3 Dall-E 1

• Ramesh et al. (2021b)에 따르면, 250백만 쌍의 텍스트-이미지 데이터로 학습한 매개변수 12십억 개의 Dall-E 모델은 이전 도메인 특화 모델에 견줄 만한 제로샷 성능을 보였다.Dall-E는 공개되지 않았다. Dall-E의 소개는 변분 오토인코더에 대한 논의로 이어진다. 변분 오토인코더는 고정된 표현 대신 잠재 분포를 학습하고, 디코딩 전 샘플링을 통해 다양한 출력을 생성한다.출처: §3.2.3 · p. 117, Variational Autoencoder (VAE) · p. 117

VQ-VAE / dVAE

• VQ-VAE 는 학습된 이산 코드북 벡터를 사용하며, DALL-E의 dVAE는 대신 코드북 항목별 확률을 부여한다.VQ-VAE는 인코더 출력을 유클리드 거리상 가장 가까운 코드북 벡터로 대체한다. 학습 시에는 디코더 입력의 기울기를 인코더 출력으로 복사해 이산 양자화를 우회한다.출처: VQ-VAE / dVAE · pp. 117–119

Dall-E 시스템

• MS-COCO 캡션을 이용한 사람 평가의 90% 넘는 비율에서 사실성과 캡션 유사성 측면에서 DF-GAN보다 DALL-E를 선호했다(Ramesh et al., 2021b).dVAE는 256x256 이미지를 32x32 토큰 격자로 압축한다. 트랜스포머는 바이트 쌍 인코딩된 텍스트 토큰을 최대 256개까지 모델링한 뒤 이미지 토큰 1024개를 자기회귀적으로 모델링한다. 추론 시에는 사전학습된 dVAE로 예측 이미지 토큰을 디코딩한다.출처: Results · p. 119, Dall-E system · p. 119, Figure 3.24 · p. 120

3.2.4 GLIDE

• GLIDE는 제로샷으로 더 사진 같은 이미지를 생성하며, 사람 평가자들은 사실성과 캡션 유사성 측면에서 DALL-E보다 GLIDE의 출력을 선호했다(Nichol et al., 2021b).확산 모델은 Sohl-Dickstein et al. (2015)과 Ho et al. (2020a)의 방식에 따라 가우시안 잡음 마르코프 연쇄를 역전하는 과정을 학습해 이미지를 생성한다. Classifier-free 추론 가이던스는 텍스트 조건부 출력과 무조건부 출력의 차이를 조절하며, 대체로 별도의 CLIP 분류기를 사용하는 가이던스보다 성능이 좋다.출처: Diffusion models · p. 121, Results · pp. 122–123, GLIDE system · p. 122

3.2.5 Dall-E 2 / unCLIP

• unCLIP은 MS-COCO FID에서 기존 최고 성능을 경신하고 GLIDE보다 더 높은 다양성을 달성하면서도 사진 같은 사실성과 캡션 유사성은 비슷하게 유지한다(Ramesh et al., 2022a).캡션을 조건으로 CLIP 이미지 임베딩을 생성할 때 확산 사전 모델이 자기회귀 사전 모델보다 약간 우수하며, 이 임베딩은 캡션과 함께 이미지 디코더의 조건으로 쓰인다. 디코더는 classifier-free guidance와 확산 업샘플러를 사용해 64x64에서 256x256을 거쳐 1024x1024로 해상도를 높인다. 보고된 최상의 결과는 가이던스 강도 1.25를 사용한다.출처: Dall-E 2 system · p. 124, Figure 3.30 · p. 125, Results · p. 125

한계

• 지속적인 한계로는 구성, 이미지 내 텍스트, 복잡한 프롬프트, 개수 세기, 부정 표현 처리가 있으며, GLIDE는 순차 추론이 느리다는 문제도 있다.초기 DALL-E는 사진 같은 사실성이 부족하다. unCLIP 저자들은 CLIP 임베딩이 구성과 텍스트 생성 실패를 심화하고, 업샘플링 전 64x64 디코딩에서 복잡한 장면의 세부 정보가 손실된다고 가정한다. Parti는 특징을 뒤섞거나 세부 요소를 누락·중복하고 객체를 잘못 배치하기도 한다. GLIDE는 순차적으로 잡음을 제거하므로 단순한 병렬화가 어렵다.출처: Limitations · pp. 119, 123, 125, 129

3.2.6 Imagen & Parti

• Imagen과 Parti는 이전 연구보다 MS-COCO FID를 크게 개선했으며, September 2022 기준 이 절에서 보고된 결과 중 가장 뛰어난 성능을 보인다.Imagen은 더 풍부한 언어 표현을 얻기 위해 캡션으로 학습한 인코더 대신 동결된 T5-XXL 을 사용한다. Parti는 ViT-VQGAN (Yu et al., 2021) 기반 이미지 토큰화와 Transformer 유사 구조의 자기회귀 텍스트-이미지 시퀀스 모델을 결합한다.출처: §3.2.6 · pp. 127–128, Figure 3.35 · p. 128, Results · p. 128

3.2.7 논의

• 공개 모델 커뮤니티가 활발하고 창작물 제작에 활용되기 시작했음에도, 상업적 유인은 모델과 학습 데이터의 비공개를 부추긴다.공개 사례로는 VQGAN-CLIP (Crowson et al., 2022), Midjourney, Latent Diffusion, Stable Diffusion 이 있다. 인페인팅과 아웃페인팅을 활용해 텍스처 합성, 제품 디자인, 가상 세계, 제작 자동화 등에 응용할 수 있다.출처: Open- vs closed-source · p. 130, Open-Source Community · p. 130, Potential applications · pp. 130–131

윤리 / 결론

• 생성·편집된 이미지는 괴롭힘과 허위정보에 악용될 수 있어, 책임 있는 모델 공유가 중요한 과제가 된다.인페인팅은 실제 장면에서 객체를 추가하거나 지울 수 있어 이러한 악용 위험을 키운다. 이 절은 Mishkin et al. (2022)의 DALL-E 2 위험 논의를 소개한다.출처: Ethics / Conclusion · p. 131
• 텍스트-이미지 생성 모델은 학습 데이터의 편향과 고정관념을 물려받으므로, 상용화를 위해서는 더 폭넓은 다양성이 필요하다.모델은 학습 중 접한 데이터의 개념들을 결합한다.출처: Ethics / Conclusion · p. 131
• 생성 이미지의 저작자성은 여전히 미해결 문제이며, 프롬프트 작성자, 모델 엔지니어, 아키텍처 설계자, 학습 데이터 소유자, 모델 자체가 권리를 주장할 후보에 포함된다.본문은 AI 생성의 가능성을 온전히 실현하기 위한 전제 조건으로 저작권 문제의 해결을 제시한다.출처: Ethics / Conclusion · p. 131
• 무엇이 저작권 보호를 받을 만한 창작적 기여인지 판단하려면 폭넓은 논의가 필요하며, 저자들은 법적 해결책도 마련되기를 기대한다.출처: Ethics / Conclusion · p. 131

3.3.1 (비기호적) 맥락 속 단어

• 시각적 그라운딩은 텍스트만 사용하는 분포 기반 학습에 지각적 맥락을 보완하여 단어 임베딩의 의미 표현을 개선하는 것을 목표로 한다.이 절은 이어 붙이기, 공유 그라운딩 공간, Transformer 순으로 살펴본다. 기계 번역과 같은 구체적인 응용은 대부분 논의 범위에서 제외한다.출처: §3.3.1 · p. 133

3.3.2 단어 임베딩: 필수 기초

• Skipgram (Mikolov et al. (2013b))과 GloVe (Pennington et al. (2014))는 문맥 독립적 임베딩을 생성하는 반면, BERT (Devlin et al. (2018c))는 문맥에 따라 토큰을 표현한다.Skipgram은 주변 단어를 예측하고, GloVe는 말뭉치 전체의 동시 출현을 모델링한다. BERT는 마스킹된 토큰 예측과 다음 문장 예측을 사용하며, 모델 입력인 토큰이 반드시 완전한 단어일 필요는 없다.출처: §3.3.1 · p. 133, §3.3.2 · p. 134

3.3.3 시작: 순차적 멀티모달 임베딩

• Bruni et al. (2014)은 텍스트 및 시각 의미 행렬을 이어 붙인 뒤 특이값 분해를 사용해 공유 멀티모달 공간을 구성한다.이들의 시각 특징은 군집화된 국소 기술자의 빈도를 집계한다. 반면 Kiela and Bottou (2014)는 CNN에서 추출한 특징을 텍스트 임베딩과 이어 붙인다. Silberer and Lapata (2014)는 이중 모달 오토인코더로 단일 모달 잡음 제거 오토인코더들을 결합하고, 과제별 미세 조정을 위한 softmax 층을 추가한다.출처: §3.3.3 · pp. 135–136

3.3.4 그라운딩 공간

• Lazaridou et al. (2015)은 Skip-gram에 시각적 힌지 손실과 모달리티 간 매핑을 추가하여 학습 이미지가 없는 단어도 시각적으로 표현할 수 있게 한다.그라운딩 공간은 이미지 누락이나 추상적인 단어를 묘사하기 어렵다는 문제 등 일대일 이미지 연결의 한계를 다룬다. 학습 중 연결된 이미지가 없는 단어의 시각적 손실은 0이다.출처: §3.3.4 · pp. 136–137
• Kiela et al. (2017)은 선형 그라운딩 매핑과 양방향 LSTM을 공동 학습하여 시각적 그라운딩을 단어에서 문장 표현으로 확장한다.손실 함수를 달리 설정해 대안 캡션 제안, 이미지로부터 캡션 예측, 또는 두 작업 모두를 지원하며, 순수 언어 과제를 넘어선 재사용 가능성을 보인다.출처: §3.3.4 · p. 138

3.3.5 Transformer 시대

• Transformer는 self-attention, 병렬 입력 처리, 위치 임베딩을 결합하여 문장 전반의 의존 관계를 포착한다.위치 임베딩은 입력 위치를 인코딩하고, self-attention은 시퀀스의 앞선 정보에 접근하게 한다. 초점은 단어 유사도에서 다운스트림 과제로, 그리고 미세 조정에 필요한 레이블 데이터가 적고 과제에 종속되지 않는 전이 가능한 표현으로 이동한다.출처: §3.3.5 · pp. 139–140
• Flava (Singh et al. (2022))와 UniT (Hu and Singh (2021a))는 언어·시각·멀티모달 과제를 처리하도록 설계된 Transformer 아키텍처의 사례다.Flava는 개별 이미지·텍스트 인코더와 멀티모달 인코더를 결합하며, 마스킹 기반 단일 모달 학습, 대조 학습, 마스킹 기반 멀티모달 학습, 이미지-텍스트 매칭을 사전 학습 목표로 사용한다. 반면 UniT는 멀티모달 사전 학습 없이 개별 인코더, 도메인에 종속되지 않는 디코더, 과제별 헤드를 공동 학습하여 과제별 미세 조정에서 발생하는 지식 손실을 방지하고자 한다.출처: §3.3.5 · p. 140

3.3.5.1 Vokenization

• Wiki103, 영어 위키백과, CNN/DM에서 시각적 대상과 연결된 토큰은 약 삼분의 일로, 이미지 기반 지도 신호의 제한적인 적용 범위를 보여준다.Tan and Bansal (2020)은 토큰을 voken이라 부르는 이미지와 연결하고 음의 로그우도 손실을 사용하는 softmax 분류를 추가하는 방법을 제안한다. Grounding Ratio는 시각적 대상과 연결된 토큰의 비율을 측정하지만, 모든 토큰을 포괄하는 이미지 집합은 없다.출처: §3.3.5.1 · pp. 140–141
• Vokenization은 유한한 이미지 집합에서 각 토큰의 문맥에 맞는 이미지를 검색하여 직접 그라운딩된 어휘를 넘어 시각적 감독을 제공한다.BERT와 ResNeXt 임베딩을 공유 L2 정규화 공간에 투영하고, 캡션-이미지 쌍과 힌지 손실로 관련도 점수 산정을 학습한다. 정규화된 내적의 최대화를 통해 최근접 이웃 검색이 가능하며, Revokenization은 토크나이저 간에 voken을 전이한다.출처: §3.3.5.1 · pp. 142–144

3.3.5.2 한 걸음 더: 상상의 힘

• iACE는 순수 언어 모델이나 시각적 감독을 받는 모델에 모델 종류와 무관하게 생성 이미지 기반 감독을 제공한다 (Lu et al. (2022)).VQGAN (Esser et al. (2021))은 이미지를 생성하고, CLIP (Radford et al. (2021a))은 텍스트와의 정합성을 평가하며 모달리티 간 인코더로 쓰인다. 마스크 언어 모델링과 Voken-Classification으로 사전 학습한 뒤 GLUE와 SWAG에서 상상 기반 증강을 활용해 미세 조정한다.출처: §3.3.5.2 · pp. 144–146, Figure 3.44 · p. 145

3.3.6.1 Transformer 이전 시대의 평가

• Transformer 이전의 시각적 그라운딩은 언어만 사용하는 기준 모델보다 구체적 개념의 표현을 개선하지만, 추상적 개념에는 효과가 미미하다.내재적 평가는 임베딩의 코사인 유사도와 사람의 단어 유사도 판단 간 상관관계를 측정한다. 이러한 판단은 관찰자의 경험, 문화, 선호에 좌우되므로 다운스트림 과제 평가로의 전환을 뒷받침한다.출처: §3.3.6.1 · pp. 146–147, §3.3.6.2 · p. 147

3.3.6.2 Transformer 이후 시대의 평가

• Voken-Classification 사전 학습은 순수 언어 기준 모델을 능가할 수 있지만, 범용 Transformer 모델은 BERT나 RoBERTa를 넘어서지 못한다 (Tan and Bansal (2020)).내재적 평가에서도 범용 시각-언어 모델은 대체로 도메인 특화 모델보다 뒤처지며, Vokenization이 주요 경쟁 모델로 꼽힌다 (Pezzelle et al. (2021)).출처: §3.3.6.2 · pp. 148–149, Figure 3.48 · p. 149, Figure 3.49 · p. 150
• 보고된 GLUE 퓨샷 비교에서는 학습 데이터의 최대 5%만으로도 상상 기반 감독 모델이 Voken 기반 감독 모델을 능가한다 (Lu et al. (2022)).서로 짝지어진 이미지·텍스트와 레이블이 있는 예제를 수집하는 데 큰 비용이 들기 때문에, 제한된 학습 데이터로 성능을 평가할 필요가 있다.출처: §3.3.6.2 · pp. 150–151, Figure 3.51 · p. 151

3.3.7 논의를 마치며

• 정적 이미지 그라운딩을 넘어 동영상과 음성을 비롯한 더 폭넓은 지각 입력을 활용하는 것은 여전히 열린 연구 방향이다.과제에 종속되지 않는 사전 학습은 표현을 다운스트림 과제로 전이하여 비용이 많이 드는 레이블 작업의 필요량을 줄이므로, 퓨샷 일반화가 점점 중요해진다. 응용 분야로는 대화 응답 생성 (Sun et al. (2021))과 번역이 있으며, 번역에서는 이미지가 일반적이거나 모호한 텍스트 맥락의 해석을 돕는다 (Ive et al. (2019)).출처: §3.3.7 · pp. 151–152

3.3.8 부록: 주요 모델 요약

• 부록은 시각적 구성 요소를 추가한 주요 언어 모델의 요약 표를 소개한다.제공된 본문에는 표의 항목이 포함되어 있지 않다.출처: §3.3.8 · p. 152
• 언어 모델과 시각 특징을 각각의 사전 학습 데이터와 함께 검토한다.출처: §3.3.8 · p. 152
• 두 모달리티의 융합 전략은 별도의 비교 항목이다.출처: §3.3.8 · p. 152
• 평가 범위에는 벤치마크와 기준 모델이 포함된다.출처: §3.3.8 · p. 152

3.4.2.1 웹 규모 데이터; 3.4.2.3 파운데이션 모델과 제로샷

• 웹 규모의 이미지–텍스트 감독 신호는 수작업 레이블링을 피하지만, 데이터 정제가 필요하고 사회적 편향을 재생산하며, 주로 낮은 데이터 효율성을 보완한다.파운데이션 모델은 다양한 후속 과제에 적응한다. 제로샷 평가에는 대상 데이터셋에 대한 미세 조정이 필요하지 않아, 적응 과정에서 발생하는 과적합을 피할 수 있다. 분류에서는 이미지 임베딩과 가장 유사한 클래스 텍스트를 선택하고, 검색에서는 텍스트 프롬프트와 가장 유사한 이미지를 선택한다.출처: §3.4.2.1 · p. 154, §3.4.2.3 · pp. 157–158

3.4.2.2 대조 목적함수

• bag-of-words 예측을 CLIP의 대조 목적함수로 대체하면 데이터 효율성이 네 배 높아진다(Radford et al., 2021a).이미지 인코더와 텍스트 인코더를 공동 학습해 일치하는 쌍의 유사도는 최대화하고 불일치하는 쌍의 유사도는 최소화한다. 정확한 캡션 예측은 데이터 효율성 측면에서 bag-of-words 예측보다 학습이 세 배 느리다. 대조 모델은 텍스트나 이미지를 자유롭게 생성하기보다 주어진 선택지 중에서 고르므로, 생성에는 추가 신경망 구성요소가 필요하다.출처: §3.4.2.2 · pp. 154–156, Figure 3.54 · p. 157

3.4.3.1 CLIP

• 제로샷 CLIP은 원본 ImageNet 정확도가 동일한 ImageNet 학습 ResNet101보다 분포 변화에서도 더 높은 정확도를 유지한다(Radford et al., 2021a).가장 성능이 좋은 이미지 인코더는 ViT-L/14이며, 이후 더 높은 해상도로 추가 학습했다. 맥락을 반영한 클래스 레이블과 프롬프트 앙상블은 제로샷 분류 성능을 높인다. 그러나 Shen et al. (2021)은 시각–언어 과제에서 ViT-B가 ResNet 백본보다 성능이 낮다고 보고했으며, 풀링이 위치 파악을 저해하기 때문일 수 있다. 또한 CLIP의 학습 데이터가 비공개여서 강건성을 독립적으로 검증할 수 없다.출처: Architecture · pp. 159–160, Figure 3.56 · p. 160, Robustness · p. 160

3.4.3.2 ALIGN; 이미지와 텍스트 표현 연결

• 1.8십억 개의 이미지–텍스트 쌍을 바탕으로 ALIGN은 잡음 증가를 감수하면서 광범위한 큐레이션보다 최소한의 필터링을 거친 대규모 데이터에 우선순위를 둔다.ALIGN은 BERT-Large와 EfficientNet-L2 인코더를 결합해 처음부터 공동 학습하며, 훨씬 적은 큐레이션으로 CLIP의 성능을 재현한다. 정렬된 표현 공간에서는 이미지와 텍스트 임베딩을 산술적으로 결합해 이미지를 검색할 수도 있다.출처: §3.4.3.2 · p. 161, Architecture · p. 161, Connecting image and text… · p. 162

3.4.3.3 Florence

• Florence 는 사전학습된 핵심 모델에 세밀한 객체 탐지, 행동 인식, 멀티모달 과제용 모듈을 추가해 확장한다.CoSwin 이미지 인코더와 CLIP 방식의 텍스트 Transformer는 총 893백만 개의 매개변수로 구성되며, 900백만 개의 이미지–텍스트 쌍으로 처음부터 공동 학습된다. 이미지–레이블–설명 대조 목적함수는 같은 레이블을 공유하는 모든 이미지–텍스트 쌍을 양성으로 취급한다.출처: §3.4.3.3 · p. 162, Architecture · pp. 162–163

3.4.4 성능 비교

• 원본 ImageNet의 제로샷 정확도에서 Florence는 CLIP과 ALIGN보다 각각 7.3pp 앞선다.Florence는 나머지 세 가지 ImageNet 변형에 대한 결과를 보고하지 않으며, 이들에서는 CLIP과 ALIGN 중 어느 쪽이 우세한지 명확하지 않다. Flickr30K와 MSCOCO의 제로샷 검색 성능 비교에서는 Florence가 일위, ALIGN이 이위, CLIP이 삼위다.출처: Figure 3.61 · p. 164, §3.4.4 · p. 164, Figure 3.62 · p. 164
• Florence 는 보고된 거의 모든 제로샷 및 미세 조정 평가에서 CLIP을 능가하며 전반적으로 앞선다.ALIGN은 열두 데이터셋 중 네 데이터셋의 결과를 보고했으며, 그 비교의 절반에서 우세하다. 학습 데이터셋은 모두 비공개였으므로, 평가 데이터가 학습 중 전혀 보지 못한 데이터라고 보장할 수 없다.출처: §3.4.4 · p. 164, Figure 3.63 · p. 165

3.4.5 자원

• CLIP에는 이용 가능한 사전학습 모델과 검색 도구가 있지만, 이 검토에 따르면 ALIGN이나 Florence와 함께 공개된 오픈소스 자원은 없다.rclip은 개인 이미지 검색을 지원하며, DALL·E 2는 이미지 임베딩에 CLIP을 사용한다(Ramesh et al., 2022b). LAION-400M은 수집한 이미지–텍스트 쌍을 CLIP 코사인 유사도로 필터링해 CLIP의 학습 데이터셋을 재현하고자 한다.출처: §3.4.5 · p. 165

3.5 두 모달리티를 위한 모델

• 멀티모달 모델링은 맥락 이해와 통합 프레임워크를 지향하지만, 높은 라벨링 비용, 제한된 데이터와 학습 시간, 모달리티별 입력 변환이라는 과제에 직면한다.자기지도학습과 웹에서 자동 수집한 데이터셋은 데이터 확보의 제약을 완화하지만, 수십억 개의 매개변수를 가진 모델은 웹 규모의 자원에도 부담을 줄 수 있다.출처: §3.5 · pp. 165–166

3.5.1 Data2vec

• 800 에포크 동안 학습한 data2vec은 각각 1600 에포크 동안 학습한 MAE 와 MaskFeat 를 능가한다.ImageNet-1K top1-accuracy도 MoCov3 (Chen et al., 2021)와 DINO (Caron et al., 2021)를 넘어선다. 이 절에서는 유사한 자기지도학습 모델 중 최고 수준의 시각 성능을 보고한다.출처: Figure 3.67 · p. 170, §3.5.1 · pp. 170–171
• Data2vec은 재학습한 RoBERTa보다 평균 GLUE 성능이 높지만, 향상 폭은 과제별로 다르며 주로 CoLA가 이를 견인하는 것으로 보인다.교사의 여러 층을 평균하면 세 영역 모두에서 성능이 향상되며, 시각은 세 층을 넘어도 추가 이득이 없고 음성은 여섯 층 부근에서 최고 성능에 도달한다. 예측 목표로는 피드포워드 층의 출력이 가장 효과적이다.출처: Figure 3.68 · p. 171, §3.5.1 · pp. 171–172
• Data2vec은 맥락화된 교사–학생 학습 목표를 통해 텍스트·음성·이미지의 자기지도학습을 통합하지만, 모달리티 간 상호작용은 학습하지 않는다.지수이동평균 교사는 전체 입력을 보고, 마스킹된 입력을 받는 학생은 smooth L1 손실을 사용해 교사의 상위 K개 층을 평균하고 정규화한 값을 회귀 예측한다. 인코딩과 마스킹은 여전히 모달리티별로 다르며, 이미지에서는 패치의 60%를 마스킹한다.출처: §3.5.1 · pp. 167, 168, 169, 172

3.5.2 Vision-and-Language Bert (VilBert)

• VilBert 는 분리된 시각·언어 트랜스포머 스트림을 공동 어텐션으로 연결하고, 키와 값을 교환해 각 모달리티가 다른 모달리티를 조건으로 처리되게 한다.Faster R-CNN 은 공간 정보가 인코딩된 이미지 영역 특징을 제공하며, 분리된 스트림은 시각·텍스트 토큰을 공유하도록 강제하지 않고 모달리티별 처리를 가능하게 한다. 사전학습은 Conceptual Captions에서 마스킹 기반 멀티모달 모델링과 이미지–캡션 정합성 예측을 결합한다.출처: §3.5.2 · pp. 173, 174, 176
• 단어 순서를 섞으면 VQA 성능이 약 15% 낮아지지만, VilBert의 어텐션 맵은 거의 변하지 않는다.어텐션은 주로 명사에 집중되고, 전치사는 때때로 공간 관계 파악에 도움이 되며, 객체 영역 후보가 세밀한 어텐션 맵의 병목이 될 수 있다. 제시된 예시에서는 영역 후보가 72개 또는 108개일 때 인간의 주의와 크게 다른 어텐션에도 정답을 낸다.출처: §3.5.2 · pp. 174–175, Figure 3.71 · p. 175
• VilBert의 이중 스트림 구조는 단일 스트림보다 성능이 높으며, 사전학습, 미세조정, 더 큰 데이터셋을 통해 추가로 향상된다 (Lu et al., 2019b).최적 깊이는 과제에 따라 다르다. VQA와 이미지 검색은 여섯 층에서 최고 성능을 보이고, 제로샷 이미지 검색은 더 깊은 네트워크에서 이득을 얻으며, VCR과 RefCOCO+는 더 얕은 모델에서 유리하다.출처: Figure 3.72 · p. 176, §3.5.2 · p. 176

3.5.3 Flamingo

• Flamingo는 시각 정보와 텍스트가 교차 배치된 프롬프트를 받아 대화, 이미지 설명, 비디오 과제를 수행하며, 몇 개의 예시만으로 적응한다.텍스트는 바로 앞의 이미지에만 직접 어텐션을 적용하므로, 학습 때보다 많은 이미지도 개수에 제한 없이 처리할 수 있다. 개발에는 일곱 벤치마크를, 편향 없는 성능 추정에는 열한 벤치마크를 사용하며, Perez et al. (2021b)이 지적한 평가에서 집계되지 않는 튜닝용 프롬프트 문제를 방지하도록 평가한다.출처: §3.5.3 · pp. 177, 179, 182
• Flamingo는 학습 가능한 perceiver-resampler와 게이트 교차 어텐션 층으로 고정된 사전학습 시각·언어 모델을 연결한다.리샘플러는 고정된 수의 시각 토큰을 생성하며, 0으로 초기화된 tanh 게이트는 초기화 시 언어 모델의 안정성을 유지한다. 하드웨어 여건을 고려해 언어 모델의 일곱 층마다 교차 어텐션을 삽입했다.출처: §3.5.3 · pp. 178, 181, 182
• 68.4였던 점수는 웹에서 수집한 멀티모달 데이터를 제외하면 46.9, 정렬된 캡션과 이미지를 제외하면 56.5, 데이터셋 간 그래디언트 누적을 제외하면 59.7로 하락했다.학습에서는 웹페이지의 이미지–텍스트 시퀀스를 ALIGN, LTIP, VTP와 결합해 이질적 데이터를 제공한다. 최적화는 데이터셋별 가중치를 적용한 음의 로그우도 기댓값을 최소화하며, 가중치 조정과 갱신 전 그래디언트 누적이 중요했다.출처: §3.5.3 · pp. 179–180
• Perceiver는 Transformer나 MLP 대안보다 점수가 약 세 점에서 다섯 점 높았으며, 중간 크기의 Perceiver는 약 두 점에서 세 점의 향상을 보였다.학습된 잠재 쿼리는 평탄화된 시각 특징을 압축해 이후 교차 어텐션의 복잡도를 줄이며, 특히 동영상에서 효과적이다. 잠재 쿼리의 키와 값을 시각 특징의 키와 값에 이어 붙인다. 지나치게 큰 Perceiver는 동결된 대규모 언어 모델과 함께 사용할 때 학습을 불안정하게 만들 수 있다.출처: §3.5.3 · pp. 180–181
• Flamingo는 여섯 과제에서 기존 최고 성능을 넘어섰으며, 미세조정 없이도 모든 이전 퓨샷 모델을 능가했다.모델이 커지고 예시 수가 늘수록 성능이 향상되었다. 추가 미세조정은 결과를 더욱 크게 개선했지만, 높은 학습 비용과 하이퍼파라미터 튜닝이 필요했다.출처: §3.5.3 · pp. 182–183, Figure 3.78 · p. 183, Figure 3.79 · p. 184
• 분류에서는 대조학습 모델이 Flamingo를 능가하지만, Flamingo의 퓨샷 학습과 개방형 생성은 더 폭넓은 응용 가능성을 제공한다.저자들은 텍스트–이미지 검색 학습이 분류에 특히 중요하다는 가설을 제시한다.출처: §3.5.3 · pp. 183–184

3.5.4 논의

• Flamingo는 매개변수가 80B개로 data2vec과 VilBert보다 크며, 논의에서는 더 큰 모델을 더 높은 성능과 범용성에 연결한다.자원 요구량과 제한적 공개는 접근성을 제약한다. 본문은 VilBert의 공개 코드와 대체로 접근이 어려운 data2vec·Flamingo 모델을 대비한다. Pathway 모델 의 희소 활성화는 에너지 소비를 유사한 밀집 모델의 예상 소비량 대비 10% 미만으로 줄인다.출처: §3.5.4 · pp. 184–185
• 고정된 사전학습 모델을 재사용하고 모델 간 소통을 가능하게 하면 기존 능력을 보존하면서 효율적으로 적응할 수 있지만, 절대적인 성능은 미세조정이 더 높을 수 있다.논의에서는 모델 붕괴를 경고하고, 이질적 데이터, 데이터셋별 가중치를 적용한 최적화, 편향 없는 퓨샷 평가를 강조한다. Socratic 모델 은 멀티모달 대화와 로봇 지각을 통해 모델 지식의 상호보완성을 보여준다.출처: §3.5.4 · p. 185

4.1 추가 모달리티의 통합

• 과제 중심 분류 체계는 가능한 모든 모달리티 조합을 나열하지 않고도 텍스트와 이미지를 넘어선 멀티모달 학습을 체계화한다.비디오는 시간 정보를 도입하고, 오디오, 음성, 기타 센서 신호는 고려할 입력의 범위를 넓힌다. 이 분류 체계는 공통 학습 과제를 통해 낯선 모달리티를 쉽게 이해하도록 돕는다.출처: §4.1 · pp. 188–189

4.1.1.1 멀티모달 표현 학습

• 공동 표현은 여러 모달리티를 하나의 표현 공간에 결합하고, 조정 표현은 학습 목적함수를 통해 모달리티별로 분리된 공간을 정렬한다.두 접근법 모두 모달리티 간에 유의미한 의미적 관계가 있다고 가정한다. 조정 학습은 관련 표본을 가깝게 배치하고 서로 다른 표본은 분리한다.출처: §4.1.1.1 · pp. 191–192

4.1.1.2 멀티모달 정렬

• 멀티모달 정렬은 분리된 임베딩 공간을 비교 가능하게 만들며, 주로 대조 학습을 통해 의미가 같은 서로 다른 모달리티의 표본을 끌어당기고 다른 표본은 밀어낸다.이 접근법은 서로 대응하는 멀티모달 표본으로 구성된 데이터셋을 전제한다.출처: §4.1.1.2 · p. 192

4.1.1.3 멀티모달 융합

• 멀티모달 융합은 모델의 초기, 중간, 후기 단계 또는 이들을 혼합한 구조에서 모달리티 간 정보를 합쳐 공동 표현을 학습한다.Transformer 기반 모델(Vaswani et al., 2017f)에서 융합은 서로 다른 모달리티의 입력이 어느 지점부터 서로에게 어텐션을 적용하는지에 관한 문제다.출처: §4.1.1.3 · p. 193

4.1.1.4 멀티모달 변환

• 멀티모달 변환은 정렬된 표현 공간에서 기존의 대응 항목을 검색하거나, 학습된 표현을 디코딩해 새로운 출력을 생성한다.생성에는 유의미한 보간이 가능할 만큼 매끄러운 분포가 필요하며, 이를 위해 세심한 정규화가 요구되고 평가도 어려운 경우가 많다. 확산 모델(Ho et al., 2020b)은 사전 학습된 CLIP (Radford et al., 2021c) 백본을 사용하면서도 실사에 가까운 출력을 생성할 수 있다.출처: §4.1.1.4 · pp. 193–194

4.1.2 최근 연구 동향: 범용 자기지도 멀티모달 지각

• 범용 멀티모달 지각에는 적절한 아키텍처와 학습 패러다임이 모두 필요하며, 저자들은 모달리티에 구애받지 않는 모델과 범용 비대조 자기지도 학습의 결합을 제안한다.제안된 연구는 단일 모달리티 학습과 멀티모달 학습을 모두 다룬다. 바람직한 아키텍처 속성으로는 입력에 구애받지 않는 처리, 융합, 국소성, 합성성, 유연한 출력이 있다.출처: §4.1 · p. 189, §4.1.2 · p. 195, §4.1.2.1 · p. 195

4.1.2.1 범용 멀티모달 아키텍처

• NÜWA는 입력을 공통의 3차원 형식으로 표현하고 국소 어텐션을 적용해 시공간 구조를 보존하면서 어텐션 비용을 줄인다.인코더–디코더는 입력이 요구된 형식을 따를 때 모달리티에 구애받지 않는 처리와 유연한 출력을 지원한다. 합성성을 반영한 계층적 확장은 원 논문에서 연구되지 않았다.출처: §4.1.2.1 · pp. 195–197
• 300x 이상의 압축으로 Perceiver IO [Jaegle et al. (2021b)][@ jaegle2021perceiver]는 잠재 배열 교차 어텐션을 통해 대규모 멀티모달 입력을 처리하고 임의의 멀티모달 출력을 디코딩한다.작은 잠재 배열이 쿼리를 제공하고 입력이 키와 값을 제공한다. 멀티모달 입력을 이어 붙이면 모델이 공동 표현을 학습할 수 있다.출처: §4.1.2.1 · p. 197
• Hierarchical Perceiver는 인코더 계층을 거치며 그룹별 잠재 출력을 병합하여 Perceiver IO보다 국소성, 합성성, 계산 비용을 개선한다.각 입력 그룹은 자체 잠재 배열에 교차 어텐션을 적용한 뒤 자기 어텐션과 MLP 블록을 거친다. 병합된 출력은 다음 계층 블록의 입력이 된다.출처: §4.1.2.1 · pp. 197–198

4.1.2.2 멀티모달 학습 패러다임

• BYOL 은 증강된 입력으로부터 교사 모델의 잠재 표현을 예측한다. data2vec은 모달리티별 마스킹과 인코더를 사용해 이 접근법을 여러 모달리티로 확장한다.교사 모델은 학생 모델 가중치의 지수이동평균으로 갱신된다. 잠재 표현 예측은 데이터 공간 복원이나 어려운 음성 표본 탐색 대신 회귀를 사용하며, 문맥적 표현의 개선을 목표로 한다(Baevski et al., 2022).출처: §4.1.2.2 · pp. 199–200
• VATT (Akbari et al., 2021)은 모달리티별 의미적 세분성의 차이를 반영하는 대조 목적함수를 통해 계층적인 비디오–오디오–텍스트 임베딩 공간을 학습한다.이 프레임워크는 Multiple-Instance-Learning-NCE를 도입하고 여러 수준의 대조 손실을 결합한다. 먼저 비디오와 오디오를 정렬한 뒤, 결합된 표현과 텍스트를 정렬한다. 추가 모달리티로 확장하려면 데이터셋에 해당 모달리티들이 서로 대응하는 튜플이 필요하다.출처: §4.1.2.2 · p. 200
• MultiMAE (Bachmann et al., 2022)는 마스킹된 RGB, 깊이, 의미 지도 패치로부터 공동 표현을 학습하면서 모달리티별 복원 과제를 지원한다.멀티모달 Transformer와 전역 토큰이 모달리티 간 정보를 통합하며, 모달리티별 디코더는 교차 어텐션으로 각 입력을 복원한다. 이들의 복원 손실을 합산해 모델을 학습한다.출처: §4.1.2.2 · pp. 200–201
• 제안된 비대조 프레임워크는 Perceiver 형식의 입력과 단일 마스킹 전략을 사용해 잠재 표현 예측을 임의의 모달리티로 확장하고, 공동 표현과 조정 표현의 학습을 목표로 한다.Perceiver 백본이 대규모 배열을 처리하고, 연속 구간 마스킹은 상관된 신호를 쉽게 예측하는 것을 방지한다. 모달리티 간 학습은 각 모달리티를 학생·교사 모델에 입력하는 의미적 증강으로 취급하여 모달리티별 모델과 마스킹 방식, 대조 학습의 어려운 음성 표본을 사용하지 않는다.출처: §4.1.2.2 · pp. 202–203

4.2.2 분류 체계: 정형 데이터와 비정형 데이터

• 정형 데이터와 비정형 데이터의 구분은 차원 수와 개별 특성의 해석 가능성에 달려 있으며, 고차원 바이오마커는 그 경계가 모호함을 보여준다.전통적인 분석은 전문가 지식이나 PCA로 비정형 입력을 변환하는 경우가 많지만, 딥러닝은 특성을 직접 추출한다. 이 장은 이용 가능한 두 데이터 유형 중 하나라도 버리면 유용한 정보와 성능 개선의 기회를 잃을 수 있다는 점에서 공동 모델링의 필요성을 제시한다.출처: §4.2.1 · pp. 203–204, §4.2.2 · pp. 204–205

4.2.3 융합 전략

• Huang et al. (2020)의 분류에 따르면 초기 융합, 공동 융합, 후기 융합은 각각 입력 특성, 중간 표현, 독립적으로 학습된 예측을 결합한다.공동 융합은 역전파를 통한 종단 간 특성 학습을 가능하게 하며, 신경망 헤드는 상호작용을 포착하고 통계적 헤드는 해석 가능성을 보존한다. 후기 융합은 평균이나 투표 등의 방식으로 예측을 집계하지만, 여기서는 더 다루지 않는다.출처: §4.2.3 · pp. 205–206

4.2.4.2 전통적 생존 분석(CPH 모형)

• Cox 비례위험 모형은 공변량이 위험에 선형적으로 영향을 준다고 가정하여 해석 가능한 비례적·승법적 위험 효과를 제공하지만, 유연성을 제한한다.생존 분석은 사건이 발생할 때까지의 시간을 연구한다. 멀티모달 생존 연구는 전통적인 임상 기록 입력에 CT 영상과 유전자 발현 데이터를 추가한다.출처: §4.2.4.1 · pp. 206–207, §4.2.4.2 · p. 207

4.2.4.3 멀티모달 딥러닝 생존 분석

• Yao et al. (2017)은 소표본의 모달리티 간 불일치와 잡음에 대응하기 위해 DeepCorrSurv에서 병리 영상과 분자 표현을 정렬한 뒤 생존 예측을 미세조정한다.DeepSurv는 선형 효과를 정형 공변량의 신경망 모델링으로 대체한다(Katzman et al. (2018)). DeepConvSurv는 영상 특성을 종단 간 학습하여 수작업 설계 특성보다 우수한 성능을 보인다(Zhu et al. (2016)). Tong et al. (2018)은 ConcatAE에서 별도로 학습한 오토인코더 특성을 이어 붙여 상보적 정보를 포착한다. 반면 CrossAE는 어느 한 입력에서 두 모달리티를 모두 복원해 공통 정보를 포착한다. 적용 대상은 표 형식의 EHR 데이터가 아닌 다중 오믹스로 제한되었다.출처: §4.2.4.3 · pp. 207–208
• Cheerla and Gevaert (2019)는 유사도 손실과 멀티모달 드롭아웃을 결합해 모달리티 불변 생존 표현을 학습하고 모달리티 결측에 대응한다.이들의 종단 간 모델은 20개 암종과 네 가지 모달리티를 다루며, 학습 중 모달리티 전체를 제외하고 생존 손실로 표현 학습을 유도한다. T-SNE 임베딩은 암종 변수를 학습에 사용하지 않고도 환자를 암종별로 군집화하여 환자 특성 분석을 뒷받침한다.출처: §4.2.4.3 · p. 208, Figure 4.11 · p. 209
• MultiSurv에서는 정형 임상 데이터와 mRNA 데이터의 결합이 가장 좋은 성능을 보여 단일 모달리티 모델을 능가했다. 여섯 모달리티를 모두 사용한 경우에는 임상 데이터만 사용한 CPH를 넘어서지 못했다(Vale-Silva and Rohr (2021)).TCGA의 33개 암종에서 모달리티 추가는 성능을 소폭 낮췄으며, 암종별 변동이 컸고 학습 관측치가 약 20개에 불과한 경우도 있었다. 소표본과 모달리티 조합의 반복 검증은 강건성에 대한 우려를 낳는다.출처: §4.2.4.3 · pp. 208–209
• Pölsterl et al. (2019)과 Kopper et al. (2022)은 변수 수준의 해석 가능성을 보존하는 가법적 선형 헤드로 정형 입력과 시각 입력을 결합해 생존을 예측한다.Cheng et al. (2016)에 따라 선형 성분과 신경망 성분이 암기와 일반화를 지원한다. Pölsterl et al. (2019)은 CPH를 사용하고, Kopper et al. (2022)은 PAMM의 구간별 상수 위험함수로 선형성과 비례성 가정을 완화한다. 입력이 중복되면 선형 계수의 변화를 신경망 조정으로 상쇄해 예측을 그대로 유지할 수 있어 식별 가능성 문제가 생긴다.출처: §4.2.4.3 · pp. 210–211

4.2.4.4 다른 과학 분야의 멀티모달 딥러닝

• Rügamer et al. (2020)은 선형, 일반화 가법, 신경망 성분으로 분포 모수를 학습하고 불확실성 정량화를 포함하는 SSDDR을 제안한다.직교화 셀은 심층 표현을 중복되는 정형 효과와 분리하여 해석 가능성을 보존하면서 역전파를 가능하게 한다. Law et al. (2019)은 런던 주택의 속성과 영상에 2단계 직교화를 적용해 단일 모달리티 예측보다 나은 성능을 얻었다. 단독으로는 정형 데이터가 여전히 가장 강력하며, 완전 비선형 헤드의 성능 향상은 해석 가능한 가법 헤드에 비해 미미하다.출처: §4.2.4.4 · pp. 211–213

4.2.4.4 기타 과학 분야의 멀티모달 DL

• Sirko et al. (2021)은 CNN으로 아프리카의 약 64% 지역에 걸쳐 약 516백만 동의 건물을 지도화하여 대규모 원격탐사 활용 사례를 보여주었다.Jean et al. (2016)은 위성 영상으로 아프리카의 빈곤을 예측하고, Gebru et al. (2017)은 Street View 영상으로 미국의 사회경제적 특성을 추정하여 비용이 많이 들고 비정기적인 조사를 대체할 저비용 방안을 제시한다. You et al. (2017)은 Deep Gaussian Processes로 미국의 옥수수 수확량을 예측한다. 이러한 위성 기반 접근법은 레이블 부족 문제에 대응하며, 정형 데이터와 결합하여 경제 및 금융 분야에 활용할 수 있다.출처: §4.2.4.4 · pp. 213–214

4.2.5 결론과 전망

• 직접 비교한 경우 멀티모달 모델은 거의 항상 단일 모달리티 모델보다 우수했으며, 단일 모달리티 예측에서는 대체로 정형 데이터가 가장 좋은 성능을 보였다.종단 간 학습은 독립적으로 학습하거나 전문가가 도출한 특성을 사용하는 방식보다 나은 경우가 많았다. 해석 가능한 모델도 높은 예측 성능을 유지할 수 있었고, 비정형 데이터는 보충 정보를 제공했다.출처: §4.2.5 · p. 214
• 불완전한 단일 모달리티 성능 비교, 광범위한 모델·모달리티 선택, 작은 데이터셋, 출판 편향 가능성은 보고된 멀티모달 성능 향상에 대한 신뢰를 제한한다.겉으로 드러난 성능 향상은 특히 소규모 생의학 데이터셋에서 특정 구성에만 성립할 수 있다. 향후 발전에는 모달리티를 단순히 추가하기보다 과제와 관련된 정형·비정형 모달리티의 충분히 큰 표본이 필요할 것이다.출처: §4.2.5 · pp. 214–215

4.3.1 사전 지식

• Mixture-of-experts는 게이트를 통한 희소 활성화로 연산량을 줄이며, 진화 알고리즘은 적합도 기반 선택, 돌연변이, 재조합으로 이산 탐색 공간을 최적화한다.전문가 간 부하 균형은 라우팅 붕괴를 방지한다. 진화적 탐색은 탐색과 활용의 균형을 맞추며, 종료 조건을 충족할 때까지 적합도가 높은 개체를 반복적으로 유지한다.출처: §4.3.1.2 · p. 216, §4.3.1.3 · p. 217
• 다목적 모델은 여러 모달리티를 결합하고 다중 작업을 동시에 학습하여 전이 가능한 지식과 더 나은 일반화를 추구하지만, 작업 간 요구가 충돌하면 성능이 저하될 수 있다.다중 작업 학습(Caruana (1997), Crawshaw (2020))은 각 작업을 독립적으로 학습하는 대신 작업 간에 공유되는 패턴을 활용한다.출처: §4.3.1.1 · p. 216, §4.3.1.4 · p. 217

4.3.2.1 MultiModel

• MultiModel 은 인코더, I/O 믹서, 디코더로 모달리티별 네트워크를 연결하며, 텍스트와 분류 출력을 지원하고 저자원 작업에서 전이 효과를 보인다.Transformer 이전에 제안된 이 확장 가능한 아키텍처는 통합 표현 공간, 합성곱/MoE 인코딩, 교차 어텐션을 사용한다. 공동 학습 성능은 최고 수준에 미치지 못했으며, 저자원 작업 하나를 제외하면 단일 작업 특화 모델보다 유의하게 우수하지 않았다.출처: §4.3.2.1 · pp. 217–218

4.3.2.2 Unified Transformer (UniT)

• UniT (Hu and Singh, 2021b)는 모달리티별 인코더와 비자기회귀 디코더를 결합하며, 멀티모달 작업에서는 단일 작업 버전보다 우수하지만 단일 모달리티 작업에서는 성능이 떨어진다.작업 토큰, 디코더 질의 벡터, 작업별 헤드가 요청된 출력을 지정하며, 인코더를 추가해 새로운 모달리티로 확장할 수 있다. 성능은 최고 수준의 모델보다 낮았지만 대체로 비슷했다.출처: §4.3.2.2 · pp. 218–219

4.3.2.3 OFA - Sequentialization is All You Need

• OFA 는 입력과 출력을 시퀀스화하면서 이미지 캡셔닝, 시각적 질의응답, 시각적 함의 추론, 시각적 그라운딩에서 기존 최고 성능 모델을 능가했다.공유 공간의 임베딩을 인코더–디코더 Transformer에 입력하며, 생성된 이미지 토큰과 경계 상자 좌표에는 후속 디코딩이나 시각화가 필요하다. 단일 모달리티 성능은 기존 최고 수준을 넘지 못했으며, 보지 못한 작업으로의 퓨샷 전이에서는 특화 기준 모델과의 비교 평가가 없었다.출처: §4.3.2.3 · pp. 220–221

4.3.2.4 Gato - A Generalist Decoder

• Gato 는 여러 모달리티에 디코더 전용 Transformer를 사용하며, 대체로 작업 특화 Gato 변형보다 우수하지만 특화 강화학습 에이전트에는 뒤처진다.토큰화된 관측과 행동으로 자기회귀 예측을 수행한다. 입력 길이 제한으로 퓨샷 학습이 불가능해 보지 못한 작업에는 미세 조정이 필요했으며, 개선 효과는 일관되지 않았다. 로봇 동작 성능은 최고 수준의 기준 모델과 비슷했으나, 이미지 캡셔닝과 대화 능력은 추가 탐구 없이 보고되었다.출처: §4.3.2.4 · pp. 221–222

4.3.2.5 비교

• 검토한 모델 중 OFA만이 최고 성능을 달성했으며, 작업과 모달리티의 지원 범위가 달라 직접 비교는 어렵다.MultiModel, UniT, Gato는 전반적으로 특화 모델과 비슷한 성능을 보였다. 전이 효과의 근거에는 저자원 환경에 한정된 검증, 특화 기준 모델의 부재, 작업에 따른 결과 차이라는 한계가 있었다.출처: §4.3.2.5 · pp. 223–224

4.3.3.1 Pathways 제안

• Pathways 는 작업마다 모든 네트워크를 활성화하지 않고도 학습한 능력을 재사용하도록 특화 신경망을 통과하는 희소 경로를 제안한다.작업을 적합한 전문가로 라우팅하면 일반화가 개선될 것으로 기대하며, 멀티모달 확장도 가능성으로 제시한다. 이는 처음부터 다시 학습하는 비효율과 점점 커지는 밀집 네트워크의 자원 수요에 대응한다.출처: §4.3.3 · p. 224, §4.3.3.1 · p. 225

4.3.3.1 Pathways 제안 · 4.3.4 Pathways 결론

• Pathways는 추론 시간을 줄이기 위해 희소 활성화를 제안하며, 이 개관에서는 희소 멀티모달 처리와 지식을 보존하는 다중 작업 학습의 결합을 권고한다.데이터 센터 프레임워크는 필요한 모델 부분에만 접근해 연산 오버헤드를 줄이는 것을 목표로 한다. 제안된 연구 방향은 PathNet과 muNet을 소수 작업 이상으로 확장하고, 작업별 모델을 지능적으로 라우팅하며, LIMoE의 희소성을 OFA/Gato의 인코딩과 결합하는 것이다.출처: §4.3.3.1 · p. 226, §4.3.4 · p. 231

4.3.3.2 PathNet

• PathNet (Fernando et al., 2017)은 파국적 망각 없이 미세 조정이나 처음부터 학습하는 방식보다 두 번째 작업의 학습 시간과 예측 품질을 개선했다.진화 알고리즘으로 경쟁하는 경로를 학습하고, 패배한 경로를 승리한 경로의 돌연변이로 대체하며, 후속 작업 전에 학습된 경로를 동결한다. 새로운 작업별 헤드를 추가하고 나머지 매개변수를 재초기화하여 동결된 지식을 재사용하면서 추가 학습을 수행한다.출처: §4.3.3.2 · pp. 226–227

4.3.3.3 LIMoE

• LIMoE-H/14는 매개변수를 거의 추가하지 않고도 CLIP (Radford et al., 2021a)을 능가했으며, 비슷한 성능의 모델은 순전파당 최소 두 배의 매개변수를 사용했다.LIMoE 는 대조 학습된 단일 텍스트–시각 Transformer를 사용하며, 게이트가 토큰을 K개의 피드포워드 전문가로 라우팅한다. 모달리티별 국소 엔트로피 손실은 선택적 라우팅을 유도하고, 전역 엔트로피 손실은 전문가 사용의 균형을 맞춘다.출처: §4.3.3.3 · pp. 227, 229

4.3.3.4 muNet (다중 작업 네트워크)

• muNet 은 훨씬 적은 매개변수를 사용하고 기존에 학습한 지식을 보존하면서 여러 분류 작업에서 미세 조정한 ViT를 능가했다.진화적 탐색은 돌연변이, 학습, 평가의 후보를 선택할 때 탐색과 활용의 균형을 맞추며, 최종적으로 각 작업의 최상위 모델을 유지한다. 돌연변이는 층을 복제·삽입·제거하거나 하이퍼파라미터를 변경하며, 변경되지 않은 공유 층은 동결 상태로 유지한다.출처: §4.3.3.4 · pp. 229–231

4.3.5 논의

• 다목적 모델은 특화 모델을 능가할 수 있지만, Gato의 낮은 ATARI Boxing 성능은 작업 간 관계에 대한 추가 연구가 필요함을 보여준다.모델 크기로 인해 접근성이 제한되어 API를 통한 접근이 필요할 수 있으며, 기존 지표는 다중 작업 및 멀티모달 평가를 충분히 포괄하지 못한다. 여러 데이터셋에 걸친 편향과 대형 모델 학습의 환경 영향도 우려로 남는다.출처: §4.3.5 · p. 232

4.4.1 역사적 개관

• DeepDream, 스타일 전이, StyleGAN에 이어 텍스트 기반 예술가–비평가 방식의 생성이 등장하면서, 달리 명세하기 어려운 출력도 제어할 수 있게 되었다.Mordvintsev (2015)는 DeepDream으로 CNN 활성화를 시각화했고, Gatys et al. (2016)은 스타일을 전이했으며, Karras et al. (2019)은 사실적인 합성 얼굴을 생성했다. CLIP (Radford et al., 2021b)은 BigGAN, StyleCLIP, VQGAN, 확산 생성 모델을 유도하는 데 쓰였으며, GLIDE 는 CLIP 유도 또는 분류기 없는 유도를 지원한다.출처: §4.4.1 · pp. 233, 235

4.4.2 이 모델들을 어떻게 사용하는가?

• 공개 노트북과 인터페이스는 텍스트 기반 이미지 생성을 간소화하지만, 프롬프트 표현, 추상성, 모델 크기, 연산 제약이 출력에 영향을 준다.CLIP + BigGAN, CLIP + VQGAN, CLIP + Guided Diffusion, GLIDE에서 풍경 프롬프트는 비교적 사실적인 이미지를 생성한 반면, 추상적인 판다 프롬프트는 더 다양한 출력을 생성했다. 공개된 GLIDE 의 매개변수는 300백만 개였으며, 비공개 모델은 약 3.5십억 개였다. 연산 자원 제약으로 일부 노트북의 출력 해상도도 낮아졌다.출처: §4.4.2 · pp. 235–236, Figure 4.25 · p. 236, Figure 4.26 · p. 237

4.4.3 다양한 작업과 모달리티

• 텍스트 기반 이미지 모델은 노이즈나 실제 이미지에서 시작할 수 있어, 새로운 이미지 생성과 기존 이미지 변환을 모두 지원한다.이 절에서는 LMU 인장을 예로 들어 이미지를 출발점으로 삼는 방식을 보여준다.출처: §4.4.3 · p. 236
• 노이즈 대신 LMU 인장으로 초기화한 VQGAN은 “반 고흐의 화풍으로”라는 프롬프트에 따라 해바라기 이미지와 얼굴의 일부로 보이는 형상을 생성했다.첨부 영상은 최적화 과정에서 이미지가 변화하는 모습을 기록한다.출처: §4.4.3 · p. 237
• GLIDE는 주변 이미지의 스타일에 맞추면서 텍스트 기반 이미지 생성, 인페인팅, 스케치 기반 편집을 지원한다.다른 응용으로는 맞춤형 영상에 적절한 오디오를 입히는 작업과 3D 프린터로 조각을 제작할 가능성이 있다.출처: §4.4.3 · p. 237

4.4.4 논의와 전망

• 인간 예술가는 대개 생성된 이미지를 선별하고 프롬프트를 다듬지만, 미적 매력을 직접 측정하는 손실 함수는 없다.이 절은 미적 판단을 주관적인 것으로 보며, 모델이 개선될수록 필요한 인간 개입이 줄어든다고 주장한다.출처: §4.4.4 · p. 238
• 사실적인 생성 콘텐츠는 표절과 오해를 유발하는 정보의 확산을 촉진할 위험이 있어, 모델 접근 제한과 연구 지원 사이에 긴장을 낳는다.이 절은 오용 우려로 모델이나 후속 모델을 공개하지 않는 일부 기관의 대응을 설명하는 한편, 연구자의 접근 필요성도 강조한다.출처: §4.4.4 · p. 238
• 생성 모델은 입력 데이터의 편향을 물려받아, 생성 이미지에 어떤 사람이 등장하는지에 영향을 줄 수 있다.Esser et al. (2020)은 CLIP 텍스트 임베딩이 인간을 여성보다 남성과 더 강하게 연관 지어, 남성을 묘사하는 출력이 더 많이 생성될 수 있다고 보고한다.출처: §4.4.4 · p. 238
• DALLE-2는 DALLE-1을 능가하며(Ramesh et al., 2022a), 생성 예술 기법이 계속 발전하고 있음을 보여준다.제공된 본문에는 이 비교에 대한 벤치마크 수치나 평가 세부 사항이 없다.출처: §4.4.4 · p. 239

5 결론

• DALL-E와 같은 텍스트 기반 이미지 생성 시스템은 대중과 예술계의 관심을 끌었으며 영화와 게임 분야에서 상업적 활용 가능성이 있지만, 저작권 문제는 여전히 해결되지 않았다.연구자와 온라인 커뮤니티 모두 이러한 모델과 생성 결과물을 탐구해 왔다.출처: §5 · p. 241
• 사실적인 생성 이미지는 허위정보 유포와 여론 조작에 악용될 수 있어, 이미지 조작을 자동으로 탐지하는 도구가 필요하다는 주장이 제기된다.눈으로 살펴보는 것만으로는 조작된 이미지와 실제 이미지를 구별하기 어려울 수 있다.출처: §5 · p. 241
• 편향은 추가 연구가 필요하며, 불투명한 의사결정은 멀티모달 모델의 사회적 수용성과 사용성을 제한할 수 있다.의료 분야에서 의사와 환자에게는 예측 결과뿐 아니라 그 근거와 확신도도 필요하다.출처: §5 · p. 241
• 파라미터 수는 십억 개 단위로 GPT-3 (Brown et al., 2020)가 약 175, GPT-2 (Radford et al., 2019a)가 약 1.5로, 모델 구조의 규모가 커지고 있음을 보여 준다.파라미터 수를 늘리면 성능이 향상되는 경우가 많지만, 이 파라미터를 학습하고 저장하려면 상당한 시간과 연산 자원, 저장 공간이 필요하다.출처: §5 · pp. 241–242
• BERT를 한 차례 학습할 때 에너지 소비량은 1,507 kWh, CO2 배출량은 1,438 lbs로 추정됐다.GPT-2 학습에는 TPUv3 칩 32개로 168시간이 걸렸으며, 클라우드 연산 비용은 $12,902–$43,008로 추정됐다. 개발과 적응에는 여러 차례의 모델 적합과 조정 과정이 필요한 경우가 많다.출처: §5 · p. 242
• 연산 자원과 재정 자원의 편중은 학계와 산업계 간 접근성 격차를 만들며, 모델 비공개는 독립적인 재현을 가로막고 독점과 남용에 대한 우려를 낳는다.기업은 자사의 가장 우수한 모델을 공개하는 대신 제품과 지식재산으로 보유할 수 있다.출처: §5 · p. 242

6 맺음말

• 제한된 프로젝트 기간과 빠른 연구 발전으로 모든 연구를 망라할 수는 없었지만, 학생들은 세미나 중 발표된 연구도 일부 반영했다.각 장의 주제는 일부 아키텍처, 개선안, 아이디어가 발표되기 전인 February 2022에 선정되었다.출처: §6 · p. 243

6.1 영향력 있는 새로운 아키텍처

• Stable Diffusion은 실사 수준의 이미지를 생성하며 오픈소스로 공개되어 있다. Hugging Face에서 데모를 이용할 수 있다.이 모델은 LMU의 Björn Ommer 연구진이 “High-Resolution Image Synthesis with Latent Diffusion Models”에서 소개했다.출처: §6.1 · p. 243

6.2 동영상 생성

• 구글 리서치의 Imagen 아키텍처는 자연어 입력으로 동영상을 생성하도록 확장되어, 텍스트 기반 이미지 생성을 넘어서는 연구를 보여준다.맺음말에서는 이를 이 방향으로 진행되는 여러 연구 중 하나의 사례로 제시한다.출처: §6.2 · p. 244