AI 요약 · 영어에서 AI 번역
Enriching ImageNet with Human Similarity Judgments and Psychological Embeddings
Brett D. Roads, Bradley C. Love
TL;DR
과제별 분류 지표만으로는 모델의 내부 표현이 인간이 지각하는 유사성과 얼마나 부합하는지 파악하기 어렵다. 이 논문은 인간의 유사성 판단을 수집하고 변분 추론, 앙상블, 능동 학습을 활용해 심리적 임베딩을 추론한다. 평가한 지도 학습 모델 중 최신 모델들의 분류 성능 향상은 인간의 유사성 판단과의 일치도 증가를 동반하지 않았다.
문제
분류 정확도와 같은 과제별 지표만으로는 모델의 내부 표현이 인간이 지각하는 유사성과 얼마나 부합하는지 파악하기 어렵다.
출처: §1 · p. 1방법
결과
평가한 지도 학습 모델 중 최신 모델들의 분류 성능 향상은 인간의 유사성 판단과의 일치도 증가를 동반하지 않았다.
출처: §7 · p. 8시사점과 한계
인간 유사성 지표로 지도 학습 또는 비지도 학습으로 훈련한 모델의 내부 표현을 평가할 수 있다.
출처: §7 · p. 8참여자 간에 유사성 판단이 다를 수 있고 개인의 판단도 거리 척도상 일관되지 않을 수 있으므로 완벽한 삼중항 순위화는 기대하기 어렵다.
출처: §6.1 · p. 7
Abstract
from arXiv · showhide
Advances in object recognition flourished in part because of the availability of high-quality datasets and associated benchmarks. However, these benchmarks---such as ILSVRC---are relatively task-specific, focusing predominately on predicting class labels. We introduce a publicly-available dataset that embodies the task-general capabilities of human perception and reasoning. The Human Similarity Judgments extension to ImageNet (ImageNet-HSJ) is composed of human similarity judgments that supplement the ILSVRC validation set. The new dataset supports a range of task and performance metrics, including the evaluation of unsupervised learning algorithms. We demonstrate two methods of assessment: using the similarity judgments directly and using a psychological embedding trained on the similarity judgments. This embedding space contains an order of magnitude more points (i.e., images) than previous efforts based on human judgments. Scaling to the full 50,000 image set was made possible through a selective sampling process that used variational Bayesian inference and model ensembles to sample aspects of the embedding space that were most uncertain. This methodological innovation not only enables scaling, but should also improve the quality of solutions by focusing sampling where it is needed. To demonstrate the utility of ImageNet-HSJ, we used the similarity ratings and the embedding space to evaluate how well several popular models conform to human similarity judgments. One finding is that more complex models that perform better on task-specific benchmarks do not better conform to human semantic judgments. In addition to the human similarity judgments, pre-trained psychological embeddings and code for inferring variational embeddings are made publicly available. Collectively, ImageNet-HSJ assets support the appraisal of internal representations and the development of more human-like models.
1. 서론
ImageNet-HSJ는 과제별 출력을 넘어 모델의 내부 표현을 평가할 수 있도록 인간의 유사성 판단을 제공한다. 심리 임베딩은 능동 학습, 데이터 충분성 평가, 모델 평가를 지원하며, 변분 추론과 앙상블은 규모 확장 문제를 해결한다.
1. 서론
- ImageNet-HSJ는 ILSVRC [39]에 정보 가치가 높은 인간의 유사성 판단을 추가하여 임의의 모델을 평가할 수 있도록 한다.데이터셋과 함께 제공되는 사전 학습된 심리 임베딩은 공개되어 있다.출처: §1 · pp. 1–2
- 인간이 지각하는 유사성은 맥락에 따라 달라지지만, 데이터셋 부족과 수집의 어려움으로 컴퓨터 비전 개발에서의 활용은 제한적이었다.유사성은 서로 연관된 역할, 공통된 지각적 속성, 객체 간 상호작용을 반영할 수 있다.출처: §1 · p. 1
- 인간과 모델의 유사성 판단 간 일치도는 지도 학습, 비지도 학습, 자기지도 학습으로 얻은 내부 표현에 대해 상보적인 과제 비종속적 평가를 제공한다.제안하는 비교 방식은 분류 정확도 같은 지표를 대체하는 대신, 과제별 출력 이전의 표현에 초점을 맞춘다.출처: §1 · pp. 1–2
- 심리 임베딩은 유사성 판단을 모델링하여 능동 학습을 유도하고, 데이터의 충분성과 모델의 내부 표현을 평가한다.이 임베딩은 기존 연구 [50]를 확장하여 자극의 표현과 이를 관찰된 행동에 연결하는 함수를 결합한다.출처: §1 · p. 2
- 변분 추론과 앙상블은 기존 임베딩 접근법을 확장하여 대규모 자극 집합을 처리할 수 있게 한다.변분 심리 임베딩을 추론하는 오픈소스 Python 패키지가 공개되어 있다.출처: §1 · p. 2
2. 관련 연구
ImageNet-HSJ는 인간 유사성 판단 기반 임베딩 연구를 더 큰 자극 집합으로 확장하고, 모델과 인간의 판단을 비교하는 다목적 자원을 제공한다. 변분 추론 접근법은 계산 비용을 줄이고 사후분포 샘플링에서 회전으로 인해 발생하는 불확실성 왜곡을 해소한다.
2. 관련 연구
- 기존 THINGS 연구보다 자극 집합 규모를 열 배로 늘려, 인간의 유사도 판단에 기반한 임베딩을 기계학습에서 널리 쓰이는 데이터셋으로 확장한다.THINGS 연구는 서로 다른 이미지 1,854장에 대한 판단을 수집했다. 기존 임베딩 방법에는 커널 변형 기법 [50]과 비계량적 접근법 이 있다.출처: §2 · p. 2
- ImageNet으로 사전 학습한 VGG16 은 인간의 유사성 평점 [31]과 순위 를 우연 수준보다 잘 예측한다.Attarian 등의 연구, Peterson 등의 연구, Sanders 등의 연구 는 나아가 인간의 유사성 판단을 비교적 충실하게 예측하도록 신경망을 특화해 학습할 수 있음을 보였다.출처: §2 · p. 2
- 저자들은 평가 지표로만 쓰이는 것이 아니라 여러 목적으로 활용할 수 있는 데이터셋을 제공하여, 인공신경망과 인간 행동의 특정 측면을 비교하는 연구를 보완하고자 한다.기존 연구는 분류 성능을 비교하고 [32], 이미지별 혼동 통계 와 형태 편향 의 차이를 밝혔으며, 인간이 지각한 전형성 평점의 예측을 살펴보았다.출처: §2 · p. 2
- Roads 등의 연구 와 달리, 이 연구는 근사 변분 사후분포에서 샘플링하여 계산 비용을 줄이고 MCMC에서 회전으로 인해 발생하는 불확실성 왜곡을 피한다.이러한 계산 비용 절감 덕분에 더 큰 자극 집합을 다룰 수 있다. 회전 불변 임베딩은 MCMC 샘플링 중 회전할 수 있어, 주변부 점들의 불확실성이 인위적으로 부풀려질 수 있다.출처: §2 · p. 2
3. ImageNet-HSJ 데이터셋
ImageNet-HSJ는 ILSVRC 2012 검증 세트에 품질 관리를 거친 서열형 인간 유사성 판단을 추가한다. 수집 범위는 클래스별 대표 이미지로 구성된 시드 부분집합에서 검증 이미지 50,000장 전체로 확대되었으며, 버전별로 수록 범위를 관리했다.
3. ImageNet-HSJ 데이터셋
- ImageNet-HSJ는 ILSVRC 2012 검증 세트에 품질 관리를 거친 서열형 인간 유사성 판단을 추가하며, 모델 선택의 선결 조건인 평가를 우선시한다.다양한 참여자로부터 판단을 수집했다.출처: §3 · p. 2
3.1. 인간 유사성 판단 과제
- 참여자는 중앙의 질의 이미지를 둘러싼 참조 이미지 8장 중 가장 유사한 두 장을 골라 순위를 매겼다.8-rank-2 형식은 대부분의 참여자가 쉽게 수행할 수 있으면서도 수집 효율과 잡음 사이의 균형을 맞춘다. Amazon Mechanical Turk로 참여자를 모집한 웹 기반 세션은 시행 50회로 구성되었고, 소요 시간은 10분을 목표로 했으며, 시간당 약 8.00 USD를 지급했다.출처: §3.1 · pp. 2–3
3.2. 자극 세트
- 클래스별 대표 이미지 한 장씩으로 구성한 1,000장 규모의 시드 부분집합에서 능동 학습을 초기화하고 수렴시킨 뒤, 검증 이미지 50,000장에 대한 판단을 수집했다.각 클래스에서 사전 학습된 VGG19 네트워크의 정분류 확률이 가장 높은 이미지를 대표로 선정했으며, 동률일 때는 무작위로 선택했다. ILSVRC 2014 제외 목록에 있는 이미지는 시드 부분집합에서 제외했다.출처: §3.2 · p. 3
3.3. 버전 관리
- 버전 0.2는 시드만 포함한 버전 0.1을 확장해 전체 자극을 포함하며, 버전 1.0은 전체 데이터셋에서 수렴한 뒤 공개할 예정이다.버전 0.2에는 논문 제출 시점까지 수집한 모든 판단이 포함된다.출처: §3.3 · p. 3
4. 데이터셋 수집
데이터셋 수집은 정보에 기반한 시행 선택, 품질을 관리한 인간 판단 수집, 심리적 임베딩 앙상블의 변분 추론을 번갈아 수행한다. 표집 휴리스틱으로 시행 선택의 계산 부담을 줄이고, 확인 시행으로 잘못 배치된 자극을 교정한다.
4. 데이터셋 수집
- 능동 학습은 변분 베이즈 추론으로 기존 패러다임 [50]을 확장하며, 정보에 기반한 시행 선택, 인간 판단 수집, 임베딩 앙상블 갱신을 반복한다.초기 시행은 임베딩 사전분포에 따라 무작위로 선택한다. 이후에는 비일관적인 선택을 유발하기 쉬운, 서로 매우 다른 이미지 조합보다 정보량이 많은 시행을 우선한다.출처: §4 · p. 3, Figure 2 · p. 4
4.1. 판단 수집
- 50회 시행으로 구성된 세션마다 질의 이미지의 좌우 반전본을 이용한 주의력 점검 시행 네 번으로 판단에 가중치를 부여하고 참여자를 선별했다.좌우 반전된 질의 이미지를 첫 번째, 두 번째로 선택하거나 선택하지 않으면 각각 1, .5, 0점을 부여하고, 평균 점검 점수를 세션 내 모든 시행의 가중치로 사용했다. 점수가 < .5인 세션과 소요 시간이 1 s 미만인 시행은 제외했다. 우수 참여자(> .875)만 계속 참여할 수 있었으며, 세션마다 우수 참여자의 평가 하나를 확보하도록 일정을 조정했다.출처: §4.1 · pp. 3–4
4.2. 임베딩 추론
- 변분 자유 에너지 최소화로 인식적 불확실성과 우연적 불확실성을 모두 나타내는 근사 임베딩 사후분포를 얻는다.대각 공분산 행렬로 복잡도를 제한한다. Luce의 강도 비율 정식화 에서 표본 가중치는 각 시행의 로그 우도 기여도를 선형적으로 조절한다.출처: §4.2 · p. 4
- 동일한 가중치를 갖는 세 임베딩에서 각각 학습 데이터의 서로 다른 5%를 제외해, 초기화에 민감한 해에 대한 의존도를 줄인다.차원 수를 재평가할 때는 제외한 데이터의 범주형 교차 엔트로피로 선택하고, 그렇지 않으면 이전 차원 수를 유지했다. 매 반복에서 성능이 가장 좋은 두 모델의 가중치를 재사용하고 가장 나쁜 모델은 재초기화해 국소 최적해에 빠질 위험을 줄였다.출처: §4.2 · p. 5
4.3. 시행 선택
- 기대 정보 이득은 후보 시행을 관측한 뒤 예상되는 임베딩의 샤논 엔트로피 감소량을 앙상블 구성원 전체에 걸쳐 평균한 값이다.사후분포 표본으로 필요한 적분을 근사한다. 휴리스틱으로 모든 가능한 시행을 대상으로는 계산이 불가능한 탐색의 범위를 줄인다.출처: §4.3 · p. 5
- 매 반복에서 빈도 보정 엔트로피로 질의 자극 828개를 비복원 표집하고, 참조 자극은 앙상블 평균 기대 유사도에 비례해 표집했다.각 질의에서 최근접 이웃 500개(데이터셋의 1%)로부터 후보 시행 10,000개를 구성하고, 앙상블 평균 정보 이득이 가장 높은 세 시행을 남겼다(2484회 시행). 이웃 제한은 세밀한 유사도를 탐색하고, 빈도 보정은 우연적 불확실성이 높은 자극의 반복 표집을 억제한다.출처: §4.3 · p. 5
- 매 반복에서 확인 시행 828회를 추가해, 이웃으로 제한된 선택 때문에 자극이 서로 다른 이웃들 사이에 임베딩된 채 남을 위험을 줄였다.질의는 앙상블 평균 엔트로피에 비례해 표집하고, 참조 자극 두 개는 최근접 이웃 500개에서, 여섯 개는 그 밖에서 뽑았다. 참여자의 선택으로 부적절한 이웃 구성을 발견하고 자극을 재배치할 수 있었다.출처: §4.3 · pp. 5–6
5. 데이터셋 수렴 평가
거시적 손실, 임베딩 앙상블 내 일치도, 연속 앙상블 간 일치도로 수렴을 평가한다. 세 지표 모두 시드 부분집합에서는 수렴을 나타내지만, 전체 데이터셋에서는 그렇지 않다.
5.1. 거시적 손실
- 거시적 손실은 무작위로 표집한 유사도 판단에 대한 범주형 교차 엔트로피를 측정하여, 데이터가 추가로 수집됨에 따라 일반화 성능을 추적한다.무작위 표집으로는 세밀한 유사도를 살피기 어려우므로, 이 관측값들을 통상적인 테스트 세트로 취급하지 않는다. 손실이 최솟값에 도달해 정체되는 양상은 수렴의 근거가 될 수 있다.출처: §5.1 · p. 6
5.2. 앙상블 내 일치도
- 앙상블 내 일치도는 세 모델의 쌍별 유사도 기댓값 행렬 사이의 피어슨 상관계수 를 평균하여 학습된 유사도 구조 를 살핀다.상관계수 계산에는 행렬의 상삼각 원소를 사용한다. 충분한 데이터가 수집되면 모델 간에 유사한 임베딩이 형성될 것으로 기대한다.출처: §5.2 · p. 6
5.3. 연속 앙상블 간 일치도
- 연속 앙상블 간 일치도는 연속된 앙상블의 유사도 기댓값 행렬 사이의 피어슨 상관계수를 측정하여, 추가 데이터가 추론된 유사도 구조를 바꾸는지 검증한다.충분한 데이터가 수집된 뒤에는 데이터를 더 추가해도 추론된 앙상블이 변하지 않아야 한다.출처: §5.3 · p. 6
5.4. 수렴 결과
- 모든 지표는 시드 부분집합의 심리적 임베딩은 수렴했지만, 전체 데이터셋의 심리적 임베딩은 수렴하지 않았음을 나타낸다 (Figure 5.4).시드 부분집합과 전체 데이터셋에는 각각 1,000개와 50,000개의 고유 자극이 포함된다. 서로 다른 거시적 평가 집합을 사용하므로 Figures 5.4a and 5.4b를 직접 비교해서는 안 된다. Figure 5.4b의 하락 구간은 임베딩이 국소 최적점에 빠지기 쉬움을 보여준다.출처: §5.4 · p. 6
6. 데이터셋을 이용한 대상 모델 평가
이 데이터셋은 트리플릿 정확도와 심리적 임베딩과의 상관관계로 모델 표현을 평가한다. ResNet50은 평가한 대상 모델 중 두 지표 모두에서 가장 우수하지만, 트리플릿 판단 예측에서는 심리적 임베딩이 이들 모델보다 뛰어나다.
6.1. 트리플릿 정확도
- 8-rank-2 시행당 13개의 트리플릿 부등식을 이용해 트리플릿 정확도, 즉 대상 모델에서 선택한 거리 함수로 순서를 올바르게 예측한 비율을 계산한다.이 직접 평가 지표는 데이터셋의 수렴 정도에 덜 민감하며, 거리 함수만 선택하면 된다. 참가자 간 판단이 다를 수 있고 개인의 판단도 거리 척도로서의 일관성을 갖추지 못할 수 있어 완벽한 정확도는 기대하기 어렵다.출처: §6.1 · pp. 6–7, §6 · p. 6
6.2. 심리적 임베딩 상관관계
- 심리적 임베딩 상관관계는 쌍별 유사도 행렬의 상삼각 부분 간 Spearman 상관계수를 이용해, 관측치가 충분할 때 거친 지표인 트리플릿 정확도가 포착하지 못하는 구조를 평가한다.연구자는 임베딩과 대상 모델의 유사도 함수를 선택한다. Spearman 상관계수는 유사도 간 선형 관계를 가정하지 않는다. 동일한 데이터로 학습한 심리적 임베딩들의 기대 유사도 행렬 간 Spearman 상관계수는 seed에서 0.81, full에서 0.62다.출처: §6.2 · p. 7, §6.3 · p. 8
6.3. 대상 모델 결과
- 평가 예시에서는 지도학습 이미지 분류기와 비지도학습 모델인 DeepCluster (VGG16, fc2)를 함께 평가한다 [4].DeepCluster를 제외한 모델의 사전학습 가중치는 Keras Applications 에서 가져온다. 이미지는 종횡비를 유지하는 최대 크기의 중앙 영역을 잘라낸 뒤, 모델별로 크기를 조정하고 전처리한다. DeepCluster에는 해당 저장소의 가중치와 전처리를 사용한다.출처: §6.3 · p. 7
- ResNet50은 평가한 대상 모델 중 두 데이터셋의 트리플릿 정확도와 심리적 임베딩 상관관계 모두에서 가장 우수하다.모든 대상 모델의 트리플릿 정확도는 우연 수준을 넘으며, 모든 경우에서 코사인 거리가 L1 및 L2 거리보다 우수하다. 임베딩 상관관계도 대부분의 경우 코사인 유사도를 사용할 때 가장 높다.출처: §6.3 · pp. 7–8, Table 2 · p. 8
- 심리적 임베딩은 대상 모델보다 트리플릿 판단을 더 잘 예측하지만, 해당 판단으로 학습했으므로 공정한 비교는 아니다.임베딩은 자극 정보를 받지 않는 반면, 다른 대상 모델은 약 백만 장의 이미지를 학습한 경험을 활용할 수 있다.출처: §6.3 · p. 8, Table 2 · p. 8
7. 논의
인간의 유사성 판단으로 지도 학습과 비지도 학습 모델의 표현을 평가할 수 있으며, 이를 통해 ImageNet 분류의 발전이 인간의 유사성 판단과의 부합도 향상으로 이어지지 않았음을 알 수 있다. 변분 추론, 앙상블, 능동 학습은 더 큰 규모의 심리적 임베딩 추론을 가능하게 했다.
7. 논의
- 이전 연구보다 규모가 열 배 큰 임베딩 추론 문제를 변분 추론, 앙상블 모델, 능동 학습으로 풀 수 있게 되었다.이 방법은 다수 항목에 대한 인간의 판단으로부터 임베딩 공간을 효율적으로 추론한다.출처: §7 · p. 8
- 비지도 학습 표현이 인간의 판단에 더 잘 부합하리라는 예상과 달리, DeepCluster는 성능이 가장 낮은 모델 중 하나였다.평가 지표는 지도 학습 모델과 비지도 학습 모델 모두에 적용되지만, 비지도 학습 모델은 하나만 평가했으므로 비지도 학습 전반에 대한 결론을 내리는 데는 한계가 있다.출처: §7 · p. 8
- 최근의 지도 학습 모델은 ImageNet 분류 성능을 개선했지만 인간의 유사성 판단과의 부합도는 높이지 못했다.이전에는 분류 성능이 개선되면서 인간의 행동 및 뇌 데이터와의 부합도도 높아졌다. 저자들은 Brain-Score 순위에서도 유사한 추세가 나타난다고 지적한다.출처: §7 · p. 8
- 인간의 유사성 판단은 맥락 의존적 조직화 방식을 드러내며, 이는 임베딩 방법과 데이터셋을 모델 표현 평가 외에도 활용할 가능성을 시사한다.이러한 추가 활용은 이 논의에서 입증된 것이 아니라 향후 가능성으로 제시된다.출처: §7 · p. 8