Source-linked AI summary
A Discriminative CNN Video Representation for Event Detection
Zhongwen Xu, Yi Yang, Alexander G. Hauptmann
TL;DR
대규모 이벤트 검출에는 성능 저하 없이 무거운 특징 추출 비용을 줄이는 비디오 표현이 필요하다. 이 논문은 CNN descriptor encoding과 latent concept descriptors를 결합해 MED 데이터셋에서 기존 state-of-the-art 표현보다 30%를 넘는 상대적 향상을 달성한다.
문제
Improved Dense Trajectories는 강력한 이벤트 검출 성능을 제공하지만 계산량이 크며, CNN average pooling은 이를 능가하지 못한다.
방법
이 논문은 frame-level CNN descriptors를 encoding하고, latent concept descriptors를 frame representation으로 사용하며, 더 빠른 이벤트 검색을 위해 Product Quantization을 적용한다.
결과
대규모 MED 데이터셋에서 state-of-the-art 비디오 표현보다 30%를 넘는 상대적 향상을 달성한다.
시사점 및 한계
이 표현은 단일 GPU 장착 머신에서 실행 가능하면서도 더 강력한 대규모 이벤트 검출을 제공하고, 압축 데이터에 대한 더 빠른 이벤트 검색을 지원한다.
시사점 및 한계
고차원 pool5 descriptors는 비디오 pooling에서 계산량 증가와 불안정성을 유발할 수 있다.
Abstract
from arXiv · showhide
In this paper, we propose a discriminative video representation for event detection over a large scale video dataset when only limited hardware resources are available. The focus of this paper is to effectively leverage deep Convolutional Neural Networks (CNNs) to advance event detection, where only frame level static descriptors can be extracted by the existing CNN toolkit. This paper makes two contributions to the inference of CNN video representation. First, while average pooling and max pooling have long been the standard approaches to aggregating frame level static features, we show that performance can be significantly improved by taking advantage of an appropriate encoding method. Second, we propose using a set of latent concept descriptors as the frame descriptor, which enriches visual information while keeping it computationally affordable. The integration of the two contributions results in a new state-of-the-art performance in event detection over the largest video datasets. Compared to improved Dense Trajectories, which has been recognized as the best video representation for event detection, our new representation improves the Mean Average Precision (mAP) from 27.6% to 36.8% for the TRECVID MEDTest 14 dataset and from 34.0% to 44.6% for the TRECVID MEDTest 13 dataset. This work is the core part of the winning solution of our CMU-Informedia team in TRECVID MED 2014 competition.
1. 서론 및 관련 연구
복합 이벤트 검출은 개념이나 동작보다 이벤트의 클래스 내 변이가 크기 때문에 어렵고, improved Dense Trajectories와 같은 기존 video representation은 대규모 환경에서 계산 비용이 높다. 이 논문은 encoding, latent concept descriptors, 효율적인 검색 가속을 통해 CNN 기반 representation의 한계를 다룬다.
- 1. 서론 및 관련 연구: Improved Dense Trajectories 는 복합 이벤트 검출에서 우수한 성능을 달성하지만, 대규모 사용을 제한하는 높은 계산 비용이 발생한다.STIP 와 Dense SIFT 같은 feature보다 우수한 성능을 보인다.
- 1. 서론 및 관련 연구: CNN video representation은 제한된 labeled data, 거친 frame-level supervision, 그리고 discriminative aggregation method의 필요성에 직면한다.MEDTest 13 과 MEDTest 14 는 이벤트당 100개의 positive example만 제공하고, video label은 이벤트 의미를 포함하는 frame이 무엇인지 식별하지 못하며, average pooling은 frame descriptor의 표준 baseline이다.
- 1. 서론 및 관련 연구: 이 논문은 CNN descriptor를 위한 encoding technique과 여러 deeper-network spatial location의 정보를 집계해 형성한 latent concept descriptor를 도입한다.Descriptor extraction을 위해 frame은 deep CNN을 한 번만 통과한다.
- 1. 서론 및 관련 연구: 결합된 representation은 대규모 MED dataset에서 state-of-the-art video representation보다 30%를 초과하는 상대적 향상을 달성한다.이 접근법은 GPU가 장착된 단일 machine에서 이틀 안에 실행할 수 있다.
- 1. 서론 및 관련 연구: 또한 이 연구는 event-search execution을 가속하기 위해 CNN video representation에 Product Quantization 을 적용한다.이는 representation 향상과 함께 추가적인 기여로 제시된다.
2. 사전 지식
이 연구는 ILSVRC 2014 classification 우승 솔루션 [36]의 16-layer VGG architecture를 사용하고 CNN activation에 대해 확립된 표기법 [6] [11]을 따른다.
3. Video CNN Representation
이 절에서는 표준 pooling과 Fisher-vector 및 VLAD encoding을 비교해 video-level CNN representation을 구축하고, CNN descriptor에는 VLAD가 가장 판별력이 높음을 보인다. 또한 펼친 feature의 과도한 차원 수 없이 spatial information을 유지하도록 pool5에서 latent concept descriptor를 제안한다.
- Video pooling: 표준 representation은 frame descriptor를 정규화하고 프레임 전체에서 평균을 낸 뒤 결과 video vector를 다시 정규화하며, max pooling은 성능이 유사해 생략한다.video representation은 x_video = 1/N sum_i x_i이며, x_i는 frame descriptor이고 N은 추출된 frame 수다.
- Video pooling: Fisher vectors와 VLAD는 모든 frame descriptor를 encoding하며, Fisher vectors는 GMM을 사용하고 VLAD는 K-means center를 사용한다. 두 방법 모두 encoding 후 normalization을 적용한다.Fisher vectors의 크기는 PCA 후 2D′K이고, VLAD의 크기는 D′K다. 기본적으로 VLAD-k에서 k = 5를 사용하며 intra-normalization을 적용한다.
- Video pooling: VLAD는 CNN descriptor에서 가장 뛰어난 판별 능력을 보이며, positive-negative similarity가 0에 더 가깝고 positive-positive similarity와의 overlap도 average pooling이나 Fisher vectors보다 작다.비교에는 MEDTest 14 training set의 cosine-similarity distribution을 사용하며, 결론은 Section 5.1과 일치한다.
- Latent concept descriptors: pool5를 flatten하면 spatial information은 유지되지만 4,096-D fc6 및 fc7 feature에 비해 25,088-D VGG feature가 생성되어, 상당한 computational cost와 video-pooling stability cost가 발생한다.제시된 VGG configuration에서 pool5의 차원은 a × a × M이며, a = 7이고 M = 512다.
- Latent concept descriptors: 제안하는 latent concept descriptor는 independent last-layer convolutional filter의 response를 통해 pool5를 표현하며, 각 filter의 response를 descriptor dimension으로 사용한다.이 접근법은 convolutional filter를 latent concept에 대응하는 generalized linear classifier로 간주하고, 고차원 flattened pool5 vector를 직접 사용하지 않는다.
4. 실험 설정
실험은 100Ex 및 10Ex 학습 조건에서 TRECVID MEDTest 13과 14 이벤트 검출 벤치마크를 사용하며, CNN 기반 feature를 linear SVM과 mAP로 평가한다.
- 데이터셋: 실험은 가장 규모가 큰 라벨링된 이벤트 검출 데이터셋인 TRECVID MEDTest 13 과 MEDTest 14 를 사용하며, 각 데이터셋은 10개가 중복되는 20개의 복합 이벤트를 포함한다.MEDTest 13은 E006–E015와 E021–E030을 포함하는 반면, MEDTest 14는 E021–E040을 포함한다.
- 학습 조건: 평가는 100Ex 및 10Ex 조건에서 linear SVM을 사용하며, 각각 이벤트당 100개 또는 10개의 positive exemplar를 제공한다.100Ex에서는 5-fold cross-validation으로 C를 선택하고, 10Ex에서는 에 따라 C를 1로 고정한다.
- 평가: MEDEval 13과 MEDEval 14의 라벨은 공개되어 있지 않아 평가 annotation에 직접 접근할 수 없다.
- Feature extraction: CNN descriptor는 Caffe 와 공개된 모델 중 성능이 가장 우수한 모델 [36]을 사용해 center crop에서 매 5프레임마다 샘플링하며, VLAD와 Fisher vector는 vlfeat 로 생성한다.전처리는 [6]을 따른다.
- 평가: 성능은 NIST 표준 에 따라 이진 이벤트 분류의 Mean Average Precision (mAP)을 사용해 측정한다.
5. 실험 결과
실험 결과, CNN 및 latent concept descriptor의 VLAD encoding은 average pooling과 IDT보다 video event detection 성능을 크게 향상시키며, SPP, fusion, compression은 성능을 유지하거나 추가로 개선한다. 이렇게 얻은 representation은 실용적인 저장 용량과 prediction 속도로 강력한 benchmark 성능을 달성한다.
- CNN video pooling: VLAD-encoded CNN feature는 100Ex와 10Ex 설정 모두에서 MEDTest 13 및 MEDTest 14 전반에 걸쳐 IDT와 CNN average pooling보다 유의하게 우수하다.비교에는 improved Dense Trajectories와 그 HOG 및 MBH component가 포함된다.
- Latent concept descriptor: VLAD-encoded latent concept descriptor는 average-pooled pool5 feature보다 우수하며, SPP를 추가하면 최소한의 computation cost로 성능이 더욱 향상된다.SPP는 더 깊은 stage의 feature를 집계하여 여러 수준의 spatial information을 제공한다.
- Parameter analysis: 256-D를 초과하는 PCA dimension에서는 유사한 성능이 유지되지만 128-D에서는 성능이 저하되며, VLAD center를 늘리면 K = 512에서 지나치게 sparse해질 때까지 discrimination이 향상된다.이 결과는 performance, storage, descriptor sparsity 사이의 tradeoff를 보여준다.
- Parameter analysis: SSR power normalization을 제거하면 mAP가 33.2%에서 27.0%로 감소하고, intra-normalization을 제거하면 33.2%에서 30.6%로 감소한다.결과는 두 normalization 단계가 모두 VLAD performance에 실질적으로 기여함을 보여준다.
- Compression and efficiency: B = 4인 PQ compression은 성능을 유지하거나 소폭 향상시키고, MEDEval 14 collection을 3.1 GB에 저장하며, 20개 thread를 사용해 event당 4.1 seconds 만에 200,000개 video에 대한 prediction을 가능하게 한다.B = 8에서는 성능이 소폭 하락하며, speed test는 original feature가 아닌 compressed feature를 사용한다.
- Overall comparison: 100Ex에서 44.6% mAP, 10Ex에서 29.8%를 기록한 결과는 10개가 넘는 feature type과 sophisticated scheme을 사용한 최상위 TRECVID MED 2013 competition system보다 유의하게 우수하다.보고된 결과는 MEDTest 13에 대한 것이며, 광범위한 feature set을 결합한 system과 비교한다.
6. 결론
이 논문은 CNN descriptor로부터 video representation을 생성하고, 이를 위해 encoding 기법과 latent concept descriptor를 도입함으로써 TRECVID MED의 높은 계산 비용 문제를 다룬다.
- 이 연구는 TRECVID Multimedia Event Detection에서 feature extraction과 classification에 드는 막대한 계산 비용을 대상으로 한다.
- CNN descriptor로부터 video representation을 생성하기 위해 encoding 기법을 적용한 최초의 사례로 제시된다.
- 이 논문은 CNN 기반 video representation을 생성하기 위한 latent concept descriptor를 제안한다.
부록 · A. CNN Descriptor의 Non-linear Classifier
부록에서는 exponential-χ2 및 RBF kernel SVM이 standard linear classifier보다 CNN-descriptor 기반 video classification을 유의미하게 향상함을 보인다 [6] [11]. 또한 feature에 의존하는 distance formulation을 설명하고, non-linearity가 초대규모 video collection으로의 scalability를 제한한다고 지적한다.
- A. CNN Descriptor의 Non-linear Classifier: Fine-tuning에 따른 향상은 pool5보다 fc6 및 fc7에서 더 크게 나타나며, 이는 domain-specific non-linear classifier가 성능 향상의 상당 부분을 설명함을 시사한다 [11].
- A. CNN Descriptor의 Non-linear Classifier: Average pooling 후 CNN descriptor에 적용하면 non-linear classifier가 standard linear approach보다 video classification 성능을 유의미하게 높인다 [6] [11].평가한 classifier는 exponential-χ2 kernel SVM과 RBF kernel SVM이다.
- A. CNN Descriptor의 Non-linear Classifier: Kernel similarity는 feature point 사이의 distance metric과 scale parameter σ에 의존하며, A는 average training-feature distance로부터 정의된다.
- A. CNN Descriptor의 Non-linear Classifier: Kernel은 pool5, fc6, fc7을 포함한 CNN intermediate layer의 deep feature에 적용된다.
- A. CNN Descriptor의 Non-linear Classifier: Exponential-χ2 kernel에서 Dist(X_i, X_j)는 χ2 distance인 반면, RBF kernel은 Euclidean distance를 사용한다.
- A. CNN Descriptor의 Non-linear Classifier: Average pooling 후에는 효과적이지만, 200,000 videos를 포함하는 MEDEval 14와 같은 large-scale event detection에 non-linearity를 적용하기는 어렵다.따라서 부록에서는 MEDTest 13 및 MEDTest 14 규모에서 average pooling을 개선하는 데 초점을 둔다.
B. 비선형 Classifier의 실험 결과
비선형 classifier는 MEDTest 13 및 14 설정에서 선형 classifier와 수작업으로 설계한 improved Dense Trajectories보다 CNN 기반 event detection 성능을 크게 향상시키면서도 저차원 feature를 유지한다. Exponential-χ2 SVM의 성능이 가장 우수하지만, 효율성 비용이 발생하며 explicit feature mapping으로도 이를 부분적으로만 해결할 수 있다.
- 전체 비교: 비선형 classifier는 성능을 효과적으로 향상시켜 improved Dense Trajectories보다 뚜렷한 우위를 확보하면서 저차원성의 이점도 유지한다.실험에서는 100Ex 및 10Ex 설정에서 MEDTest 13과 MEDTest 14를 비교하고, improved Dense Trajectories를 baseline으로 포함한다.
- Kernel 비교: Exponential-χ2 SVM은 모든 테스트 layer와 설정에서 linear 및 RBF classifier보다 우수하며, improved Dense Trajectories보다 평균 5% absolute mAP 높은 성능을 보인다.RBF와 exponential-χ2 classifier는 모두 linear classifier보다 유의하게 우수하며, exponential-χ2의 우위는 모든 layer와 설정에서 유지된다.
- Layer 비교: Linear model 중에서는 ReLU neuron을 사용하는 fully connected layer가 MEDTest 14 10Ex를 제외한 모든 경우에 대응하는 ReLU neuron 비사용 layer보다 유의하게 우수하다.이러한 양상은 선행 연구 [11]에서 보고된 layer 선택과 일관된다.
- 효율성의 한계: 비선형 classifier는 새로운 test exemplar마다 모든 training exemplar에 대한 kernel-matrix 계산을 수행해야 하므로, 대규모 효율성 요구사항에 적합하지 않다.반면 linear classifier는 학습된 classifier parameter와의 dot-product 연산만 필요로 한다.
- 근사: Explicit feature mapping은 원래 feature dimensionality의 세 배를 사용하면서 비선형 성능 격차를 약 2% absolute mAP만큼 줄인다.이러한 하락은 주로 χ2 kernel의 근사에 기인한다.