Source-linked AI summary
Steerable CNNs
Taco S. Cohen, Max Welling
TL;DR
기존 equivariant CNN은 더 큰 transformation group으로 확장하는 데 비용이 많이 들어 유연한 symmetry-aware representation이 제한된다. 이 논문은 representation의 type 기반 이론과 feature-dependent parameterization을 통해 steerable CNN을 개발하고, CIFAR10과 CIFAR100에서 state-of-the-art 성능을 달성하며 최신 residual architecture를 능가한다.
문제
기존 equivariant CNN은 transformation group의 크기에 따라 증가하는 계산 비용으로 제약되어 더 큰 group으로의 확장이 제한된다.
방법
이 논문은 elementary feature type, capsule-based representation, 그리고 equivariant filter의 feature-type-dependent parameter cost를 사용해 steerable CNN을 개발한다.
결과
Steerable CNN은 CIFAR10과 CIFAR100에서 state-of-the-art 성능을 달성하고, ResNet baseline을 크게 능가하며 wide 및 dense residual network보다 향상된 성능을 보인다.
시사점 및 한계
Steerability는 유용한 inductive bias로, 특히 데이터가 적을 때 model accuracy를 향상할 수 있다.
시사점 및 한계
실험은 flips와 90도 배수만큼의 rotations로 이루어진 작은 discrete group에 초점을 맞추며, large continuous high-dimensional group은 향후 평가 과제로 남긴다.
Abstract
from arXiv · showhide
It has long been recognized that the invariance and equivariance properties of a representation are critically important for success in many vision tasks. In this paper we present Steerable Convolutional Neural Networks, an efficient and flexible class of equivariant convolutional networks. We show that steerable CNNs achieve state of the art results on the CIFAR image classification benchmark. The mathematical theory of steerable representations reveals a type system in which any steerable representation is a composition of elementary feature types, each one associated with a particular kind of symmetry. We show how the parameter cost of a steerable filter bank depends on the types of the input and output features, and show how to use this knowledge to construct CNNs that utilize parameters effectively.
1 서론
서론은 local feature의 pose를 보존하면서 statistical efficiency를 높이는 방법으로 equivariant representation을 동기화하고, elementary feature type에 기반한 확장 가능한 framework로 steerable CNN을 제시한다. 이 type system은 architecture를 제약하고 equivariant filter bank에 필요한 parameter를 줄인다.
- 동기: 대규모 labeled dataset과 정보 집약적인 deep network가 computer vision의 발전을 이끌었지만, labeled data에 대한 의존을 줄이는 일은 여전히 중요한 과제다.서론은 현재의 실용적 성공과 매우 적은 label만으로 개념을 학습하는 인간의 능력을 대조한다.
- 동기: Equivariance는 local feature의 상대적 pose를 보존하면서 input transformation에 따라 representation이 예측 가능하게 변환되도록 한다.후속 layer에는 상대적 pose 정보가 필요하므로 intermediate layer는 완전히 invariant해서는 안 된다.
- 문제: 기존 equivariant CNN은 classification에서 state-of-the-art 결과를 달성하지만, transformation group이 커지면 computational cost가 group size에 따라 증가하기 때문에 방법이 비실용적이 된다.기존 방법은 90도의 배수인 rotation과 같은 작은 group에 대해서만 equivariance를 강제한다.
- 기여: Steerable representation은 독립적으로 steerable한 elementary feature type으로 분해되며, 각 type은 invariant 또는 objective meaning을 지닌 서로 다른 특성을 포착한다.이 논문은 이러한 feature type을 steerable CNN의 기반으로 제시하고 observer-independent quantity와 연결한다.
- 기여: Type system은 network weight와 architecture를 제약하고, 지정된 input type에서 output type으로 mapping하는 filter의 parameter를 줄이며, 서로 다른 type의 feature를 결합하지 못하게 한다.서론은 meter를 second에 더해서는 안 된다는 비유로 type constraint를 설명하고 residual learning을 한 예로 언급한다.
2 STEERABLE CNN … 2.4 INDUCTION
Steerable CNN은 feature space를 group representation을 전달하는 fiber로 구성하고, convolutional filter가 이 표현들을 intertwine하도록 제약하며, induction을 사용해 국소적 H-steerability를 전역적 G-steerability로 전파한다. 이 구성은 geometric symmetry 아래에서 feature channel이 어떻게 섞이는지를 transformation law로 규정하는 효율적인 equivariant layer를 지원한다.
- 2.1 FEATURE MAP과 FIBER: Feature representation은 공간 위치 x 위의 K-dimensional fibers F_x로 분해되며, signal을 channel-wise map만이 아니라 feature vector로도 기술한다.각 feature space F_l은 Z2의 모든 위치에 하나의 fiber가 존재하는 signal의 linear space다.
- 2.2 STEERABLE REPRESENTATION: Steerability는 변환된 출력 Φπ(g)f와 Φf가 입력과 무관한 선형 표현 π′(g)에 의해 연결되도록 요구하며, 이를 통해 network가 equivariant가 된다.표현 법칙 π′(gh) = π′(g)π′(h)는 steerability와 π의 representation structure에서 따른다.
- 2.2 STEERABLE REPRESENTATION: 이 framework는 translation Z2와 원점을 고정하는 transformation H로 구성된 p4m과 같은 discrete transformation group에 초점을 두며, p4m에서는 H = D4다.이 분해는 translation을 원점 주변의 rotation 및 reflection과 분리한다.
- 2.3 EQUIVARIANT FILTER BANK: Convolutional filter bank는 완전한 G-equivariant가 아니라 H-equivariant여야 한다. translation이 pattern을 fiber의 receptive field를 가로질러 이동시킬 수 있기 때문이다.Admissible filter는 Hom_H(π, ρ)의 intertwiner이며, input representation π를 output-fiber representation ρ로 사상한다.
- 2.3 EQUIVARIANT FILTER BANK: Equivariance constraint는 선형이므로 admissible filter bank는 vector space Hom_H(π, ρ)를 이루며, 그 basis는 linear system을 풀어 계산할 수 있다.Basis는 offline으로 계산한 뒤, filter는 coefficient α_i로 parameterize된 linear combination으로 학습한다.
- 2.4 INDUCTION: Induction은 H-steerable output fiber를 full group G에 대해 steerable한 feature space로 변환하여 layer-by-layer construction을 확립한다.Induced representation은 Ψ ⋆π(g)f = π′(g)Ψ ⋆f를 만족하며 π′ = Ind_G로 표기한다.
- 2.4 INDUCTION: Induced representation π′은 전체 feature space에 작용하는 반면, ρ는 개별 fiber 내부에서 작용하여 transformation에 따라 channel이 어떻게 섞이는지를 결정한다.Input representation과 비교하면 induction은 fiber transformation factor ρ(r)을 추가하며, trivial ρ는 color channel을 섞지 않는다.
- 2.4 INDUCTION: Induction으로 G-steerable feature space가 생성되면, restricted representation π′과 선택한 output representation ρ′ 사이의 intertwiner를 계산하는 방식으로 procedure를 반복할 수 있다.이 recursive construction은 다음 equivariant convolutional layer를 제공한다.
2.5 FEATURE TYPE과 CHARACTER THEORY
Steerable representation은 irreducible symmetry type의 multiplicity로 분류하며, 이는 character로 복원할 수 있다. 이러한 type은 equivariant filter bank의 parameter 수를 결정하고 parameter 효율성 평가를 가능하게 한다.
- Feature type: Irreducible representation은 서로 다른 feature symmetry를 인코딩한다. 예를 들어 B1 및 B2 basis filter는 90-degree rotation에서 부호가 바뀐다.상위 layer의 elementary filter는 분해되는 representation에 의존하므로 서로 다를 수 있다.
- Feature type: Representation multiplicity를 선택하면 feature channel 수가 결정되며, 이후 basis 선택을 제한해 multiplicity가 관련 hyperparameter가 되도록 한다.Channel dimension은 K = P_i m_i dim ϕ_i이다.
- Character theory: Representation의 type은 character inner product를 취해 계산할 수 있다. Irreducible character는 orthogonal하고 direct sum은 character를 더하기 때문이다.따라서 character의 단순한 dot product로 각 irrep의 multiplicity를 결정할 수 있다.
- Parameter efficiency: Equivariant filter bank는 dim Hom_H(π, ρ)개의 parameter를 가지므로, 그 비용은 input 및 output feature type에만 의존한다.Parameter utilization은 이 equivariant 비용을 ordinary filter bank와 비교한다. 일반적인 effective D4 layer는 μ = 8을 달성한다.
2.6 EQUIVARIANT NONLINEARITIES & CAPSULES · 2.7 COMPUTATIONAL EFFICIENCY · 2.8 STEERABLE CNNs의 실제 사용
Steerable CNNs는 capsule을 통해 basis를 고려한 equivariant nonlinearity를 구현해야 하며, block 구조 덕분에 filter bank를 효율적으로 구성할 수 있다. 실제로 사용자는 representation을 처음부터 설계하기보다 개발자가 제공하는 library에서 capsule multiplicity와 허용 가능한 activation을 선택한다.
- 2.6 EQUIVARIANT NONLINEARITIES & CAPSULES: Equivariant nonlinearity는 group action과 commute해야 하며, 허용 가능성은 feature type만이 아니라 선택한 representation basis에 따라 결정된다.허용 가능한 fiber-wise nonlinearity는 group action과의 commute를 보존하면서 input representation ρ를 output representation ρ′로 mapping한다.
- 2.6 EQUIVARIANT NONLINEARITIES & CAPSULES: ρ-capsule은 일반적으로 저차원인 feature vector로, ρ에 따라 transform한다. 같은 type을 공유하는 capsule도 basis가 다르면 inequivalent할 수 있다.Fiber는 지정된 multiplicity를 갖는 catalogued capsule을 쌓아 구성한다.
- 2.6 EQUIVARIANT NONLINEARITIES & CAPSULES: Signed-permutation capsule은 CReLU 같은 concatenated nonlinearity를 지원하는 반면, quotient capsule은 permutation으로 구현되며 any nonlinearity와 호환된다.많은 group에서 irreducible capsule은 CReLU를 사용할 수 있으며, scale-free concatenated nonlinearity는 monomial-matrix representation에도 적용된다.
- 2.7 COMPUTATIONAL EFFICIENCY: Equivariant filter bank는 parameter를 약 10× 줄일 수 있지만, 전체 basis는 여전히 impractically large할 수 있어 block 구조의 계산이 필요하다.수백 개의 channel과 3 × 3 filter를 사용하면 ordinary filter bank는 약 10^6 dimensions를 가질 수 있으며, equivariant basis도 여전히 약 10^6 × 10^5일 수 있다.
- 2.7 COMPUTATIONAL EFFICIENCY: Block-diagonal input 및 output representation은 intertwiner block을 유도하며, 각 block은 하나의 input-output capsule pair에 대응하고 basis matrix로 parameterize된다.반복되는 equivalent capsule은 같은 intertwiner basis를 재사용하는 superblock으로 묶을 수 있다.
- 2.7 COMPUTATIONAL EFFICIENCY: Computation graph는 induced representation과 intertwiner basis를 offline에서 precompute한 뒤, 각 basis matrix stack에 learned parameter matrix를 곱해 superblock을 구성한다.Superblock을 채운 후 결과 matrix를 convolutional filter-bank dimensions에 맞게 reshape한다.
- 2.8 USING STEERABLE CNNS IN PRACTICE: Steerable CNNs의 사용법은 ordinary CNNs와 비슷하다. 사용자는 개발자가 제공하는 library에서 capsule의 multiplicity를 선택하고 각 capsule의 admissible activation을 정한다.Equivariance를 보존하려면 해당 capsule에 연결된 admissible list에서 activation function을 선택해야 한다.
3 관련 연구
선행 연구는 steerable filters, equivariant kernels, invariant 또는 equivariant neural networks를 개발하는 한편, steerability를 group representation theory와 연결했다. 본 논문은 neural-network features와 연관된 group representations의 분해 안에 자신의 type system을 위치시킨다.
- Steerable filters: Steerable filters는 signal processing과 low-level vision에서 시작되었으며, 후속 연구는 steerability를 group representation theory와 연결했다.이러한 연결은 Lenz (1989), Koenderink & Van Doorn (1990), Teo (1998), Krajsek & Mester (2007)를 포함한 여러 연구에서 관찰되었다.
- Equivariant learning: Machine-learning 연구는 capsules, brain-inspired equivariance, group-equivariant scattering networks를 통해 equivariant kernels와 representations를 연구했다.인용된 연구로는 Reisert (2008), Skibbe (2013), Hinton et al. (2011), Tieleman (2014), Anselmi et al. (2014), Mallat (2012)가 있다.
- Invariant 및 equivariant CNNs: Invariant 및 equivariant CNNs와 scattering networks는 일반적으로 G 위의 함수로 해석되며 regular representation을 갖는 feature maps를 사용한다.인용된 CNN 연구로는 Gens & Domingos (2014), Kanazawa et al. (2014), Dieleman et al. (2015; 2016), Cohen & Welling (2016), Marcos et al. (2016)가 있다.
- Type systems: Network가 학습한 representation과 연관된 group representation을 분해하면 neural-network type system이 자연스럽게 도출된다.이는 논문의 type-system 관점을 neural networks에 type systems를 추가하는 문제에 관한 Olah (2015)와 Balduzzi & Ghifary (2015)의 초기 논의와 연결한다.
4 실험
CIFAR10 실험은 steerable CNN이 유용한 inductive bias를 제공하며, 특히 capsule type을 조합할 때 효과적임을 보여준다. 최종 architecture는 ResNet baseline을 능가하고 full CIFAR10과 CIFAR100에서 state-of-the-art results를 달성한다.
- 실험 설정: 실험에서는 처음에 2,000 training samples만 사용한 CIFAR10으로 steerability를 inductive bias로 검증하고 small-data regime에서 capsule type을 비교했다.baseline은 조정된 20-layer wide ResNet이었다.
- Capsule 비교: Single-capsule architecture는 대체로 약 30–40% error로 성능이 낮았지만, regular-representation capsule은 26.75% error를 기록하며 standard CNN을 능가했다.실험 결과는 여러 capsule type이 network가 표현할 수 있는 spatial pattern을 제한함을 시사한다.
- Mixed capsule architecture: 2k CIFAR10 label을 사용했을 때 mixed-capsule architecture는 24.48% error를 달성해 standard ResNet과 regular capsule을 능가했다.residual block은 input/output layer에 quotient capsule을, intermediate layer에 irreducible capsule을 사용한다.
- 최종 결과: Full CIFAR10과 CIFAR100에서 steerable CNN은 ResNet baseline을 크게 능가하고 state-of-the-art results를 달성했으며, 4k-label CIFAR10에서는 semi-supervised state of the art에 근접했다.4k-label method는 26.2% error를 달성한 DCGAN transfer learning도 능가한다.
5 결론 및 향후 연구
이 논문은 steerable representations를 이론적 프레임워크이자 유용한 inductive bias로 제시하며, 간단한 steerable architecture로 CIFAR10과 CIFAR100에서 state-of-the-art 결과를 달성한다. 향후 연구로는 이론을 large continuous groups로 확장하고, feature types를 학습하며, classification을 넘어 steerable CNNs를 적용하는 방향을 제시한다.
- 간단한 steerable architecture가 CIFAR10과 CIFAR100에서 state-of-the-art 결과를 달성하며, 최근의 wide 및 dense residual networks보다 뛰어난 성능을 보인다.데이터가 적을 때 steerability가 특히 정확도를 향상한다.
- 이 프레임워크는 representation learning과 representation theory를 연결하여 equivariant convolutional networks의 내부 작동 원리를 명확히 한다.저자들은 CNNs를 기하학적 computation engines로 규정하며, representation theory가 향후 연구에 기여할 것으로 기대한다.
- large, continuous, and high-dimensional groups에 대한 steerable CNNs의 평가는 향후 연구의 중요한 방향이다.논문의 실행 예시는 90도의 배수만큼의 flips와 rotations를 사용하는 작은 discrete non-commutative group인 반면, 이론은 continuous settings로 확장된다.
- 향후 연구에는 feature types를 학습하고 steerable CNNs를 action recognition, pose and motion estimation, continuous control에 적용하는 작업이 포함된다.feature types의 학습은 non-compact groups에서 더 쉬울 수 있다. 이들의 irreducible representations가 최적화에 적합한 continuous space를 이루기 때문이다.
G. B. Folland. A Course in Abstract Harmonic Analysis. CRC Press, 1995.
이 절에서는 steerable filter, steerable pyramid, 군론적 표현, 대칭성을 고려한 convolutional network에 관한 선행 연구를 나열한다. 또한 residual, dense, invariant, scattering, generative neural architecture와 관련된 기초 연구 및 인접 연구도 포함한다.
- 선행 steerable-filter 연구에는 steerable filter, overcomplete steerable pyramid filter, multi-scale derivative computation이 포함된다.
- 관련 neural-network 연구는 deep symmetry network, equivariance, rotation 및 scale invariance, scattering, residual 및 dense connectivity, generative 또는 semi-supervised learning을 다룬다.
- 참고문헌에는 군론적 방법, induced representation, finite-group representation, harmonic analysis에 대한 기초적 논의가 포함된다.
부록 A: 유도
이 부록은 H-equivariant filter bank와의 convolution이 induced representation에 따라 변환하는 feature map을 생성함을 유도한다. 명시적 group 표기, matrix 계산, geometric interpretation을 사용해 결과를 확립한다.
- 유도: 부록은 H-equivariant filter bank와의 convolution이 induced representation에 따라 변환하는 feature map을 산출한다는 transformation law를 유도한다.이 유도는 equation 5를 확립하며, 그 마지막 줄이 논문에서 제시한 transformation result다.
- 표기법: 표기법은 points x ∈ Z2와 translations ¯x ∈ G를 구분하고, G가 자기 자신에 작용하는 것과 Z2에 작용하는 것을 분리한다.section map ¯·는 G에서 Z2의 점으로 사영되는 translations를 선택하며, 두 action은 각각 matrix–matrix multiplication과 matrix–vector multiplication을 사용한다.
- Matrix formulation: 명시적 matrix representation은 transformation matrix R과 translation vector T를 사용해 group elements를 표현하므로, induced-representation 계산을 검증할 수 있다.convolution은 이 표기법과 선택된 section을 사용해 정의된다.
- 해석: 대수적 유도는 복잡하다고 인정하는 한편, induced representation은 natural construction으로 기하학적으로 제시된다. 더 폭넓은 논의는 Serre (1977), Mackey (1952), Reeder (2014)에 나타난다.부록은 이러한 복잡성이 제시 과정에서 abstraction이 제한적이기 때문에 발생한다고 설명한다.
APPENDIX B: GROUP EQUIVARIANT CNN과의 관계
이 절에서는 Group Equivariant Convolutional Networks (G-CNNs)가 steerable CNN의 특수한 경우, 구체적으로 regular capsule을 사용하는 경우임을 확립한다.
- Group Equivariant CNN과의 관계: G-CNN은 regular capsule을 사용하는 steerable CNN이다.이들의 feature map은 regular representation에 따라 변환되며, 이는 permutation matrix로 자연스럽게 구현된다.
- Group Equivariant CNN과의 관계: 여기서 사용하는 평면 기반 feature map과 달리, G-CNN의 feature map은 입력 map을 제외하면 G에서 R^K로 가는 함수다.G의 regular representation은 H의 regular representation에 의해 유도되며, 이 논문에서는 이를 regular capsule로 정의한다.
부록 C: 정규 및 몫 특징
몫 특징은 유한군 H가 잉여류 H/K에 작용함으로써 생겨나며, 각 몫 위의 함수에 대한 순열 표현을 이룬다. 자명 부분군의 경우에는 정규 표현이 되며, 이를 steerable CNN에 사용하는 것은 group convolution과 동등하고 G-CNN을 엄밀히 일반화한다.
- 몫 특징: H의 각 부분군 K는 잉여류가 H를 분할하고 H의 자연스러운 왼쪽 작용을 받는 몫 H/K를 정의한다.작용은 a · bK = (ab)K이다.
- 몫 특징: H/K 위의 함수는 H 표현을 물려받는다. 군 작용이 잉여류를 순열하므로 이에 부착된 함수값도 순열하기 때문이다.이러한 표현은 순열 행렬로 구현할 수 있으며, 작은 군에서는 손으로 계산하고 큰 군에서는 자동화할 수 있다.
- 정규 특징: K = {e}이면 H/K는 H와 동형이고, 그 결과로 얻는 함수 공간은 정규 표현이다.steerable CNN에서 정규 표현을 사용하는 것은 Cohen & Welling (2016)이 도입한 group convolution과 동등하다.
- 정규 특징: 따라서 정규 표현을 사용할 때 steerable CNN은 G-CNN의 엄밀한 일반화다.이는 정규 표현과 Cohen & Welling (2016)이 도입한 group convolution 사이의 동등성에서 따른다.
- D4 예시: D4의 경우 나열된 몫 특징에는 차원이 2인 r, 차원이 2인 r2m, 차원이 2인 r2mr이 포함된다.이는 각각 부분군 {e, r, r2, r3}, {e, r2, m, mr2}, {e, r2, mr, mr3}에 대응한다.