Source-linked AI summary
Random Vector Functional Link Neural Network based Ensemble Deep Learning
Rakesh Katuwal, P. N. Suganthan, M. Tanveer
TL;DR
Deep neural network 앙상블은 계산 비용이 클 수 있다. 이 논문은 hidden parameter를 고정한 stacked 및 ensemble deep RVFL network를 제안하며, 관련 randomized neural network보다 우수한 일반화 성능을 보고한다.
문제
Deep neural network 앙상블은 상당한 계산 비용을 초래할 수 있어, 더 효율적인 randomized-network 접근법이 필요하다.
방법
이 논문은 dRVFL과 edRVFL을 제안한다. 무작위로 생성해 고정한 hidden parameter를 사용하는 stacked RVFL layer와, 하나의 학습된 network에서 도출한 ensemble을 활용한다.
결과
제안한 deep learning RVFL network는 관련 randomized neural network보다 더 나은 일반화와 우수한 성능을 달성한다.
핵심 결론 및 한계
Deep RVFL network는 관련 neural-network 대안보다 성능상 이점을 보이는 randomized neural-network framework를 제공한다.
핵심 결론 및 한계
이 논문은 deep neural network 앙상블의 trade-off로 계산 비용을 지적한다.
Abstract
from arXiv · showhide
In this paper, we propose a deep learning framework based on randomized neural network. In particular, inspired by the principles of Random Vector Functional Link (RVFL) network, we present a deep RVFL network (dRVFL) with stacked layers. The parameters of the hidden layers of the dRVFL are randomly generated within a suitable range and kept fixed while the output weights are computed using the closed form solution as in a standard RVFL network. We also propose an ensemble deep network (edRVFL) that can be regarded as a marriage of ensemble learning with deep learning. Unlike traditional ensembling approaches that require training several models independently from scratch, edRVFL is obtained by training a single dRVFL network once. Both dRVFL and edRVFL frameworks are generic and can be used with any RVFL variant. To illustrate this, we integrate the deep learning networks with a recently proposed sparse-pretrained RVFL (SP-RVFL). Extensive experiments on benchmark datasets from diverse domains show the superior performance of our proposed deep RVFL networks.
1. 서론
이 논문은 randomized RVFL networks에 기반한 deep 및 ensemble deep architecture를 개발하여 back-propagation으로 학습되는 deep networks의 한계와 computational cost를 해결한다. 제안하는 dRVFL 및 edRVFL models는 RVFL의 효율성과 variant 전반의 적용 가능성을 유지하면서 real-world classification datasets에서 우수한 성능을 달성한다.
- 동기와 배경: 제안하는 framework는 시간이 많이 걸리는 optimization, non-global convergence 가능성, large data requirements, limited-data domains에서의 낮은 성능을 포함한 conventional deep learning의 한계를 대상으로 한다.Traditional ensembling은 robustness와 accuracy를 높일 수 있지만 deep networks에 상당한 computational cost를 초래한다.
- 동기와 배경: Closed-form solution을 사용하는 randomized neural networks는 더 빠르게 학습하여 back-propagation networks의 문제를 피하며, RVFL은 direct input-output links와 고정된 random hidden parameters를 추가로 사용한다.RVFL의 direct links는 original features를 재사용하고 randomization을 regularize하며 model을 더 얇고 단순하게 유지하는 데 기여한다.
- 제안 모델: dRVFL은 randomly generated, fixed hidden parameters와 analytically computed output weights를 사용하는 stacked hidden layers로 RVFL을 확장한다.이를 통해 randomized-network training paradigm을 유지하면서 deep representational learning을 가능하게 한다.
- 제안 모델: edRVFL은 L개의 neural networks를 처음부터 독립적으로 학습하는 대신 하나의 dRVFL network에 포함된 hidden-layer models를 암묵적으로 ensemble한다.Higher-layer models는 direct original features와 preceding layers에서 얻은 nonlinear features를 결합하므로, 이 framework는 ensemble learning과 deep learning을 동시에 기반으로 한다.
- 범위와 평가: dRVFL과 edRVFL은 RVFL variants 전반에 generic하며, real-world classification datasets에 대한 experiments에서 다른 관련 neural networks보다 우수한 성능을 보인다.저자들은 standard RVFL과 sparse-pretrained RVFL (SP-RVFL) 을 사용해 이 framework들을 구현한다.
2. 관련 연구
이 절에서는 RVFL과 그 ELM 변형을 검토한 뒤, SP-RVFL의 sparse pretraining과 HELM의 randomized multilayer architecture를 설명한다. 이러한 방법들은 본 논문의 deep 및 pretrained RVFL 발전 방향에 동기를 부여한다.
- ELM: ELM 은 standard RVFL architecture와 달리 direct link와 bias term이 없는 RVFL 변형이다.Figure 1은 네트워크의 direct link, bias term, 그리고 randomly generated fixed hidden-layer weight를 대조한다.
- SP-RVFL: SP-RVFL 은 RVFL 학습 전에 l1-regularized autoencoder를 사용해 hidden-layer weight를 학습함으로써 random hidden-parameter의 한계를 해결한다.sparse autoencoder는 FISTA 로 최적화되며, pretrained weight가 standard RVFL의 randomly generated hidden weight를 대체한다.
- HELM: HELM 은 ELM에 기반한 randomized multilayer network로, hidden feature-extraction layer를 적층하고 최종 판단에 ELM classifier를 사용한다.그 feature encoder는 sparse autoencoder를 사용하며, feature extraction을 위해 여러 hidden layer를 적층한다.
3. 표현 학습을 위한 Deep RVFL
이 절에서는 고정된 random hidden parameters, original features로의 direct links, closed-form output weights를 갖는 stacked RVFL architecture인 dRVFL을 소개한 뒤 이를 edRVFL로 확장한다. edRVFL은 하나의 dRVFL training run을 재사용해 여러 intermediate-feature classifiers를 구성하고 그 출력을 결합하므로, 독립적으로 학습하는 ensemble의 비용을 줄인다.
- 3.1 Deep RVFL network: dRVFL은 randomly generated weights and biases가 고정된 상태로 유지되는 hidden layers를 쌓고, output weights만 RVFL closed-form solutions를 사용해 계산한다.각 layer는 앞선 layer의 representation을 변환하며, output은 모든 hidden layers의 nonlinear features와 original input features를 결합한다.
- 3.2 Ensemble deep RVFL network: edRVFL은 최종 결정을 위해 intermediate representations를 사용하고, output-weight computation을 여러 independently solved models로 분해한 뒤 voting or averaging으로 결합한다.각 model은 direct links를 통해 앞선 nonlinear features와 original input을 함께 입력받는다.
- 3.2 Ensemble deep RVFL network: dRVFL 하나를 한 번 학습하면 하나의 dRVFL보다 약간 높은 비용으로 edRVFL ensemble이 생성되지만, 여러 independent dRVFL models를 학습하는 것보다는 lower cost다.이 framework는 generic하므로 edRVFL 내부에서 어떤 RVFL variant든 사용할 수 있다.
4. 실험
13개 실제 분류 데이터셋 전반에서 edRVFL은 standard-RVFL 결과가 가장 우수했으며, dSP-RVFL과 edSP-RVFL은 SP-RVFL보다 뛰어났고, 제안한 deep framework들은 전체 순위에서 가장 높은 성능을 보였다. 실험은 고정된 randomized deep network, 10-fold cross-validation, 그리고 shallow·deep·ensemble RVFL 변형을 아우르는 비교를 사용했다.
- 데이터셋: 실험은 biomedical, 얼굴 이미지, 손글씨 숫자, 객체 인식, 텍스트 도메인에 걸친 13개의 공개 실제 분류 데이터셋을 대상으로 했다.데이터셋에는 Carcinom, Lung, ORL, Yale, BA, Gisette, MNIST, USPS, COIL20, COIL100, BASEHOCK, RCV1, TDT2가 포함된다.
- Standard RVFL 기반 방법: 13개 데이터셋 중 12개에서 edRVFL이 최고 정확도를 달성했으며, 나머지 모든 데이터셋에서는 dRVFL보다 우수했고 3개에서는 dRVFL과 동률이었다.Table 2는 standard RVFL 기반 방법들의 정확도(%)를 보고하며, edRVFL은 순위가 가장 높은 classifier이기도 하다.
- SP-RVFL 기반 방법: dSP-RVFL과 edSP-RVFL은 SP-RVFL보다 우수했으며, edSP-RVFL은 dSP-RVFL 이상으로 성능을 보였고 두 방법 모두 SP-RVFL보다 유의하게 뛰어났다.Table 3은 SP-RVFL 기반 비교를 제시하며, Friedman 분석은 α = 0.05에서 임계값 F(2,24) = 3.4로 귀무가설을 기각한다.
5. 결론
이 논문은 고정된 hidden parameter와 해석적으로 계산된 output weight를 사용하는 generic deep 및 ensemble RVFL framework를 제안하며, edRVFL은 여러 모델을 독립적으로 학습하는 대신 한 번만 학습한다. 실험 결과, 관련 randomized neural network보다 generalization이 향상되었으며, 향후 연구에서는 추가적인 learning task를 다룬다.
- 5. 결론: dRVFL은 무작위로 생성되어 고정된 hidden-layer parameter를 사용하고 output weight를 해석적으로 계산하며, hidden layer와 direct link에서 representation을 추출하고 feature에 가중치를 부여한다.이는 deep feature extraction과 RVFL의 closed-form output-weight solution을 결합한다.
- 5. 결론: edRVFL은 한 개의 deep network를 한 번만 학습하여 ensemble과 deep learning을 결합하며, dRVFL보다 비용은 약간 높지만 traditional ensemble보다 비용이 유의하게 낮다.traditional ensemble과 달리 edRVFL은 여러 모델을 독립적으로 학습하지 않는다.
- 5. 결론: 두 framework는 RVFL variant 전반에 적용 가능한 generic framework이며, 무작위로 생성된 hidden parameter 대신 sparse-autoencoder로 학습한 hidden parameter를 사용하는 dSP-RVFL과 edSP-RVFL을 통해 이를 입증한다.SP-RVFL 확장은 random hidden-layer parameter generation을 sparse-autoencoder learning으로 대체한다.
- 5. 결론: 광범위한 classification 실험에서 제안한 deep RVFL network가 관련 randomized neural network보다 더 나은 generalization을 달성하는 것으로 나타났다.결론에서는 여러 classification dataset에 걸쳐 이 결과를 보고한다.
- 5. 결론: 향후 연구에서는 regression, time-series forecasting, semi-supervised learning, incremental learning 응용을 검토한다.이 task들은 본 연구에서 다룬 classification dataset을 넘어 평가 범위를 확장한다.