Source-linked AI summary
Random Vector Functional Link Neural Network based Ensemble Deep Learning
Rakesh Katuwal, P. N. Suganthan, M. Tanveer
TL;DR
Deep neural networkのアンサンブル化は計算コストが高くなり得る。本論文では、隠れ層パラメータを固定したstackedおよびensemble deep RVFL networkを導入し、関連するrandomized neural networkを上回る汎化性能を報告する。
問題
Deep neural networkのアンサンブル化は大きな計算コストを招き得るため、より効率的なrandomized-networkアプローチが求められる。
手法
本論文では、ランダムに生成して固定した隠れ層パラメータを持つstacked RVFL layerと、1つの学習済みnetworkから構成されるensembleを用いるdRVFLおよびedRVFLを提案する。
結果
提案するdeep learning RVFL networkは、関連するrandomized neural networkを上回る汎化性能と優れた性能を達成する。
要点と限界
Deep RVFL networkは、関連するneural-network alternativeに対する性能上の優位性が報告されたrandomized neural-network frameworkを提供する。
要点と限界
本論文は、deep neural networkをアンサンブル化する際のトレードオフとして計算コストを挙げている。
Abstract
from arXiv · showhide
In this paper, we propose a deep learning framework based on randomized neural network. In particular, inspired by the principles of Random Vector Functional Link (RVFL) network, we present a deep RVFL network (dRVFL) with stacked layers. The parameters of the hidden layers of the dRVFL are randomly generated within a suitable range and kept fixed while the output weights are computed using the closed form solution as in a standard RVFL network. We also propose an ensemble deep network (edRVFL) that can be regarded as a marriage of ensemble learning with deep learning. Unlike traditional ensembling approaches that require training several models independently from scratch, edRVFL is obtained by training a single dRVFL network once. Both dRVFL and edRVFL frameworks are generic and can be used with any RVFL variant. To illustrate this, we integrate the deep learning networks with a recently proposed sparse-pretrained RVFL (SP-RVFL). Extensive experiments on benchmark datasets from diverse domains show the superior performance of our proposed deep RVFL networks.
1. はじめに
本論文では、randomized RVFL networksに基づくdeepおよびensemble deep architectureを開発し、back-propagationで学習するdeep networkの限界と計算コストに対処する。提案するdRVFLおよびedRVFL modelは、RVFLの効率性と各variantへの適用性を維持しつつ、実世界のclassification datasetで優れた性能を達成する。
- 動機と背景: 提案frameworkは、最適化に時間を要すること、non-global convergenceの可能性、大規模なデータ要求、データが限られた領域での低い性能など、従来のdeep learningが抱える限界を対象とする。Traditional ensemblingはrobustnessとaccuracyを向上させられる一方、deep networkでは大きな計算コストを伴う。
- 動機と背景: closed-form solutionを持つrandomized neural networkは、学習を高速化してback-propagation networkの問題を回避する。さらにRVFLは、直接的なinput-output linkと固定されたrandom hidden parameterを利用する。RVFLのdirect linkは元のfeatureを再利用し、randomizationを正則化するとともに、modelをより薄く単純に保つのに役立つ。
- 提案model: dRVFLは、randomに生成して固定したhidden parameterを持つstacked hidden layerと、解析的に計算されるoutput weightによって、RVFLを拡張する。これにより、randomized networkの学習パラダイムを維持しながら、deepな表現学習が可能になる。
- 提案model: edRVFLは、L個のneural networkを独立にゼロから学習するのではなく、1つのdRVFL networkに含まれるhidden-layer modelを暗黙的にensembleする。上位layerのmodelは、元のfeatureと先行layerのnonlinear featureを組み合わせるため、このframeworkはensemble learningとdeep learningの両方に基づく。
- 適用範囲と評価: dRVFLとedRVFLはRVFL variant全般に適用可能なgeneric frameworkであり、実世界のclassification datasetを用いた実験では、他の関連neural networkと比較して優れた性能を示す。著者らは、standard RVFLおよびsparse-pretrained RVFL (SP-RVFL) を用いてframeworkを具体化する。
2. 関連研究
本節では、RVFLとそのELM variantを概観し、続いてSP-RVFLのsparse pretrainingとHELMのrandomized multilayer architectureについて述べる。これらの手法が、本論文におけるdeepおよびpretrained RVFLの発展の動機となっている。
- ELM: ELM は、standard RVFL architectureとは異なり、direct linksもbias termも持たないRVFL variantである。Figure 1では、各ネットワークのdirect links、bias term、およびrandomly generated fixed hidden-layer weightsを対比している。
- SP-RVFL: SP-RVFL は、RVFL trainingに先立ち、l1-regularized autoencoderを用いてhidden-layer weightsを学習することで、random hidden-parameterの限界に対処する。sparse autoencoderはFISTA で最適化され、そのpretrained weightsがstandard RVFLのrandomly generated hidden weightsに置き換わる。
- HELM: HELM は、ELMに基づくrandomized multilayer networkであり、hidden feature-extraction layersを積層し、最終的な判定にELM classifierを用いる。そのfeature encoderにはsparse autoencoderを用い、feature extractionのために複数のhidden layersを積層する。
3. 表現学習のためのDeep RVFL
本節では、固定されたrandom hidden parameters、元の特徴へのdirect links、closed-form output weightsを備えた、RVFLを積層したアーキテクチャであるdRVFLを導入し、さらにedRVFLへ拡張する。edRVFLは、1回のdRVFLの学習結果を再利用して複数の中間特徴classifierを構成し、その出力を統合することで、独立に学習したensembleのコストを削減する。
- 3.1 Deep RVFL network: dRVFLは、randomly generated weights and biasesを固定したままhidden layersを積層し、RVFLのclosed-form solutionsを用いてonly the output weightsを計算する。各layerは直前のlayerのrepresentationを変換し、outputはすべてのhidden layersから得られるnonlinear featuresと元のinput featuresを統合する。
- 3.2 Ensemble deep RVFL network: edRVFLは最終的な判定にintermediate representationsを用い、output-weight computationを、voting or averagingによって統合される複数の独立に解かれたmodelへ分解する。各modelは、direct linksを介して、先行するnonlinear featuresと元のinputをともに受け取る。
- 3.2 アンサンブル深層RVFLネットワーク: 1回のdRVFLの学習により、1つのdRVFLを学習する場合よりわずかに高コストである一方、複数の独立したdRVFLモデルを学習する場合より低コストでedRVFLアンサンブルが生成される。このフレームワークは汎用的であり、edRVFL内で任意のRVFL variantを使用できる。
4. 実験
13の実世界分類データセットにおいて、edRVFLは標準RVFLで最も優れた結果を達成し、dSP-RVFLとedSP-RVFLはSP-RVFLを上回り、提案する深層フレームワークが全体順位で最良となる。実験では、固定したランダム化深層ネットワーク、10-fold cross-validation、浅層・深層・ensemble RVFL variantにまたがる比較を用いる。
- データセット: 実験では、生物医学、顔画像、手書き数字、物体認識、テキストの各領域にまたがる、13の公開実世界分類データセットを対象とする。データセットには、Carcinom、Lung、ORL、Yale、BA、Gisette、MNIST、USPS、COIL20、COIL100、BASEHOCK、RCV1、TDT2が含まれる。
- 標準RVFLベース手法: 13データセット中12ではedRVFLが最高精度を達成し、残りの全データセットではdRVFLを上回り、3データセットでは同等の性能を示す。Table 2は標準RVFLベース手法の精度（%）を報告しており、edRVFLは分類器の順位でも最上位である。
- SP-RVFLベース手法: dSP-RVFLとedSP-RVFLはSP-RVFLを上回り、edSP-RVFLはdSP-RVFL以上の性能を示し、両者はともにSP-RVFLより有意に優れている。Table 3はSP-RVFLベースの比較を示し、Friedman分析では臨界値F(2,24) = 3.4に対して、α = 0.05で帰無仮説が棄却される。
5. 結論
本論文では、隠れ層パラメータを固定し、出力重みを解析的に計算する汎用的な深層RVFLおよびアンサンブルRVFLの枠組みを導入する。edRVFLでは複数モデルを独立に学習する代わりに一度だけ学習を行う。実験では、関連するランダム化ニューラルネットワークを上回る汎化性能が示され、今後は追加の学習タスクを対象とする。
- 5. 結論: dRVFLはランダムに生成して固定した隠れ層パラメータを用い、隠れ層とdirect linkから表現を抽出して特徴に重み付けしながら、出力重みを解析的に計算する。これは、deep feature extractionと、RVFLのclosed-formな出力重み解を組み合わせたものである。
- 5. 結論: edRVFLは、深層ネットワークを一度学習することでアンサンブル学習と深層学習を融合する。dRVFLよりコストはわずかに高いが、従来のアンサンブルより大幅に低コストである。従来のアンサンブルとは異なり、edRVFLでは複数モデルを独立に学習する必要がない。
- 5. 結論: 両frameworkはRVFL variant全体に適用可能であり、ランダムに生成した隠れ層パラメータではなく、sparse autoencoderで学習した隠れ層パラメータに基づくdSP-RVFLとedSP-RVFLによって実証される。SP-RVFL拡張では、隠れ層パラメータのランダム生成をsparse autoencoderによる学習に置き換える。
- 5. 結論: 広範なclassification実験により、提案するdeep RVFL networkが関連するrandomized neural networkより優れた汎化性能を達成することが示される。結論では、複数のclassification datasetにわたってこの結果が報告される。
- 5. 結論: 今後は、regression、time-series forecasting、semi-supervised learning、incremental learningへの応用を検討する。これらの課題により、本研究で扱ったclassification datasetを超えて評価を拡張する。