Source-linked AI summary
ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION
TL;DR
確率的目的関数では、特に大規模かつ高次元の機械学習問題において、効率的な勾配ベース最適化が必要である。Adamは、勾配の一次および二次モーメントに基づく適応的な学習率によってこれに対処し、実験では広範な非凸最適化問題に対して頑健で適用性が高いことが示されている。
問題
確率的目的関数により、大規模かつ高次元の設定で効率的な勾配ベース最適化が必要となる。
手法
Adamは一次勾配と、勾配の一次および二次モーメントの推定値から計算されるパラメータごとの適応的学習率を用いる。
結果
実験では、Adamは多様なモデルとデータセットにわたって他の手法を一貫して上回り、広範な非凸最適化問題に対して頑健であることが示されている。
要点と限界
Adamは単純でメモリ効率の高いoptimizerであり、大規模データセットまたは高次元パラメータ空間を持つ機械学習問題に適している。
要点と限界
勾配が疎な場合、信頼できる二次モーメント推定には小さなβ2が必要となることがあり、初期ステップが過度に大きくなるのを避けるには初期化バイアス補正が重要である。
Abstract
from arXiv · showhide
1 はじめに
本節では、Adamを、一次勾配のみと少ないメモリで動作する効率的な確率的最適化手法として提示する。勾配のモーメントから適応的学習率を導出し、AdaGradとRMSPropに関連する利点を組み合わせ、さまざまなモデルとデータセットで一貫して高い性能を示すと報告されている。
- 動機: 確率的勾配ベース最適化は、科学・工学における微分可能なスカラー目的関数を扱うものであり、勾配降下法は比較的効率的なアプローチを提供する。本節では、これらの問題を、パラメータ化された目的関数の最大化または最小化として位置づける。
- 貢献: Adamは、一次勾配のみと少ないメモリで、一次および二次モーメント推定値からパラメータ固有の適応的学習率を計算する。名称はadaptive moment estimationに由来する。
- 貢献: Adamは、疎な勾配に対するAdaGradの有効性と、RMSPropの適応的学習率の挙動を組み合わせるよう設計されている。本節では、動機となった手法としてAdaGrad とRMSPropを挙げる。
- 適用範囲と主張: Adamは、大規模かつ高次元の機械学習に適用できる汎用的な手法として提示され、モデルとデータセット全体で一貫した実証的改善を示すと報告されている。さらに、初期化バイアス補正手法を導入し、オンライン凸計画におけるAdamの収束を解析する。
2 アルゴリズム
Adamは、確率勾配の第一・第二モーメント推定値を適応的に更新することで、微分可能でノイズを含む目的関数の期待値を最小化する。バイアス補正はそれらのゼロ初期化に対処し、正規化更新により実効ステップは基準ステップサイズαによっておおむね有界に保たれる。
- 2 アルゴリズム: Adamは、連続する時刻で観測された実現値を用いて、微分可能な確率的目的関数の期待値を最小化する。確率性は、ランダムなminibatchの評価やその他の要因から生じうる。
- 2 ALGORITHM: このアルゴリズムは、β1およびβ2によって制御される勾配と勾配の二乗の指数移動平均を保持し、第一および第二の生モーメントを推定する。両方の平均はゼロから始まるため、Adamはゼロ方向への初期バイアスを補正する。
- 2 アルゴリズム: Adamの正規化更新は通常、その実効的な大きさがαによっておおむね抑えられ、現在のパラメータ値の周囲にtrust regionを形成する。このため、多くのmachine-learning modelでは、αの適切なスケールを事前に比較的容易に決定できる。
3 初期化バイアス補正
Adamは、期待される二次モーメント推定値が真の二次モーメントとどのように異なるかを導出し、その結果得られるゼロ初期化因子で割ることで、指数移動平均における初期化バイアスを補正する。この補正は、small β2が必要である一方、補正しなければ初期ステップが過大になるsparse gradientsにおいて特に重要である。
- 3 初期化バイアス補正: Adamは、確率的勾配の二乗の指数移動平均から二次モーメントの初期化バイアス補正を導出する。一次モーメントの導出も同様である。実行中の推定値はゼロで初期化されるため、その初期の期待値は真の二次生モーメントと一致しない。
- 3 初期化バイアス補正: (1 − β2^t)で割ることにより、二次モーメントの実行中平均をゼロで初期化することによって生じるバイアスを補正する。ゼロ初期化項を分離した後、補正をAdamのアルゴリズムに導入する。
- 3 初期化バイアス補正: sparse gradientsでは、信頼できる二次モーメント推定値を得るために、small β2で多数の勾配を平均する必要がある。初期化バイアス補正がなければ、この同じsmall β2の設定により、初期ステップがはるかに大きくなる。
4 収束解析
この解析ではAdamをonline-learning algorithmとして定式化し、勾配と反復点が有界であるという仮定の下で後悔保証を確立する。また、adaptive methodsがsparse featuresの恩恵を受けること、さらに第一モーメント係数を減衰させることが収束に重要であることを示す。
- AdamをZinkevich (2003)のonline-learning frameworkで解析し、未知の凸コスト関数列に対する後悔によって性能を評価する。
- 勾配、パラメータ間距離が有界で、β1、β2が適切な条件を満たすとき、Theorem 4.1はAdamに対して、既知の最良の一般的な凸online-learningの後悔上界に匹敵するregret boundを与える。この定理は、learning rateを減衰させ、β1,tを指数関数的に減衰させる場合に適用される。
- 勾配が有界なsparse dataでは、Duchi et al. (2011)のfeature settingと同様に、Adamの総和項は一般的な上界より大幅に小さくなり得る。彼らのexpected-normに関する結果はAdamにも適用される。
- AdamやAdagradなどのadaptive methodsはO(log d)依存性を達成でき、non-adaptive methodsのO(√d)を改善する。
- β1,tをゼロに向けて減衰させることは理論解析上重要であり、学習後半でmomentumを低減すると収束が改善するという経験的知見（Sutskever et al., 2013）とも一致する。
- この解析は、勾配とパラメータ間距離が有界であれば、Adamの平均後悔が収束することを証明する。この結果はTheorem 4.1から導かれる。
5 関連研究
AdamはRMSProp、AdaGrad、その他の曲率適応型stochastic optimizerと関連する一方、momentに基づく更新、bias correction、メモリ使用量の特性が異なる。また、データ幾何に適応するpreconditionerを介してnatural gradient descentにも類似する。
- AdamはRMSPropおよびAdaGradと直接関連し、一次情報から曲率を推定してstepsizeを設定するvSGD、AdaDelta、natural Newton methodsとも関係する。
- Natural gradient descent: Adamは、そのpreconditionerがデータ幾何に適応し、b_vtがFisherの対角成分を近似する点で、natural gradient descent（NGD）に類似する。
- SFO: SFOはminibatch quasi-Newton methodであるが、そのメモリ使用量はminibatch partitionの数に対して線形に増大し、メモリ制約のあるGPUでは実行困難になることが多い。
- RMSProp: momentumを用いるRMSPropとは異なり、Adamは勾配の一次および二次momentの移動平均から更新量を推定し、bias correctionを含む。一方、momentumを用いるRMSPropは再スケーリングした勾配にmomentumを適用し、bias correctionを持たない。
- AdaGrad: AdaGradは、β1 = 0、無限小の(1 − β2)、およびannealed αを用いるAdamに対応するが、この対応はbias correctionなしでは成立しない。bias correctionがなければ、β2が1に近づくと、バイアスおよびパラメータ更新量が無限大になる。
6 実験
logistic regression、multilayer networks、deep CNNsにわたる実験から、Adamはsparse-feature問題と実用的なdeep-learning問題の双方で有効であることが示される。その利点はmodelに依存する。Adamは専用optimizerと同等以上の性能を示す一方、CNNでの挙動はsecond-moment estimateの限界を明らかにする。
- 実験設定: 評価では、共通の初期化と、密なhyper-parameter探索で選択した最良設定を用いて、logistic regression、multilayer fully connected networks、deep CNNsを対象とする。大規模なmodelとdatasetを用いて、実用的なdeep-learning問題におけるAdamを評価した。
- Logistic regression: MNIST logistic regressionでは、Adamはmomentum付きSGDと同様に収束し、両者ともAdagradより速く収束する。minibatch sizeは128であり、局所最小値の懸念を避けるため、凸目的関数上でoptimizerを比較する。
- Logistic regression: sparseなIMDB bag-of-words特徴では、AdamはAdagradと同じ速さで、Nesterov momentum付きSGDより速く収束し、dropout noiseの有無によらない。AdagradはSGDを大幅に上回る一方、AdamはAdagradと同等の収束を示し、Adamがsparse featureを活用することと整合する。
- Multilayer neural networks: Adamはdropoutを用いた他のstochastic first-order methodsより良好な収束を示し、deterministicなmultilayer-network目的関数ではSFOより高速に学習する。stochastic regularizationによってsubfunctionが非決定的になると、SFOは収束しなかった。
- 畳み込みニューラルネットワーク: CNNでは、初期の学習段階後、AdamとSGDはAdagradより大幅に速く収束する。これはAdamのsecond-moment estimateが消失し、ϵに支配されるためである。これは初期のcost削減が同様に速いことと対照的であり、second-moment estimateがCNNのcost geometryを十分に捉えていないことを示す。
- Bias correction: VAEの学習では、Adamはhyper-parameter設定全体でRMSPropと同等以上の性能を示し、β2が1に近い場合もbias correctionによって初期の不安定性が抑えられる。最良の結果はbias correctionと小さい(1−β2)の値を用いた場合に得られ、特にgradientがよりsparseになる最適化後半で顕著であった。
7 拡張
これらの拡張では、AdamをAdaMaxへ一般化する。AdaMaxは無限ノルム極限から導かれ、より単純で安定した更新と、パラメータ変化の有界性を提供する。また、確率近似における一般化性能を改善するため、反復列またはパラメータの平均化も提案する。
- AdaMax: AdaMaxは、Lp-norm更新則で p →∞ の極限を取ることで得られる、驚くほど単純で安定したAdamの変種である。有限の大きなpを用いる変種は数値的に不安定になり得るのに対し、AdaMaxは無限ノルムを用い、そのノルム推定に初期化バイアス補正を必要としない。
- AdaMax: AdaMaxは、バイアス補正済みの一次モーメント推定値を、勾配の指数加重∞ノルムで割ってパラメータを更新する。ノルム推定値は ut ← max(β2 · ut−1, |gt|) に従い、パラメータ更新には mt/ut を用いる。
- AdaMax: AdaMaxは、パラメータ更新の大きさを |∆t| ≤α によって有界にする。これにより、AdaMaxはAdamより単純な更新量の上界を持つ。
- パラメータ平均化: 確率近似では最後の反復値がノイズを含むため、平均化によって一般化性能を改善できる。この論文では、Polyak-Ruppert平均化と、より最近のパラメータ値に大きな重みを与える代替的な指数移動平均を説明しており、後者には初期化バイアス補正も利用できる。
8 結論
Adamは、大規模データセットおよび高次元パラメータ空間を対象とする、単純で計算効率の高い確率的最適化アルゴリズムとして提示される。AdaGradの疎勾配への対応能力と、RMSPropの非定常目的関数への対処能力を組み合わせており、実験は凸最適化における収束解析と、非凸最適化全般にわたる頑健性を支持している。
- 8 結論: Adamは、確率的目的関数を勾配ベースで最適化するための単純で計算効率の高いアルゴリズムである。大規模データセットや高次元パラメータ空間を含む機械学習問題を対象とする。
- 8 結論: Adamは、AdaGradの疎勾配に対応する能力と、RMSPropの非定常目的関数に対処する能力を組み合わせる。この手法は実装が容易で、必要なメモリも少ない。
- 8 結論: 実験は、凸問題における収束率解析を確認し、Adamが頑健であり、広範な非凸最適化問題に適していることを示す。
10 付録
付録では、Adamのregret保証の証明に用いる凸性補題と勾配有界性の仮定を展開する。次に、Adamの更新式を凸regret解析に代入し、得られる項を評価することで定理を導出する。
- 10 付録: 付録では、関数を接平面で下から評価する凸性補題を確立し、Adamの更新則を通じたregret解析を可能にする。主証明では、接平面項にAdamの更新式を代入する。
- 10 付録: 補助補題では勾配有界性を仮定し、∥g_t∥_2 ≤ G および ∥g_t∥_∞ ≤ G_∞ のもとで、β_2および減衰するβ_1,tに関する移動平均項を解析する。定理ではさらに、パラメータ距離の有界性と β_1,t = β_1λ^(t−1)、λ ∈ (0, 1) を仮定する。
- 10 付録: 証明では補助補題を座標ごとに適用し、Youngの不等式と算術幾何級数の評価を用いて、次元および反復にわたって和を取ることでAdamのregret boundを得る。導出ではまず各座標の更新寄与を評価し、その後、得られた上界を集約する。