Attention Is All You Need

1 はじめに

• 再帰型モデルでは、逐次的な隠れ状態計算が訓練例内での並列化を妨げ、系列が長くなるほど重大な制約となる。メモリ制約により、複数の訓練例をまとめたバッチ化には限界がある。因子分解の工夫 [21] や条件付き計算 [32] は効率を改善するが、いずれも逐次処理という根本的な制約を解消しない。出典：§1 · p. 2
• アテンションは系列内の距離にかかわらず依存関係をモデル化する [2, 19] が、少数の例外 を除き、通常は再帰型ネットワークと組み合わせて用いられる。これが、再帰を用いずにアテンションを利用するアーキテクチャの動機となる。出典：§1 · p. 2
• アテンションのみのTransformerは、大幅な並列化を可能にしつつ、8基のP100 GPUで12時間学習するだけで翻訳品質の新たな最高水準に到達しうる。このアーキテクチャは再帰を排し、アテンションのみによって入力と出力の大域的な依存関係を捉える。出典：§1 · p. 2

• Transformerは一定回数の演算で任意の位置間を結び付けるが、ConvS2S [9]では距離に対して演算回数が線形に増加し、ByteNet [18]では対数的に増加する。Extended Neural GPU 、ByteNet [18]、ConvS2S [9]は、畳み込みを用いて入力と出力の各位置の隠れ表現を並列に計算する。演算回数が距離に依存するため、遠距離の依存関係は学習しにくくなる 。出典：§2 · p. 2
• Multi-Head Attentionは、Transformerにおける各位置の注意重み付き平均による実効解像度の低下を補う。出典：§2 · p. 2
• 自己注意は系列内注意とも呼ばれ、同一系列内の異なる位置を関連付けて、その系列の表現を計算する。読解、抽象型要約、含意関係認識、タスクに依存しない文表現で成功例がある [4] [28] [22]。一方、エンドツーエンドのメモリネットワークは、系列位置に沿った再帰処理ではなく、注意を反復的に適用し、平易な言語による質問応答や言語モデリングで良好な性能を示している [34]。出典：§2 · p. 2
• 著者らの知る限り、Transformerは、系列位置に沿ったRNNや畳み込みを用いず、自己注意のみで入力と出力の表現を計算する初の系列変換モデルである。出典：§2 · p. 2

3 モデル構造

• Transformerは、出力記号を自己回帰的に生成するエンコーダ・デコーダ構造の中で、積層した自己注意と位置ごとの全結合層を用いる [10]。エンコーダは入力記号の表現を連続表現に写像し、デコーダはその表現と生成済みの記号を用いて、出力を順次生成する。出典：§3 · pp. 2–3

3.1 エンコーダとデコーダの積層構造

• 同一構造のエンコーダ層6層は、それぞれマルチヘッド自己注意と位置ごとの順伝播ネットワークを組み合わせる。各サブ層を残差接続 [11] で囲み、その後に層正規化 [1] を適用することで、LayerNorm(x + Sublayer(x)) を得る。すべてのサブ層と埋め込み層の出力次元は dmodel = 512 である。出典：§3.1 · p. 3
• 同一構造のデコーダ層6層は、エンコーダ層の構造にエンコーダ出力へのアテンションを加え、残差接続の後に層正規化を適用する。マスク付き自己注意と1位置ずらした出力埋め込みにより、位置 i の予測は i より前の位置にある既知の出力のみに依存する。出典：§3.1 · p. 3

3.2 アテンション

• アテンションは、クエリとキー・値の組を値の重み付き和に写像し、その重みはクエリとキーの適合度によって決まる。クエリ、キー、値、出力はいずれもベクトルである。出典：§3.2 · pp. 3–4

3.2.1 スケーリング付き内積アテンション

• スケーリング付き内積アテンションは、クエリとキーの内積を √dk で割ってからsoftmaxで値を重み付けし、dk が大きいときに生じると考えられる勾配の微小化を抑える。クエリとキーの次元は dk、値の次元は dv である。著者らは、内積が大きくなるとsoftmaxが勾配の極めて小さい領域に入ると考えている。出典：§3.2.1 · p. 4
• 内積アテンションは、最適化された行列積を用いるため、実際には加算型アテンション [2] より高速でメモリ効率も高い。両者の理論的な計算量は同程度である。加算型アテンション [2] は、隠れ層が一層のフィードフォワードネットワークで適合度を計算する。dk が小さい場合の性能は同程度であるが、dk が大きい場合は加算型アテンションがスケーリングなしの内積アテンションを上回る [3]。出典：§3.2.1 · p. 4

3.2.2 マルチヘッドアテンション

• マルチヘッドアテンションは、異なる表現部分空間と位置に同時に注意を向け、単一ヘッドでの平均化による制約を回避する。異なる学習済み射影によってアテンション出力を並列に計算し、それらを連結して再び射影する。ヘッド数を h = 8、各ヘッドの次元を dk = dv = dmodel/h = 64 とすることで、全次元を用いる単一ヘッドのアテンションと同程度の計算コストに抑える。出典：§3.2.2 · pp. 4–5

3.2.3 本モデルにおけるアテンションの適用

• エンコーダの自己注意はすべての入力位置を対象とし、エンコーダ・デコーダ間アテンションはエンコーダ出力を参照し、デコーダの自己注意は将来の位置をマスクする。エンコーダ・デコーダ間アテンションでは、クエリは直前のデコーダ層から、キーと値はエンコーダ出力から得る。エンコーダの自己注意では、3つとも直前のエンコーダ層から得る。デコーダでは、自己回帰生成を保つため、許可されない接続のsoftmax適用前の値を −∞ に設定してマスクする。出典：§3.2.3 · p. 5

3.3 位置ごとのフィードフォワードネットワーク

• エンコーダとデコーダの各層では、アテンションに加え、ReLUを挟んだ2つの線形変換からなる全結合フィードフォワードネットワークを用いる。このネットワークを各位置に独立に、同じ形で適用する。出典：§3.3 · p. 5
• 線形変換のパラメータは位置間で共有されるが、層ごとに異なり、これはカーネルサイズ1の畳み込みを2回行うことに相当する。出典：§3.3 · p. 5
• 入出力の次元数dmodelは512、中間層の次元数dffは2048である。出典：§3.3 · p. 5

• [30]と同様に、2つの埋め込み層とsoftmax直前の線形変換は同じ重み行列を共有する。出典：§3.4 · p. 5
• 学習された埋め込みは入力・出力トークンをdmodel次元のベクトルに写像し、埋め込みの重みをdmodel^0.5倍する。出典：§3.4 · p. 5
• 学習された線形変換に続けてsoftmaxを適用し、デコーダの出力を次トークンの予測確率に変換する。出典：§3.4 · p. 5

3.5 位置エンコーディング

• 位置エンコーディングは、エンコーダとデコーダの両スタックの最下部で入力埋め込みに加算され、系列の順序情報を与える。位置エンコーディングと埋め込みは同じ次元 dmodel を持つため、加算できる。出典：§3.5 · p. 6
• 正弦関数と余弦関数を用い、波長が 2π から 10000 · 2π まで等比数列をなすように位置を符号化する。任意の固定オフセット k に対し、PE_pos+k は PE_pos の線形関数で表される。著者らは、この性質により相対位置に基づく注意の学習が容易になると考えた。出典：§3.5 · p. 6
• 学習可能な位置埋め込み [9] と正弦波による位置エンコーディングは、ほぼ同等の結果を示した。著者らは、訓練時に現れる系列よりも長い系列長への外挿が可能と考え、正弦波を選択した。出典：§3.5 · p. 6

• 自己注意、再帰、畳み込みを、層ごとの計算量、最小逐次演算回数、最大依存経路長で比較する。順伝播・逆伝播の信号経路が短いほど、長距離依存関係を学習しやすい 。出典：§4 · p. 6
• 再帰には O(n) 回の逐次演算が必要だが、自己注意では定数回で済む。系列長 n < 表現の次元数 d の場合、自己注意の方が計算が高速である。機械翻訳で用いる文の表現では、通常 n < d の条件が成り立つ。出典：§4 · pp. 6–7
• 自己注意の範囲を大きさ r の近傍に制限すると、最大経路長は O(n/r) となる。これは非常に長い系列に対する計算効率の改善策として提案されている。この制限付き注意手法の検討は今後の課題である。出典：§4 · p. 7
• すべての位置を結ぶには、連続した領域に適用する畳み込み層が O(n/k) 層、または拡張畳み込み層が O(logk(n)) 層 [18] 必要であり、依存経路が長くなる。畳み込みの計算コストは一般に再帰の k 倍である。分離可能畳み込み [6] は計算量を O(k · n · d + n · d^2) に削減する。k = n では、自己注意と位置ごとのフィードフォワード層を組み合わせた場合と同じ計算量になる。出典：§4 · p. 7
• 個々の注意ヘッドは異なるタスクを学習し、多くは統語構造や意味構造を反映しているように見えることから、解釈可能性の面での利点が示唆される。著者らは注意分布を調べ、その例を付録に示している。出典：§4 · p. 7

5.1 訓練データとバッチ構成

• WMT 2014の約4.5百万組の英独対訳文と36M文の英仏文を訓練データとし、系列長が近いものをまとめてバッチを構成した。英独ではbyte-pair encoding [3]を用い、入力側と出力側で約37000トークンの語彙を共有した。英仏では32000項目のword-piece語彙 [38]を用いた。各バッチには入力側約25000トークンと出力側約25000トークンを含めた。出典：§5.1 · p. 7

5.2 ハードウェアと学習スケジュール

• 1台のマシン上の8基のNVIDIA P100 GPUで、基本モデルを100,000ステップ（12時間）、大規模モデルを300,000ステップ（3.5日）学習した。学習の各ステップに要した時間は、baseモデルで約0.4秒、bigモデルで約1.0秒であった。出典：§5.2 · p. 7

5.3 最適化器

• Adam [20]の学習率は、4000ステップのウォームアップ中に線形に増加させ、その後はステップ数の平方根の逆数に比例して減衰させた。最適化器のパラメータはβ1 = 0.9、β2 = 0.98、ϵ = 10^-9であった。出典：§5.3 · p. 7

5.4 正則化

• ドロップアウト とラベル平滑化 [36]で学習を正則化した。ラベル平滑化はパープレキシティを悪化させる一方、正解率とBLEUを改善した。ドロップアウトは、残差加算と正規化の前の各サブ層の出力、および両スタックの埋め込みと位置符号化の和に適用した。基本モデルの適用率は0.1であった。ラベル平滑化の値は0.1とした。出典：§5.4 · p. 8

6.1 機械翻訳

• WMT 2014英独翻訳で28.4 BLEUを達成し、アンサンブルを含む既報の最高性能を2.0 BLEU超上回った。bigモデルの学習にはP100 GPU 8基で3.5日を要した。baseモデルも、競合モデルの学習コストのごく一部で、既報のすべてのモデルとアンサンブルを上回った。出典：§6.1 · p. 8
• WMT 2014英仏翻訳で41.0 BLEUを達成し、従来の最高性能モデルの1/4未満の学習コストで、既報のすべての単一モデルを上回った。英仏翻訳のbigモデルでは、ドロップアウトに0.3ではなくPdrop = 0.1を用いた。出典：§6.1 · p. 8

6.2 モデルの変種

• 計算量を一定にすると、単一ヘッドの注意機構は最良の設定を0.9 BLEU下回り、ヘッド数が多すぎても品質が低下する。これらのアーキテクチャの変更は、チェックポイントの平均化を行わず、英独翻訳の開発セットnewstest2013で評価した。出典：Table 3 · p. 9, §6.2 · p. 9
• 注意機構のキーを低次元にすると品質が低下し、大きなモデルほど性能が向上する。ドロップアウトは過学習の抑制に役立ち、学習可能な位置埋め込み [9]は正弦波による位置符号化とほぼ同等の性能を示す。著者らは、適合度の判定には内積よりも複雑な関数が有効な可能性を指摘している。出典：§6.2 · p. 9

6.3 英語の構成素解析

• WSJの学習文40K文だけでBerkeley-Parser を上回る。構文解析の結果は総じて、Recurrent Neural Network Grammar [8]を除く既報のモデルを上回った。dmodel = 1024の4層Transformerを、WSJのみで学習する設定と、約17M文を用いる半教師あり設定 [37]で評価した。ドロップアウト、学習率、ビーム幅の選択には少数の実験のみを行い、その他のパラメータは英独翻訳のbaseモデルから変更しなかった。出典：§6.3 · pp. 9–10, Table 4 · p. 10

7 結論

• Transformerは、アテンションのみを基盤とする初の系列変換モデルであり、エンコーダ・デコーダの再帰層をマルチヘッド自己アテンションに置き換える。出典：§7 · p. 10
• Transformerは、WMT 2014の英独翻訳と英仏翻訳の両方で最高性能を達成し、英独翻訳では過去に報告されたすべてのアンサンブルを上回る。再帰層や畳み込み層に基づくアーキテクチャよりも学習が大幅に高速である。出典：§7 · p. 10
• 今後の研究課題は、テキスト以外の入出力モダリティ、大規模な入出力に対応する局所的に制限したアテンション、逐次性を抑えた生成である。対象モダリティとして画像、音声、動画を想定しており、局所的に制限したアテンションによってこれらの効率的な処理を目指す。出典：§7 · p. 10

アテンションの可視化

• エンコーダの全6層中第5層では、多くのアテンションヘッドが‘making’と‘more difficult’を結ぶ長距離依存関係を捉えている。可視化では単語‘making’からのアテンションのみを表示し、色の違いで各ヘッドを区別している。出典：Figure 3 · p. 13
• エンコーダの全6層中第5層では、2つのアテンションヘッドが照応解決に関与しているとみられ、‘its’からのアテンションが鋭く集中している。可視化ではヘッド5のアテンション全体を示すとともに、ヘッド5と6の‘its’からのアテンションを抜き出している。出典：Figure 4 · p. 14
• 各アテンションヘッドはそれぞれ異なる振る舞いを学習しており、文構造に関連するパターンや、照応解決とみられる挙動を示している。文構造に関する2つの例は、エンコーダの全6層中第5層にある異なる自己アテンションヘッドから得られたものである。出典：Figure 4 · p. 14, Figure 5 · p. 15