Attention Is All You Need

1 Einleitung

• Die sequenzielle Berechnung verborgener Zustände in rekurrenten Modellen verhindert die Parallelisierung innerhalb einzelner Trainingsbeispiele und wird bei längeren Sequenzen zu einer entscheidenden Einschränkung.Speicherbeschränkungen begrenzen die Batchbildung über mehrere Beispiele hinweg. Faktorisierungstechniken [21] und bedingte Berechnung [32] verbessern die Effizienz, beseitigen aber beide nicht die grundlegende sequenzielle Beschränkung.Quelle: §1 · p. 2
• Attention modelliert Abhängigkeiten unabhängig vom Abstand innerhalb der Sequenz [2, 19], wird aber bis auf wenige Ausnahmen meist mit rekurrenten Netzen kombiniert.Dies motiviert eine Architektur, die Attention ohne Rekurrenz nutzt.Quelle: §1 · p. 2
• Zwölf Stunden auf acht P100-GPUs können genügen, damit der reine Attention-Transformer neue Bestwerte in der Übersetzungsqualität erreicht und zugleich deutlich mehr Parallelisierung ermöglicht.Die Architektur verzichtet auf Rekurrenz und nutzt ausschließlich Attention, um globale Abhängigkeiten zwischen Eingabe und Ausgabe zu erfassen.Quelle: §1 · p. 2

• Eine konstante Anzahl von Operationen verbindet beliebige Positionen im Transformer, während diese Anzahl mit zunehmender Distanz bei ConvS2S [9] linear und bei ByteNet [18] logarithmisch wächst.Extended Neural GPU, ByteNet [18] und ConvS2S [9] verwenden Faltungen, um verborgene Repräsentationen parallel über Eingabe- und Ausgabepositionen hinweg zu berechnen. Distanzabhängige Operationszahlen erschweren das Lernen weitreichender Abhängigkeiten.Quelle: §2 · p. 2
• Multi-Head Attention wirkt der verringerten effektiven Auflösung entgegen, die durch die Mittelung der mit Attention gewichteten Positionen im Transformer entsteht.Quelle: §2 · p. 2
• Self-Attention, auch Intra-Attention genannt, setzt verschiedene Positionen innerhalb einer Sequenz zueinander in Beziehung, um deren Repräsentation zu berechnen.Bisherige Erfolge umfassen Leseverständnis, abstraktive Zusammenfassung, textuelle Implikation und aufgabenunabhängige Satzrepräsentationen [4] [28] [22]. End-to-End Memory Networks verwenden dagegen rekurrente Attention statt an den Sequenzpositionen ausgerichteter Rekurrenz und erzielen gute Ergebnisse bei der Fragebeantwortung in einfacher Sprache und der Sprachmodellierung [34].Quelle: §2 · p. 2
• Nach Kenntnis der Autoren ist der Transformer das erste Transduktionsmodell, das Eingabe- und Ausgaberepräsentationen vollständig durch Self-Attention berechnet, ohne an den Sequenzpositionen ausgerichtete RNNs oder Faltungen.Quelle: §2 · p. 2

3 Modellarchitektur

• Der Transformer verwendet gestapelte Self-Attention und punktweise vollständig verbundene Schichten in einer Encoder-Decoder-Architektur, die Ausgabesymbole autoregressiv erzeugt [10].Der Encoder bildet Repräsentationen der Eingabesymbole auf kontinuierliche Repräsentationen ab; der Decoder nutzt diese Repräsentationen und zuvor erzeugte Symbole, um schrittweise weitere Ausgaben zu erzeugen.Quelle: §3 · pp. 2–3

3.1 Encoder- und Decoder-Stapel

• 6 identische Encoder-Schichten kombinieren jeweils Multi-Head Self-Attention mit einem positionsweisen Feedforward-Netz.Jede Teilschicht ist von einer Residualverbindung [11] umgeben, gefolgt von einer Schichtnormalisierung [1]; daraus ergibt sich LayerNorm(x + Sublayer(x)). Alle Teilschichten und Einbettungsschichten erzeugen Ausgaben der Dimension dmodel = 512.Quelle: §3.1 · p. 3
• 6 identische Decoder-Schichten ergänzen die Encoder-Schichtstruktur um Attention auf Encoder-Ausgaben und verwenden Residualverbindungen mit anschließender Schichtnormalisierung.Maskierte Self-Attention und um eine Position versetzte Ausgabeeinbettungen stellen sicher, dass Vorhersagen an Position i nur von bekannten Ausgaben an Positionen kleiner als i abhängen.Quelle: §3.1 · p. 3

3.2 Attention

• Attention bildet eine Query und Key-Value-Paare auf eine gewichtete Summe der Values ab, deren Gewichte durch die Kompatibilität zwischen Query und Key bestimmt werden.Query, Keys, Values und Ausgabe sind sämtlich Vektoren.Quelle: §3.2 · pp. 3–4

3.2.1 Scaled Dot-Product Attention

• Scaled Dot-Product Attention dividiert die Skalarprodukte zwischen Queries und Keys durch √dk, bevor die Values mittels Softmax gewichtet werden, und wirkt damit den bei großem dk vermuteten Effekten kleiner Gradienten entgegen.Queries und Keys haben die Dimension dk, Values die Dimension dv. Die Autoren vermuten, dass große Skalarprodukte Softmax in Bereiche mit extrem kleinen Gradienten verschieben.Quelle: §3.2.1 · p. 4
• Dot-Product Attention ist in der Praxis schneller und speichereffizienter als additive Attention [2], da sie optimierte Matrixmultiplikation nutzt.Beide haben eine ähnliche theoretische Komplexität; additive Attention [2] berechnet die Kompatibilität mit einem Feedforward-Netz mit einer verborgenen Schicht. Bei kleinem dk erzielen beide ähnliche Ergebnisse, bei größerem dk ist additive Attention der unskalierten Dot-Product Attention jedoch überlegen [3].Quelle: §3.2.1 · p. 4

3.2.2 Multi-Head Attention

• Multi-Head Attention berücksichtigt gleichzeitig verschiedene Repräsentationsunterräume und Positionen und vermeidet so die Einschränkung eines einzelnen Heads durch Mittelung.Verschiedene gelernte Projektionen erzeugen parallele Attention-Ausgaben, die konkateniert und erneut projiziert werden. Bei h = 8 Heads und dk = dv = dmodel/h = 64 halten die reduzierten Dimensionen der Heads den Rechenaufwand auf einem ähnlichen Niveau wie bei Single-Head Attention mit voller Dimension.Quelle: §3.2.2 · pp. 4–5

3.2.3 Anwendungen von Attention in unserem Modell

• Die Self-Attention im Encoder umfasst alle Eingabepositionen, die Encoder-Decoder-Attention fragt Encoder-Ausgaben ab, und die Self-Attention im Decoder maskiert zukünftige Positionen.Bei der Encoder-Decoder-Attention stammen die Queries aus der vorherigen Decoder-Schicht, Keys und Values hingegen aus den Encoder-Ausgaben; die Self-Attention im Encoder bezieht alle drei aus der vorherigen Encoder-Schicht. Die Decoder-Maskierung setzt unzulässige Verbindungen vor Softmax auf −∞, um die autoregressive Generierung zu gewährleisten.Quelle: §3.2.3 · p. 5

3.3 Positionsweise Feedforward-Netze

• Jede Encoder- und Decoderschicht ergänzt Attention durch ein vollständig verbundenes Feedforward-Netz mit zwei linearen Transformationen, zwischen denen ReLU liegt.Das Netz wird auf jede Position separat und auf identische Weise angewendet.Quelle: §3.3 · p. 5
• Die linearen Transformationen teilen ihre Parameter über Positionen hinweg, verwenden aber unterschiedliche Parameter je Schicht. Dies entspricht zwei Faltungen mit Kernelgröße 1.Quelle: §3.3 · p. 5
• Die Ein- und Ausgabedimensionalität dmodel beträgt 512; die Dimensionalität der inneren Schicht dff beträgt 2048.Quelle: §3.3 · p. 5

• Die beiden Embedding-Schichten und die lineare Transformation vor dem Softmax nutzen dieselbe Gewichtsmatrix, ähnlich wie in [30].Quelle: §3.4 · p. 5
• Gelernte Embeddings bilden Eingabe- und Ausgabe-Token auf dmodel-dimensionale Vektoren ab, wobei die Embedding-Gewichte mit dmodel^0.5 multipliziert werden.Quelle: §3.4 · p. 5
• Eine gelernte lineare Transformation mit anschließendem Softmax wandelt die Decoder-Ausgaben in vorhergesagte Wahrscheinlichkeiten für das nächste Token um.Quelle: §3.4 · p. 5

3.5 Positionskodierung

• Positionskodierungen liefern Informationen zur Sequenzreihenfolge, indem sie zu den Eingabeeinbettungen am Eingang des Encoder- und des Decoder-Stapels addiert werden.Kodierungen und Einbettungen haben dieselbe Dimension dmodel und können daher addiert werden.Quelle: §3.5 · p. 6
• Sinus- und Kosinusfunktionen kodieren Positionen mit Wellenlängen, die eine geometrische Folge von 2π bis 10000 · 2π bilden.Für jeden festen Versatz k ist PE_pos+k eine lineare Funktion von PE_pos; die Autoren vermuteten, dass sich dadurch leichter lernen ließe, die Aufmerksamkeit anhand relativer Positionen auszurichten.Quelle: §3.5 · p. 6
• Gelernte Positionseinbettungen [9] und sinusförmige Kodierungen lieferten nahezu identische Ergebnisse.Die Autoren wählten sinusförmige Funktionen, weil diese eine Extrapolation auf Sequenzlängen ermöglichen könnten, die über die im Training vorkommenden hinausgehen.Quelle: §3.5 · p. 6

• Der Vergleich bewertet Self-Attention, Rekurrenz und Faltung anhand der Rechenkomplexität pro Schicht, der minimalen Anzahl sequenzieller Operationen und der maximalen Abhängigkeitspfadlänge.Kürzere Pfade für Vorwärts- und Rückwärtssignale erleichtern das Lernen weitreichender Abhängigkeiten.Quelle: §4 · p. 6
• Rekurrenz erfordert O(n) sequenzielle Operationen, Self-Attention dagegen eine konstante Anzahl; Self-Attention ist rechnerisch schneller bei n < d, wobei n die Sequenzlänge und d die Repräsentationsdimension bezeichnet.Die Bedingung n < d gilt üblicherweise für Satzrepräsentationen in der maschinellen Übersetzung.Quelle: §4 · pp. 6–7
• Eine Beschränkung von Self-Attention auf Nachbarschaften der Größe r würde eine maximale Pfadlänge von O(n/r) ergeben und wird als rechnerische Verbesserung für sehr lange Sequenzen vorgeschlagen.Die Untersuchung dieses Ansatzes mit eingeschränkter Attention bleibt zukünftigen Arbeiten vorbehalten.Quelle: §4 · p. 7
• Um alle Positionen zu verbinden, sind O(n/k) Faltungsschichten mit zusammenhängenden Kernen oder O(logk(n)) dilatierte Faltungsschichten [18] erforderlich, was die Abhängigkeitspfade verlängert.Faltungen sind im Allgemeinen k-mal so rechenaufwendig wie Rekurrenz; separierbare Faltungen [6] reduzieren die Komplexität auf O(k · n · d + n · d^2). Bei k = n entspricht dies Self-Attention mit einer zusätzlichen punktweisen Feedforward-Schicht.Quelle: §4 · p. 7
• Einzelne Attention-Köpfe lernen unterschiedliche Aufgaben, und viele scheinen syntaktische und semantische Strukturen abzubilden, was auf mögliche Vorteile für die Interpretierbarkeit hindeutet.Die Autoren untersuchen Attention-Verteilungen und zeigen Beispiele im Anhang.Quelle: §4 · p. 7

5.1 Trainingsdaten und Batchbildung

• Als Trainingsdaten dienten etwa 4.5 Millionen englisch-deutsche Satzpaare und 36M englisch-französische Sätze aus WMT 2014, die nach ungefährer Sequenzlänge zu Batches zusammengefasst wurden.Für Englisch–Deutsch wurde Byte-Pair-Encoding [3] mit einem gemeinsamen Vokabular von etwa 37000 Tokens für Ausgangs- und Zielsprache verwendet; für Englisch–Französisch ein WordPiece-Vokabular mit 32000 Einträgen [38]. Jeder Batch enthielt ungefähr 25000 Quell- und 25000 Zieltokens.Quelle: §5.1 · p. 7

5.2 Hardware und Zeitplan

• Auf einem Rechner trainierten 8 NVIDIA P100-GPUs Basismodelle über 100,000 Schritte (12 Stunden) und große Modelle über 300,000 Schritte (3.5 Tage).Jeder Trainingsschritt dauerte bei Basismodellen etwa 0.4 Sekunden und bei großen Modellen 1.0 Sekunden.Quelle: §5.2 · p. 7

5.3 Optimierer

• Adam [20] verwendete eine Lernrate, die während 4000 Aufwärmschritten linear anstieg und anschließend proportional zum Kehrwert der Quadratwurzel der Schrittnummer abnahm.Die Optimiererparameter waren β1 = 0.9, β2 = 0.98 und ϵ = 10^-9.Quelle: §5.3 · p. 7

5.4 Regularisierung

• Dropout und Label Smoothing [36] regularisierten das Training, wobei Label Smoothing die Genauigkeit und BLEU verbesserte, obwohl es die Perplexität verschlechterte.Dropout wurde auf die Ausgaben der Teilschichten vor der Residualaddition und Normalisierung sowie auf die Summen aus Einbettungen und Positionskodierungen in beiden Schichtstapeln angewandt; die Dropout-Rate des Basismodells betrug 0.1. Label Smoothing verwendete einen Wert von 0.1.Quelle: §5.4 · p. 8

6.1 Maschinelle Übersetzung

• 28.4 BLEU auf WMT 2014 Englisch-Deutsch übertreffen die besten zuvor veröffentlichten Modelle, einschließlich Ensembles, um mehr als 2.0 BLEU.Das Training des großen Modells dauerte 3.5 Tage auf 8 P100 GPUs. Auch das Basismodell übertraf alle zuvor veröffentlichten Modelle und Ensembles bei einem Bruchteil der Trainingskosten konkurrierender Modelle.Quelle: §6.1 · p. 8
• 41.0 BLEU auf WMT 2014 Englisch-Französisch übertreffen alle zuvor veröffentlichten Einzelmodelle bei weniger als 1/4 der Trainingskosten des bislang besten Modells.Das große Englisch-Französisch-Modell verwendete Dropout mit Pdrop = 0.1 statt 0.3.Quelle: §6.1 · p. 8

6.2 Modellvarianten

• Bei gleichem Rechenaufwand liegt Attention mit einem einzelnen Kopf um 0.9 BLEU hinter der besten Konfiguration; zu viele Köpfe verringern ebenfalls die Qualität.Diese Architekturvarianten wurden auf dem Englisch-Deutsch-Entwicklungsdatensatz newstest2013 ohne Mittelung über Checkpoints ausgewertet.Quelle: Table 3 · p. 9, §6.2 · p. 9
• Kleinere Schlüsseldimensionen bei Attention beeinträchtigen die Qualität, größere Modelle schneiden besser ab, und Dropout hilft, Überanpassung zu verhindern; gelernte Positionseinbettungen [9] liefern nahezu dieselben Ergebnisse wie sinusförmige Kodierungen.Die Autoren vermuten, dass die Bestimmung der Kompatibilität von einer komplexeren Funktion als einem Skalarprodukt profitieren könnte.Quelle: §6.2 · p. 9

6.3 Englisches Konstituentenparsing

• 40K WSJ-Trainingssätze genügen, um den Berkeley-Parser zu übertreffen; insgesamt übertreffen die Parsing-Ergebnisse zuvor veröffentlichte Modelle mit Ausnahme von Recurrent Neural Network Grammar [8].Ein vierschichtiger Transformer mit dmodel = 1024 wurde sowohl bei ausschließlichem Training auf WSJ als auch in einem halbüberwachten Szenario mit etwa 17M Sätzen [37] ausgewertet. Dropout, Lernraten und Beam-Breite wurden anhand nur weniger Experimente gewählt; die übrigen Parameter blieben gegenüber dem Englisch-Deutsch-Basismodell unverändert.Quelle: §6.3 · pp. 9–10, Table 4 · p. 10

7 Fazit

• Der Transformer ist das erste Sequenztransduktionsmodell, das vollständig auf Attention basiert und rekurrente Encoder-Decoder-Schichten durch Multi-Head-Self-Attention ersetzt.Quelle: §7 · p. 10
• Der Transformer erzielt Spitzenergebnisse bei den WMT 2014-Übersetzungsaufgaben Englisch–Deutsch und Englisch–Französisch und übertrifft bei Englisch–Deutsch alle zuvor veröffentlichten Ensembles.Das Training ist deutlich schneller als bei Architekturen mit rekurrenten oder konvolutionalen Schichten.Quelle: §7 · p. 10
• Künftige Arbeiten zielen auf nichttextuelle Ein- und Ausgabemodalitäten, lokal begrenzte Attention für umfangreiche Ein- und Ausgaben sowie eine weniger sequenzielle Generierung ab.Die vorgeschlagenen Modalitäten umfassen Bilder, Audio und Video; lokal begrenzte Attention soll deren effiziente Verarbeitung ermöglichen.Quelle: §7 · p. 10

Visualisierungen der Aufmerksamkeit

• Viele Aufmerksamkeitsköpfe in Encoderschicht 5 von 6 verfolgen die Fernabhängigkeit zwischen ‘making’ und ‘more difficult’.Die Visualisierung zeigt nur die vom Wort ‘making’ ausgehende Aufmerksamkeit; verschiedene Farben kennzeichnen unterschiedliche Köpfe.Quelle: Figure 3 · p. 13
• Zwei Aufmerksamkeitsköpfe in Encoderschicht 5 von 6 scheinen an der Anaphernauflösung beteiligt zu sein, wobei die von ‘its’ ausgehende Aufmerksamkeit stark fokussiert ist.Die Visualisierung zeigt die gesamte Aufmerksamkeit für Kopf 5 und isoliert die von ‘its’ ausgehende Aufmerksamkeit für die Köpfe 5 und 6.Quelle: Figure 4 · p. 14
• Verschiedene Aufmerksamkeitsköpfe zeigen unterschiedliche erlernte Verhaltensweisen, darunter satzstrukturbezogene Muster und eine mutmaßliche Anaphernauflösung.Zwei Beispiele zur Satzstruktur stammen von verschiedenen Selbstaufmerksamkeitsköpfen in Encoderschicht 5 von 6.Quelle: Figure 4 · p. 14, Figure 5 · p. 15