BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

1 Introduction

• Les méthodes fondées sur des caractéristiques intègrent des représentations pré-entraînées dans des architectures spécifiques aux tâches, tandis que le fine-tuning adapte l’ensemble des paramètres pré-entraînés avec un minimum d’ajouts propres à chaque tâche.ELMo (Peters et al., 2018a) illustre les méthodes fondées sur des caractéristiques, tandis qu’OpenAI GPT illustre le fine-tuning. Les deux approches utilisent des objectifs de modélisation unidirectionnelle du langage durant le pré-entraînement.Source : §1 · p. 1
• Les modèles de langue unidirectionnels limitent les architectures de pré-entraînement, une contrainte que les auteurs jugent sous-optimale pour les tâches à l’échelle de la phrase et potentiellement préjudiciable aux tâches de questions-réponses à l’échelle du token.La réponse aux questions nécessite impérativement de disposer du contexte dans les deux directions.Source : §1 · p. 1
• L’objectif de modélisation du langage par masquage de BERT permet un pré-entraînement bidirectionnel profond en prédisant des tokens masqués aléatoirement à partir des contextes gauche et droit.Une tâche supplémentaire de prédiction de la phrase suivante permet de pré-entraîner conjointement des représentations de paires de textes.Source : §1 · pp. 1–2
• BERT se distingue du pré-entraînement unidirectionnel de Radford et al. (2018) et de la concaténation en surface de modèles de langue directionnels entraînés indépendamment de Peters et al. (2018a).La modélisation du langage par masquage permet à BERT d’apprendre plutôt des représentations bidirectionnelles profondes.Source : §1 · p. 2
• BERT atteint l’état de l’art sur onze tâches de traitement automatique des langues et surpasse de nombreuses architectures spécifiques aux tâches, tant à l’échelle de la phrase qu’à celle du token.Les auteurs présentent BERT comme le premier modèle de représentation fondé sur le fine-tuning à atteindre des performances à l’état de l’art sur un vaste ensemble de tâches de ces deux types.Source : §1 · p. 2

2.1 Approches non supervisées fondées sur des caractéristiques

• Les plongements lexicaux préentraînés améliorent les systèmes de TAL par rapport aux plongements appris à partir de zéro, dans le prolongement de décennies de recherches sur les représentations non neuronales et neuronales.Les objectifs d’entraînement comprennent la modélisation du langage de gauche à droite et la distinction entre mots corrects et incorrects à l’aide des contextes gauche et droit (Mikolov et al., 2013).Source : §2.1 · p. 2
• Des travaux antérieurs ont étendu les représentations à des granularités plus grossières, notamment aux plongements de phrases (Kiros et al., 2015; Logeswaran and Lee, 2018) et de paragraphes (Le and Mikolov, 2014).Les objectifs d’entraînement des représentations de phrases comprennent le classement de phrases candidates pour la phrase suivante (Jernite et al., 2017; Logeswaran and Lee, 2018), la génération de gauche à droite des mots de la phrase suivante à partir d’une représentation de la phrase précédente (Kiros et al., 2015), et des objectifs issus d’autoencodeurs débruiteurs (Hill et al., 2016).Source : §2.1 · p. 2
• ELMo et son prédécesseur (Peters et al., 2017, 2018a) concatènent les représentations de modèles de langage de gauche à droite et de droite à gauche pour fournir des caractéristiques de tokens sensibles au contexte.Intégré à des architectures propres à chaque tâche, ELMo améliore les résultats sur les bancs d’essai de questions-réponses, d’analyse des sentiments et de reconnaissance d’entités nommées (Peters et al., 2018a). Melamud et al. (2016) prédisent les mots à partir des deux contextes à l’aide de LSTM fondés sur des caractéristiques, sans bidirectionnalité profonde ; Fedus et al. (2018) utilisent un entraînement par textes à trous pour améliorer la robustesse de la génération de texte.Source : §2.1 · p. 2

2.2 Approches par ajustement fin non supervisé

• L’ajustement fin non supervisé préentraîne des encodeurs contextuels de phrases ou de documents sur du texte non annoté, ne laissant que peu de paramètres à apprendre à partir de zéro pour les tâches en aval.Les premières approches ne préentraînaient que les plongements lexicaux, tandis que les encodeurs ultérieurs utilisaient la modélisation du langage de gauche à droite et des objectifs d’autoencodage (Howard and Ruder, 2018; Dai and Le, 2015). OpenAI GPT avait atteint les meilleurs résultats de l’époque sur de nombreuses tâches de GLUE portant sur des phrases (Wang et al., 2018a).Source : §2.2 · pp. 2–3

2.3 Apprentissage par transfert à partir de données supervisées

• Le transfert supervisé donne également de bons résultats à partir de grands jeux de données d’inférence en langue naturelle (Conneau et al., 2017) et de traduction automatique (McCann et al., 2017).La vision par ordinateur offre une autre stratégie efficace d’apprentissage par transfert : l’ajustement fin de modèles préentraînés sur ImageNet.Source : §2.3 · p. 3

3 BERT

• BERT utilise un encodeur Transformer bidirectionnel à plusieurs couches fondé sur Vaswani et al. (2017), contrairement à l’auto-attention de GPT, limitée au contexte gauche.BERTBASE comporte 12 couches, une dimension cachée de 768, 12 têtes d’attention et 110M paramètres ; BERTLARGE comporte 24 couches, une dimension cachée de 1024, 16 têtes d’attention et 340M paramètres. Pour permettre la comparaison, BERTBASE a la même taille que le modèle OpenAI GPT.Source : §3 · p. 3
• BERT représente un segment de texte ou une paire de segments dans une seule séquence, en additionnant les plongements de tokens, de segments et de positions pour chaque token.Les plongements WordPiece (Wu et al., 2016) utilisent un vocabulaire de 30,000 tokens ; [SEP] et les plongements de segments A/B appris distinguent les segments appariés. Chaque séquence commence par [CLS], dont l’état caché final fournit la représentation globale pour la classification.Source : §3 · p. 4, Figure 2 · p. 5

3.1 Préentraînement de BERT

• 15% des positions WordPiece sont sélectionnées aléatoirement pour la modélisation du langage masqué, qui prédit uniquement leurs tokens d’origine afin d’apprendre des représentations bidirectionnelles.Les tokens sélectionnés sont remplacés par [MASK] dans 80% des cas, par des tokens aléatoires dans 10% des cas et restent inchangés dans 10% des cas, ce qui atténue le décalage dû à l’absence de [MASK] lors de l’ajustement fin. Le préentraînement utilise BooksCorpus (800M mots) et Wikipedia en anglais (2,500M mots), en conservant les passages de texte de Wikipedia plutôt que les listes, tableaux ou en-têtes. Il nécessite des corpus organisés en documents pour obtenir de longues séquences contiguës.Source : §3.1 · pp. 4–5
• 50% des exemples de prédiction de la phrase suivante utilisent la véritable phrase suivante et 50% une phrase aléatoire, ce qui permet d’apprendre des relations entre phrases utiles pour la QA et la NLI.Le vecteur [CLS] prédit IsNext ou NotNext, et le modèle final atteint une exactitude de 97%-98% en NSP. Sans ajustement fin, ce vecteur ne constitue pas une représentation pertinente de la phrase.Source : §3.1 · p. 4, §3 · p. 4

3.2 Ajustement fin de BERT

• BERT ajuste finement tous ses paramètres de bout en bout sur des données annotées pour les tâches en aval, en initialisant un modèle distinct pour chaque tâche à partir des mêmes paramètres préentraînés.L’auto-attention encode conjointement les paires de textes concaténés avec une attention croisée bidirectionnelle ; les couches de sortie propres à chaque tâche utilisent les représentations des tokens pour l’étiquetage ou la réponse aux questions, et [CLS] pour la classification. À partir du même modèle préentraîné, tous les résultats rapportés peuvent être reproduits en au plus 1 heure sur un seul Cloud TPU ou en quelques heures sur un GPU.Source : §3 · p. 3, §3.2 · p. 5

4.1 GLUE

• L’ajustement fin sur GLUE utilise la représentation finale de [CLS] et n’ajoute que les poids d’une couche de classification, entraînés avec une fonction de perte de classification classique.La même représentation traite les entrées constituées d’une seule phrase ou d’une paire de phrases.Source : §4.1 · p. 5
• 80.5 est le score officiel de BERTLARGE sur GLUE, contre 72.8 pour OpenAI GPT.Hors WNLI, BERTBASE et BERTLARGE améliorent l’exactitude moyenne par rapport à l’état de l’art antérieur de 4.5% et 7.0%, respectivement. BERT gagne 4.6% d’exactitude en valeur absolue sur MNLI ; BERTLARGE surpasse BERTBASE sur toutes les tâches, surtout celles disposant de peu de données d’entraînement.Source : Table 1 · p. 6, §4.1 · p. 6

4.2 SQuAD v1.1

• L’ajustement fin sur SQuAD v1.1 réunit la question et le passage dans une même entrée et n’introduit que des vecteurs de début et de fin pour prédire les segments de réponse.Les produits scalaires entre représentations des jetons et vecteurs donnent les probabilités de début et de fin ; l’entraînement utilise les log-vraisemblances des bornes correctes. La prédiction retient le segment au score le plus élevé dont la fin ne précède pas le début.Source : §4.2 · p. 6
• +1.5 F1 pour un ensemble et +1.3 F1 pour un système unique sont les gains de BERT par rapport aux meilleurs systèmes correspondants du classement SQuAD v1.1.Un modèle BERT unique surpasse aussi le meilleur ensemble ; l’ensemble de BERT combine sept systèmes avec différents points de sauvegarde du pré-entraînement et différentes graines aléatoires d’ajustement fin. Un ajustement fin préalable sur TriviaQA (Joshi et al., 2017) n’apporte que 0.1-0.4 F1 ; BERT surpasse les systèmes existants même sans cette étape.Source : §4.2 · pp. 6–7, Table 2 · p. 7

4.3 SQuAD v2.0

• +5.1 F1 par rapport au meilleur système antérieur est le gain de BERT sur SQuAD v2.0.Pour les questions sans réponse, le jeton [CLS] sert de borne de début et de fin du segment ; la prédiction compare le meilleur segment de réponse à ce segment nul à l’aide d’un seuil qui maximise le F1 sur le jeu de développement. Ce modèle n’utilise aucune donnée de TriviaQA.Source : Table 3 · p. 7, §4.3 · p. 7

4.4 SWAG

• +27.1% par rapport à ESIM+ELMo et 8.3% par rapport à OpenAI GPT sont les gains d’exactitude de BERTLARGE sur SWAG.Chacune des quatre suites candidates est appariée à la phrase donnée ; un vecteur propre à la tâche attribue un score à chaque représentation de [CLS], puis une fonction softmax normalise les scores des choix.Source : Table 4 · p. 7, §4.4 · p. 7

5.1 Effet des tâches de préentraînement

• Supprimer NSP dégrade nettement les résultats sur QNLI, MNLI et SQuAD 1.1 ; remplacer la modélisation du langage masquée par une modélisation de gauche à droite dégrade les résultats sur toutes les tâches testées.Les variantes de BERTBASE utilisent les mêmes données de préentraînement, procédures de fine-tuning et hyperparamètres ; la variante de gauche à droite omet NSP et conserve sa contrainte de contexte gauche pendant le fine-tuning. Ses baisses de performance les plus importantes concernent MRPC et SQuAD.Source : Table 5 · p. 8, §5.1 · p. 8
• L’ajout d’un BiLSTM initialisé aléatoirement améliore BERT de gauche à droite sur SQuAD, mais reste très inférieur aux modèles bidirectionnels préentraînés et dégrade les performances sur GLUE.Le BiLSTM ajouté tente de compenser l’absence de contexte droit dans les représentations des tokens calculées de gauche à droite.Source : §5.1 · p. 8
• Des modèles distincts de gauche à droite et de droite à gauche, comme dans ELMo, sont ensemble deux fois plus coûteux qu’un seul modèle bidirectionnel et ne peuvent pas exploiter conjointement les deux contextes à chaque couche.La concaténation de leurs représentations des tokens ne permet pas non plus au modèle de droite à gauche de conditionner les réponses sur la question dans les tâches de questions-réponses.Source : §5.1 · p. 8

5.3 Approche fondée sur les représentations de BERT

• BERT à représentations figées permet d’utiliser des architectures propres à chaque tâche et de précalculer une seule fois les représentations coûteuses pour répéter les expériences avec des modèles en aval moins coûteux.À l’inverse, l’approche par fine-tuning ajoute une simple couche de classification et met à jour conjointement tous les paramètres du modèle.Source : §5.3 · p. 9

5.2 Effet de la taille du modèle

• Les modèles BERT plus grands améliorent strictement l’exactitude sur tous les jeux de données GLUE testés, y compris MRPC, qui contient peu de données.L’exactitude moyenne sur l’ensemble de validation est mesurée sur cinq exécutions du fine-tuning pour quatre jeux de données ; MRPC ne compte que 3,600 exemples d’entraînement annotés. Les auteurs soulignent l’importance d’un préentraînement suffisant et supposent que le fine-tuning direct, avec peu de nouveaux paramètres, permet aux tâches disposant de peu de données d’exploiter des représentations plus grandes.Source : §5.2 · pp. 8–9, Table 6 · p. 9

5.3 Approche fondée sur les représentations de BERT

• La meilleure variante de BERT fondée sur les représentations concatène les quatre dernières couches cachées sur CoNLL-2003 NER et obtient 0.3 F1 de moins que le fine-tuning du modèle complet.Les activations figées de BERT alimentent un BiLSTM à deux couches de 768 dimensions, initialisé aléatoirement, avant la classification. BERTLARGE obtient des résultats comparables aux méthodes de l’état de l’art.Source : Table 7 · p. 9, §5.3 · p. 9

• La contribution principale étend l’apprentissage par transfert à partir de modèles de langue aux architectures bidirectionnelles profondes, permettant à un même modèle préentraîné de traiter avec succès un large éventail de tâches de TAL.Source : §6 · p. 9
• Les gains empiriques obtenus grâce à l’apprentissage par transfert à partir de modèles de langue montrent qu’un préentraînement non supervisé riche fait partie intégrante de nombreux systèmes de compréhension du langage.Source : §6 · p. 9
• Les résultats antérieurs de l’apprentissage par transfert à partir de modèles de langue montrent que même les tâches à faibles ressources peuvent bénéficier d’architectures unidirectionnelles profondes.Source : §6 · p. 9

A Détails supplémentaires sur BERT

• L’annexe A présente des détails d’implémentation supplémentaires pour BERT.Source : Appendix for “BERT: Pre-training of… · p. 12

Annexe de “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”

• L’annexe B présente des détails supplémentaires sur les expériences.Source : Appendix for “BERT: Pre-training of… · p. 12
• L’annexe C présente des études d’ablation supplémentaires, portant notamment sur le nombre d’étapes d’entraînement et différentes procédures de masquage.Source : Appendix for “BERT: Pre-training of… · p. 12

Modélisation du langage masqué et procédure de masquage

• Le mot est remplacé par [MASK] dans 80% des cas, par un mot aléatoire dans 10% des cas et laissé inchangé dans 10% des cas, afin d’orienter les représentations vers le mot effectivement observé.Source : §A.1 · p. 12
• L’incertitude quant aux mots à prédire ou remplacés aléatoirement oblige l’encodeur à conserver une représentation contextuelle distributionnelle de chaque token d’entrée.1.5% de l’ensemble des tokens sont remplacés aléatoirement, ce qui ne semble pas nuire à la compréhension du langage.Source : §A.1 · p. 12
• La modélisation du langage masqué converge légèrement plus lentement que l’apprentissage de gauche à droite, mais ses gains empiriques compensent largement le surcoût d’entraînement.Dans chaque lot d’apprentissage par modélisation du langage masqué, 15% des tokens font l’objet d’une prédiction, tandis que l’apprentissage de gauche à droite prédit chaque token.Source : §A.1 · pp. 12–13

A.2 Procédure de pré-entraînement

• Pour la prédiction de la phrase suivante, 50% des paires d’entraînement utilisent le segment de texte qui suit réellement, et 50% un segment aléatoire.Les segments reçoivent des plongements A/B et contiennent ensemble au plus 512 tokens ; ces « phrases » ne correspondent pas nécessairement à des phrases individuelles. Le masquage est appliqué uniformément à 15% des tokens après la tokenisation WordPiece, sans traitement particulier des fragments de mots.Source : §A.2 · p. 13
• Le pré-entraînement comporte 1,000,000 étapes avec des lots de 256 séquences, soit environ 40 époques sur le corpus de 3.3 milliards de mots.La fonction de perte d’entraînement additionne la vraisemblance moyenne de la modélisation du langage par masquage et celle de la prédiction de la phrase suivante.Source : §A.2 · p. 13
• Le pré-entraînement utilise Adam avec un taux d’apprentissage de 1e-4, 10,000 étapes de montée en régime, une décroissance linéaire du taux d’apprentissage et un dropout de 0.1.Adam utilise β1 = 0.9, β2 = 0.999 et une décroissance des poids L2 de 0.01. Comme OpenAI GPT, BERT utilise gelu plutôt que relu.Source : §A.2 · p. 13
• 90% des étapes de pré-entraînement utilisent des séquences de longueur 128 ; les 10% restantes utilisent une longueur de 512 pour apprendre les plongements positionnels.Ce calendrier réduit le coût d’entraînement, car le coût de l’attention croît quadratiquement avec la longueur des séquences.Source : §A.2 · p. 13

A.3 Procédure d’ajustement fin

• L’ajustement fin explore des tailles de lot de 16 ou 32, des taux d’apprentissage d’Adam de 5e-5, 3e-5 ou 2e-5, et des nombres d’époques de 2, 3 ou 4.La plupart des autres hyperparamètres restent identiques à ceux du pré-entraînement, notamment le dropout de 0.1. Une recherche exhaustive sélectionne le meilleur modèle sur l’ensemble de développement ; les jeux de données comportant 100k+ exemples annotés étaient beaucoup moins sensibles aux choix d’hyperparamètres que les jeux plus petits.Source : §A.3 · pp. 13–14

A.4 Comparaison de BERT, ELMo et OpenAI GPT

• Malgré des conceptions délibérément similaires, BERT et GPT diffèrent par leurs données d’entraînement, leurs plongements spéciaux pré-entraînés, la taille des lots et le choix du taux d’apprentissage pour l’ajustement fin.GPT utilise BooksCorpus (800M mots), tandis que BERT utilise aussi Wikipedia (2,500M mots) ; tous deux sont entraînés pendant 1M étapes, avec des lots de 32,000 et 128,000 mots respectivement. BERT apprend les plongements de [SEP], de [CLS] et de A/B pendant le pré-entraînement, plutôt que d’introduire les tokens spéciaux seulement lors de l’ajustement fin, et choisit des taux d’apprentissage propres à chaque tâche sur l’ensemble de développement, au lieu du taux fixe de 5e-5 de GPT.Source : §A.4 · p. 14
• Les études d’ablation attribuent l’essentiel des gains aux deux tâches de pré-entraînement de BERT et à la bidirectionnalité qu’elles permettent, plutôt qu’aux autres différences d’entraînement avec OpenAI GPT.GPT utilise un modèle de langue Transformer de gauche à droite ; BERT et GPT reposent sur l’ajustement fin, tandis qu’ELMo repose sur l’extraction de caractéristiques.Source : §A.4 · p. 14

A.5 Illustrations de l’ajustement fin sur différentes tâches

• BERT prend en charge les tâches au niveau des séquences et des tokens par l’ajout d’une seule couche de sortie, ce qui minimise le nombre de paramètres appris à partir de zéro.[CLS] fournit la sortie de classification, tandis que [SEP] sépare les séquences de tokens non consécutives.Source : §A.5 · p. 14

B.1 Descriptions détaillées des expériences sur le banc d’essai GLUE.

• MNLI classe les paires de phrases selon trois catégories : implication, contradiction ou neutralité ; RTE est une tâche binaire d’implication disposant de moins de données d’entraînement.MNLI est une tâche à grande échelle constituée par contribution participative.Source : §B.1 · pp. 14–15
• QQP repère les questions Quora sémantiquement équivalentes, tandis que MRPC étiquette l’équivalence sémantique de paires de phrases journalistiques.Les paires de phrases de MRPC sont extraites automatiquement d’articles de presse en ligne et annotées par des humains.Source : §B.1 · pp. 14–15
• QNLI transforme la tâche de questions-réponses de SQuAD (Rajpurkar et al., 2016) en une classification binaire déterminant si une phrase contient la réponse (Wang et al., 2018a).Les paires question–phrase positives contiennent la bonne réponse ; les paires négatives utilisent des phrases du même paragraphe qui ne la contiennent pas.Source : §B.1 · p. 14
• SST-2 est une tâche de classification binaire du sentiment de phrases isolées, issues de critiques de films et annotées par des humains.Source : §B.1 · p. 15
• CoLA est une tâche de classification binaire de phrases isolées qui prédit si une phrase anglaise est linguistiquement acceptable (Warstadt et al., 2018).Source : §B.1 · p. 15
• Des scores de similarité sémantique de 1 à 5 annotent les paires de phrases de STS-B, issues de titres de presse et d’autres sources.Les scores indiquent le degré de similarité sémantique entre les phrases.Source : §B.1 · p. 15
• Sur WNLI, l’exactitude de 65.1 obtenue par la méthode de référence prédisant toujours la classe majoritaire dépassait celle de tous les modèles entraînés soumis à GLUE ; BERT exclut WNLI pour assurer une comparaison équitable avec OpenAI GPT.WNLI est un petit jeu de données d’inférence dont la page web de GLUE signale des problèmes de construction.Source : §B.1 · p. 15
• Les résultats présentés reposent uniquement sur l’ajustement fin monotâche, bien que l’entraînement multitâche avec MNLI ait nettement amélioré les résultats sur RTE.Les auteurs suggèrent qu’un ajustement fin multitâche pourrait encore améliorer les performances.Source : §B.1 · p. 15

C.1 Effet du nombre de pas d’entraînement

• L’expérience mesure la précision sur MNLI Dev après ajustement fin de points de contrôle issus de préentraînements comportant différents nombres de pas.Figure 5 présente cette comparaison.Source : §C.1 · p. 16
• BERTBASE gagne près de 1.0% de précision sur MNLI avec un préentraînement de 1M pas plutôt que de 500k pas.Le préentraînement complet utilise 128,000 mots par lot pendant 1,000,000 pas.Source : §C.1 · p. 16
• Le préentraînement MLM converge un peu plus lentement que le préentraînement LTR, mais le dépasse presque immédiatement en précision absolue.MLM ne prédit que 15% des mots de chaque lot, tandis que LTR prédit chaque mot.Source : §C.1 · p. 16

C.2 Étude d’ablation des différentes procédures de masquage

• Les stratégies de masquage visent à réduire le décalage entre pré-entraînement et ajustement fin, car [MASK] n’apparaît jamais pendant l’ajustement fin.Les auteurs s’attendent à un décalage plus important pour les approches fondées sur des caractéristiques, car le modèle ne peut pas adapter ses représentations.Source : §C.2 · p. 16
• L’évaluation présente les résultats de développement pour MNLI et NER, avec, pour la NER, des approches par ajustement fin et des approches fondées sur des caractéristiques.L’approche fondée sur des caractéristiques concatène les quatre dernières couches de BERT, suivant la meilleure approche identifiée dans Section 5.3.Source : §C.2 · p. 16
• L’ajustement fin est robuste aux différentes stratégies de masquage, tandis que la NER fondée sur des caractéristiques est sensible au pré-entraînement avec MASK seul.L’utilisation de RND seul est également bien moins performante que la stratégie mixte de BERT.Source : Table 8 · p. 16, §C.2 · p. 16
• 80% MASK, 10% SAME et 10% RND constituent la stratégie de masquage mixte de BERT pour le pré-entraînement MLM.MASK remplace le jeton cible par [MASK], SAME le conserve inchangé et RND le remplace par un autre jeton choisi au hasard.Source : §C.2 · p. 16