Récapitulatif
Dans ce module Learn, nous avons abordé avec soin toutes les bases du traitement en langage naturel, comme la représentation textuelle, les modèles de réseau récurrent traditionnels et les modèles à la pointe ou presque. Nous nous sommes surtout concentrés sur la classification de texte et n’avons pas vu en détail d’autres tâches importantes, comme la reconnaissance des entités nommées, la traduction automatique et les réponses aux questions. Pour implémenter ces tâches, les mêmes principes RNN de base sont utilisés avec une architecture de couche supérieure différente. Pour une compréhension plus complète du domaine du NLP, vous devez également expérimenter certains de ces problèmes.
L’une des autres zones émergentes du NLP est la visualisation et la détection de modèles. Cette direction est également appelée BERTology. Comme nous l’avons vu dans l’unité précédente, la visualisation de la matrice d’attention peut nous en apprendre beaucoup sur le fonctionnement de la traduction automatique et sur où le modèle « regarde » lorsqu’il traduit un mot. Il existe d’autres méthodes puissantes pour comprendre les éléments internes de BERT.
Les modèles de génération de texte les plus récents, tels que GPT-2/3, sont légèrement différents de BERT, dans le sens où ils peuvent être « programmés » pour résoudre différentes tâches en fournissant juste une « séquence initiale » pour la génération de texte. Cela pourrait conduire à un changement de paradigme possible, où au lieu de faire de la formation par apprentissage de transfert, nous nous concentrerions sur la création de questions appropriées pour des réseaux préentraînés géants. Si vous voulez vraiment vous familiariser avec NLP, vous devez probablement explorer certains des derniers modèles de génération de texte, tels que GPT-2 ou Microsoft Turing NLG.
Vous avez maintenant les bases pour commencer à accomplir une tâche en langage naturel !