Zusammenfassung

  • 2 Minuten

In diesem Lernmodul haben wir alle Grundlagen der Verarbeitung natürlicher Sprache behandelt, von der Textdarstellung über herkömmliche Modelle rekurrenter Netze. Dies dient als Einführungslektion, um Ihnen den Einstieg in jede natürlichsprachliche Aufgabe zu erleichtern, und wir hoffen, dass Sie jetzt in der Lage sind, jedes NLP-Problem ohne Vorbehalt anzugehen.

Sie haben die folgenden wichtigen Bereiche kennengelernt:

  • Umwandeln von Text in Worttoken auf der Grundlage eines Vokabulars
  • Verschiedene Möglichkeiten zum Ändern von Tokenindizes in Vektoren mithilfe von Bag-of-Words oder TF-IDF
  • Verwenden von Einbettungsmodellen zum Speichern von Wörtern in Vektoren für die Vokabularsuche bei Verwendung von Auffüllungen oder Offsets
  • Erstellen eines Modells mithilfe eines neuronalen RNN-Netzes für die Textklassifizierung

Wir konzentrieren uns hauptsächlich auf Textklassifizierungsaufgaben. Um Ihre Kenntnisse hinsichtlich NLP zu vertiefen, sollten Sie einige der anderen Funktionen wie die Erkennung benannter Entitäten, die maschinelle Übersetzung oder Fragen und Antworten ausprobieren. Für die Umsetzung der Aufgaben werden dieselben Grundprinzipien oder rekurrente Netze verwendet, lediglich die Architekturen der obersten Schichten dieser Netze unterscheiden sich.

Um Ihr Wissen zu erweitern und umfassende Informationen zu NLP zu erhalten, können Sie sich mit den folgenden neuen Themen beschäftigen:

  • Aufmerksamkeitsmechanismen und Transformatoren: Anstatt den Kontext jeder vorherigen Zelle in den nächsten Auswertungsschritt weiterzuleiten, verwenden Transformatormodelle positionsbezogene Codierungen und Aufmerksamkeitsmechanismen. Diese Technik ignoriert die Eingabereihenfolge, um die Kontextbeziehung zwischen den einzelnen Wörtern in der Sequenz zu erfassen. Auf diese Weise lernen Sie, den Kontext eines jeden Worts in der Textsequenz zu verstehen. Es verliert bei langen Sequenzen nicht den Kontext, wie es bei RNNs der Fall ist. Darüber hinaus kann es im Gegensatz zu sequenziellen RNN-Modellen bei der parallelen Verarbeitung lernen.
  • BERT: BERTology bietet ein vorab trainiertes Modell von Transformatoren. Es ist eine leistungsstarke Methode, die darauf trainiert ist, den nächsten Satz vorherzusagen. Sie wandelt Text in eine numerische Darstellung um, indem sie die kontextuelle Einbettung von Wörtern lernt.
  • GPT-3: GPT-3 sind die neuesten generativen Modelle für Text, die sich leicht von BERT unterscheiden. Das Modell kann auf die Lösung verschiedener Aufgaben „programmiert“ werden, indem Sie einfach eine geeignete „Anfangssequenz“ für die Textgenerierung bereitstellen. Dies führt zu einem möglichen Paradigmenwechsel, bei dem wir uns statt des Trainings per Lerntransfer darauf konzentrieren würden, geeignete Fragen für riesige vortrainierte Netzwerke zu erstellen. Wenn Sie sich ernsthaft mit NLP beschäftigen möchten, müssen Sie wohl einige der neuesten Textgenerierungsmodelle untersuchen, z. B. GPT-3 oder Microsoft Turing-NLG.

Das Trainieren solcher großen Modelle erfordert viel Aufwand und muss auf verteilte Weise erfolgen. Verteiltes Training ist ein weiteres Gebiet, auf das Sie sich konzentrieren müssen, wenn Sie umfangreiche NLP-Projekte planen. Es ist unter allen Umständen sinnvoll, sich mit Azure Machine Learning zu befassen.

Nachdem Sie nun einige der Grundlagen des maschinellen Lernens mit Konzepten für neuronale Netze kennengelernt haben, können Sie mit dem Lernpfad zu den PyTorch-Grundlagen fortfahren, um weitere Informationen zu erhalten:

Tipp

Klicken Sie zum Öffnen eines Links mit der rechten Maustaste, und wählen Sie dann Open in new tab or window (In neuer Registerkarte oder neuem Fenster öffnen) aus. Auf diese Weise können Sie die Ressource einsehen und problemlos zum Modul zurückkehren.

Viel Erfolg beim Lernen!