Einführung in die Verarbeitung natürlicher Sprache mit TensorFlow

Abgeschlossen

In diesem Modul untersuchen wir verschiedene neurale Netzwerkarchitekturen für den Umgang mit Text in natürlicher Sprache. In den letzten Jahren hat die Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) ein schnelles Wachstum erlebt, sowohl aufgrund von Verbesserungen der Sprachmodellarchitekturen als auch aufgrund der Tatsache, dass sie mit immer größeren Textkörpern trainiert wurde. Infolgedessen hat sich ihre Fähigkeit, Text zu verstehen, erheblich verbessert.

Wir konzentrieren uns auf die grundlegenden Aspekte der Darstellung von NLP als Tensoren in TensorFlow und auf klassische NLP-Architekturen, z. B. verwendung von Bag-of-Words, Einbettungen und wiederkehrenden neuralen Netzwerken.

Aufgaben in natürlicher Sprache

Es gibt eine Reihe von NLP-Aufgaben, die wir mit neuronalen Netzen lösen können:

• Textklassifizierung wird verwendet, wenn wir ein Textfragmente in eine von mehreren vordefinierten Klassen klassifizieren müssen. Beispiele hierfür sind die E-Mail-Spamerkennung, die Kategorisierung von Nachrichten, das Zuweisen einer Supportanfrage zu einer Kategorie und mehr.
• Absichtsklassifizierung ist ein spezifischer Fall der Textklassifizierung, bei dem wir Eingabeäußerungen im KI-Unterhaltungssystem einer der Absichten zuordnen möchten, die die tatsächliche Bedeutung des Ausdrucks oder die Absicht des Benutzers darstellen.
• Die Stimmungsanalyse ist die Aufgabe, den Grad der Positivität eines bestimmten Textteils zu verstehen. Es kann als Klassifizierungsaufgabe (z. B. das Bezeichnen von Text als positiv, negativ oder neutral) oder als Regressionsaufgabe angegangen werden, bei der text von den meisten negativen (-1) bis zum meisten positiven (+1) bezeichnet wird, und ein Modell trainieren, das eine Zahl ausgibt, die die Positivität des Eingabetexts darstellt.
• Erkennung benannter Entitäten (Named Entity Recognition, NER) ist die Aufgabe, Entitäten aus Text zu extrahieren, z. B. Datumsangaben, Adressen, Personennamen usw. Zusammen mit der Absichtsklassifizierung wird NER häufig in Dialogsystemen verwendet, um Parameter aus den Äußerungen des Benutzers zu extrahieren.
• Eine ähnliche Aufgabe der Schlüsselwortextraktion kann verwendet werden, um die aussagekräftigsten Wörter in einem Text zu finden, die dann als Tags verwendet werden können.
• Textzusammenfassung extrahiert die aussagekräftigsten Textteile und liefert dem Benutzer eine komprimierte Version des Originaltexts.
• Beantwortung von Fragen ist die Aufgabe, eine Antwort aus einem Text zu extrahieren. Dieses Modell nimmt ein Textfragment und eine Frage als Eingabe an und findet genau die Stelle im Text, die die Antwort darauf enthält. Der Text „John is a 22 year old student who loves to use Microsoft Learn“ (John ist ein 22 Jahre alter Student, der gerne Microsoft Learn verwendet) und die Frage Wie alt ist John sollte uns die Antwort 22 geben.

In diesem Modul konzentrieren wir uns hauptsächlich auf die Aufgabe " Textklassifizierung" . Wir werden jedoch alle wichtigen Konzepte kennenlernen, die wir benötigen, um schwierigere Aufgaben in der Zukunft bewältigen zu können.