Sammanfattning
I den här Learn-modulen har vi gått igenom alla grunderna i bearbetning av naturligt språk, till exempel textrepresentation, traditionella återkommande nätverksmodeller och nästan toppmoderna modeller med uppmärksamhet. Vi fokuserade främst på textklassificering och diskuterade inte i detalj andra viktiga uppgifter som namngiven entitetsigenkänning, maskinöversättning och frågesvar. För att implementera dessa uppgifter används samma grundläggande RNN-principer med en annan arkitektur på översta nivån. För att få en mer fullständig förståelse för NLP-fältet bör du experimentera med några av dessa problem också.
Ett av de andra framväxande områdena i NLP är modellvisualisering och avsökning. Den här riktningen kallas även BERTology. Som vi har sett i föregående lektion kan visualisering av uppmärksamhetsmatris berätta mycket om hur maskinöversättning fungerar och var modellen "ser ut" när du översätter ett ord. Det finns andra kraftfulla metoder för att förstå BERT internals.
De senaste textgenerativa modellerna, till exempel GPT-2/3, skiljer sig något från BERT, på ett sätt som gör att de kan "programmeras" för att lösa olika uppgifter bara genom att tillhandahålla en "inledande sekvens" för textgenerering. Detta skulle kunna leda till ett möjligt paradigmskifte där vi i stället för att göra överföringsutbildning skulle fokusera på att skapa lämpliga frågor för gigantiska förtränade nätverk. Om du vill bli riktigt seriös med NLP behöver du förmodligen utforska några av de senaste textgenerativa modellerna, till exempel GPT-2 eller Microsoft Turing NLG.
Nu har du grunderna för att komma igång med alla uppgifter med naturligt språk!