摘要
在此學習課程模組中，我們已涵蓋自然語言處理的所有基本概念，例如：文字表示法、傳統的循環網路模型，以及具備注意力且近乎最先進的模型。 我們先前主要著重於文字分類，且並未詳細討論其他重要的工作，例如具名實體辨識、機器翻譯和問題解答。 若要實作那些工作，會搭配不同的最上層結構使用相同的基本 RNN 準則。 若要更完整了解 NLP 領域，建議您也搭配上述那些問題進行實驗。
NLP 的其他新興領域之一是模型視覺化和探查。 這方面也稱為 BERTology。 如上一個單元所述，將注意力矩陣視覺化可以讓我們深入了解機器翻譯的運作方式，以及模型在翻譯某個單字時會「查看」何處。 若想瞭解 BERT 的本質，還有其他很有用的方法。
最新的文字生成模型 (例如 GPT-2/3) 與 BERT 稍微不同，因為我們可以為此類模型提供「初始序列」以進行文字產生，來以「程式設計方式」將其設定成可以解決不同的工作。 這可能會對整體架構帶來改變，其中與其進行傳輸學習定型，我們會改為專注在為巨型預先定型網路建立適當的問題上。 如果想要認真研究 NLP，您可能需要探索某些最新的文字生成模型，例如 GPT-2 或 Microsoft Turing NLG。
現在您已經具備開始處理任何自然語言工作的基本概念！