Сводка
В этом модуле Learn мы рассмотрели все основные принципы обработки естественного языка, от текстового представления до традиционных моделей рекуррентных сетей и новейших моделей с использованием внимания. Основное внимание уделялось задачам классификации текста, а другие важные задачи, такие как распознавание сущностей, машинный перевод и ответы на вопросы, обсуждались менее подробно. Для реализации этих задач используются те же основные принципы рекуррентной нейронной сети (RNN), что и в другой архитектуре верхнего уровня. Чтобы получить более полное представление об области NLP, следует также поэкспериментировать с некоторыми из этих проблем.
Еще одной новой областью применения NLP является визуализация модели и выборка. Это направление также называется BERTology. Как мы видели в предыдущем уроке, визуализация матрицы внимания может предоставить много сведений о том, как работает машинный перевод и где модель ищет данные при переводе слова. Существуют и другие эффективные методы, позволяющие понять внутренние возможности BERT.
Последние модели создания текстов, такие как GPT-2/3, немного отличаются от BERT в том смысле, что их можно "программировать" для решения различных задач, предоставив "начальную последовательность" для создания текста. Это создает возможность для смещения парадигмы, в результате чего вместо обучения по принципу передачи обучения основное внимание уделяется созданию подходящих вопросов для огромных предварительно обученных сетей. Если вы всерьез хотите овладеть навыками работы с NLP, вам, вероятно, потребуется изучить некоторые из последних моделей создания текста, такие как GPT-2 или Microsoft Turing NLG.
Теперь вы знаете основы и можете приступить к решению любой задачи по обработке естественного языка!