Resumo
Neste Módulo de Aprendizagem, abordamos todos os conceitos básicos do Processamento de Linguagem Natural, tais como: representação de texto, modelos de rede recorrentes tradicionais e modelos quase de última geração com atenção. Estávamos focando principalmente na classificação de texto e não discutimos em detalhes outras tarefas importantes, como reconhecimento de entidades nomeadas, tradução automática e resposta a perguntas. Para implementar essas tarefas, os mesmos princípios básicos de RNN são usados com uma arquitetura de camada superior diferente. Para obter uma compreensão mais completa do campo PNL, você deve experimentar alguns desses problemas também.
Uma das outras áreas emergentes da PNL é a visualização e sondagem de modelos. Esta direção também é conhecida como BERTology. Como vimos na unidade anterior, visualizar a matriz de atenção pode nos dizer muito sobre como funciona a tradução automática e onde o modelo "parece" ao traduzir uma palavra. Existem outros métodos poderosos para entender os internos do BERT.
Os modelos generativos de texto mais recentes, como o GPT-2/3, são ligeiramente diferentes do BERT, no sentido de que podem ser "programados" para resolver diferentes tarefas apenas fornecendo uma "sequência inicial" para a geração de texto. Isso poderia levar a uma possível mudança de paradigma em que, em vez de fazer treinamento de aprendizagem por transferência, estaríamos nos concentrando na criação de perguntas adequadas para redes gigantes pré-treinadas. Se você quiser levar realmente a sério a PNL, provavelmente precisará explorar alguns dos modelos generativos de texto mais recentes, como GPT-2 ou Microsoft Turing NLG.
Agora você tem o básico para começar qualquer tarefa de linguagem natural!