Resumo
Neste módulo de aprendizagem, abordamos todos os fundamentos do Processamento de Linguagem Natural, desde a representação de texto até os modelos tradicionais de rede recorrente. Isso é uma lição inicial para começar a usar qualquer tarefa de linguagem natural, e esperamos que agora você possa abordar qualquer problema de NLP sem medo.
Você aprendeu sobre as seguintes áreas principais:
- Como tokenizar texto em tokens de palavra com base em um vocabulário
- As diferentes maneiras de alterar índices de token para vetor usando Bag of Word ou TF-IDF
- Como usar modelos de inserção para armazenar palavras em vetores para pesquisa de vocabulário ao usar preenchimento ou deslocamentos
- Como criar um modelo usando uma rede neural RNN para classificação de texto
Nos concentramos principalmente em tarefas de classificação de texto. Para continuar seu aprendizado do campo NLP, você deverá experimentar alguns dos outros recursos, como reconhecimento de entidade nomeada, tradução automática ou resposta a perguntas. Para implementar as tarefas, são usados os mesmos princípios básicos ou redes recorrentes com atenção. No entanto, arquiteturas de camada superior dessas redes são diferentes.
Para estender seu conhecimento e obter um aprendizado aprofundado sobre NLP, você poderá explorar os seguintes tópicos emergentes:
- Mecanismos de Atenção e Transformadores: em vez de encaminhar o contexto de cada célula anterior para a próxima etapa de avaliação, os modelos transformadores usam codificações posicionais e mecanismo de atenção. Essa técnica ignora a ordem de entrada para capturar a relação de contexto entre cada palavra na sequência. É uma maneira emergente de aprender a entender o contexto de cada palavra na sequência de texto. Não perde contexto em sequências longas que vemos em RNNs. Além disso, pode aprender no processamento paralelo em vez de modelos RNN sequenciais.
- BERT: a BERTology fornece um modelo pré-treinado de transformadores. É um método poderoso treinado para prever a próxima frase. Converte o texto em representação numérica aprendendo a inserção contextual para palavras.
- GPT-3: GPT-3 são os modelos generativos de texto mais recentes que são ligeiramente diferentes do BERT. O modelo pode ser "programado" para resolver tarefas diferentes apenas fornecendo uma "sequência inicial" adequada para a geração de texto. Isso nos leva a uma possível mudança de paradigma, em que, em vez de fazer o treinamento de transferência de aprendizado, nos concentraríamos na criação de perguntas adequadas para redes pré-treinadas gigantes. Se você quiser levar o NLP a sério, provavelmente precisará explorar alguns dos modelos de geração de texto mais recentes, como o GPT-3 ou o Microsoft Turing NLG.
O treinamento de modelos tão grandes envolve muito esforço e precisa ser feito de maneira distribuída. O treinamento distribuído é outra área na qual você precisará se concentrar se estiver planejando projetos de NLP sérios. Definitivamente vale a pena conferir o Azure Machine Learning.
Agora que você aprendeu alguns dos fundamentos do machine learning usando os conceitos de redes neurais, convidamos você a continuar com o Roteiro de aprendizagem de conceitos básicos sobre PyTorch e aprender mais:
Dica
Para abrir um hiperlink, clique com o botão direito do mouse e escolha Abrir em uma nova guia ou janela. Dessa forma, você pode ver o recurso e retornar facilmente ao módulo.
Bom aprendizado.