Riepilogo

  • 2 minuti

In questo modulo di Learn sono state presentate tutte le nozioni di base dell'elaborazione del linguaggio naturale, dalla rappresentazione testuale ai modelli di rete ricorrente tradizionali. Questo materiale funge da lezione introduttiva per iniziare a eseguire qualsiasi attività correlata al linguaggio naturale e a questo punto si sarà in grado di affrontare qualsiasi problema relativo all'elaborazione del linguaggio naturale senza timori.

Sono state presentate le principali aree seguenti:

  • Come tokenizzare il testo in token di parola in base a un vocabolario
  • Diversi modi in cui modificare indici di token in vettore usando rappresentazioni Bag-of-Words o TF-IDF
  • Come usare modelli di incorporamento per archiviare parole in vettori per la ricerca del vocabolario durante l'uso di spaziatura o offset
  • Come creare un modello usando una rete neurale RNN per la classificazione del testo

Il modulo è incentrato prevalentemente su attività di classificazione del testo. Per proseguire l'apprendimento nel campo dell'elaborazione del linguaggio naturale, è necessario sperimentare alcune delle altre funzionalità, ad esempio il riconoscimento di entità denominate, la traduzione automatica o la risposta alle domande. Per implementare queste attività, vengono usati gli stessi principi di base o le stesse reti ricorrenti, ma le architetture di livello superiore di queste reti sono diverse.

Per ampliare la propria conoscenza e approfondire l'elaborazione del linguaggio naturale, è possibile esplorare gli argomenti emergenti seguenti:

  • Meccanismi di attenzione e trasformatori: invece di inoltrare il contesto di ogni cella precedente al passaggio di valutazione successivo, i modelli di trasformatore usano codifiche posizionali e un meccanismo di attenzione. Questa tecnica ignora l'ordine di input per acquisire la relazione contestuale tra ogni parola nella sequenza. Questo è un metodo in fase di sviluppo per apprendere a identificare il contesto di ogni parola nella sequenza di testo. Non perde il contesto nelle lunghe sequenze osservate nelle reti neurali ricorrenti. Inoltre, può apprendere in un'elaborazione in parallelo anziché in modelli di rete neurale ricorrente in sequenza.
  • BERT: BERT fornisce un modello già sottoposto a training da trasformatori. È un potente metodo con training per stimare la frase successiva. Converte il testo in rappresentazione numerica apprendendo l'incorporamento contestuale per le parole.
  • GPT-3: i modelli GPT-3 sono i modelli di generazione di testo più recenti, leggermente diversi da BERT. Il modello può essere "programmato" per risolvere diverse attività solo fornendo una "sequenza iniziale" adatta per la generazione di testo. Questo porta a un possibile cambio di paradigma, in cui invece di eseguire il training di apprendimento induttivo ci si concentrerebbe sulla creazione di domande adatte alle reti di grandi dimensioni con training preliminare. Se si vuole approfondire l'elaborazione del linguaggio naturale, è probabilmente necessario esplorare alcuni dei più recenti modelli di generazione di testo, ad esempio GPT-3 o Microsoft Turing NLG.

Il training di modelli così grandi richiede molto impegno e deve essere eseguito in modo distribuito. Il training distribuito è un'altra area su cui è necessario concentrarsi se si prevede di eseguire progetti di elaborazione del linguaggio naturale complessi. È sicuramente utile consultare Azure Machine Learning.

Dopo aver appreso alcune delle nozioni di base di Machine Learning usando i concetti relativi alle reti neurali, è consigliabile procedere con il percorso di apprendimento Nozioni fondamentali su PyTorch e altre informazioni:

Suggerimento

Per aprire un collegamento ipertestuale, fare clic con il pulsante destro del mouse e scegliere Apri in una nuova scheda/Apri in un'altra finestra. In questo modo, sarà possibile visualizzare la risorsa e tornare facilmente al modulo.

Divertiti a imparare!