Introduzione all'elaborazione del linguaggio naturale con TensorFlow

  • 1 minuto

In questo modulo vengono esaminate diverse architetture di rete neurale per gestire il testo in linguaggio naturale. Negli ultimi anni il campo dell'elaborazione del linguaggio naturale (NLP) ha vissuto una rapida crescita, grazie non solo ai miglioramenti apportati alle architetture dei modelli di linguaggio, ma anche all'esecuzione del training su corpus di testo sempre più grandi. Di conseguenza, la loro capacità di "comprendere" il testo è notevolmente migliorato.

Ci concentriamo sugli aspetti fondamentali della rappresentazione dell'NLP come tensori in TensorFlow e sulle architetture NLP classiche, ad esempio l'uso di bag-of-words, incorporamenti e reti neurali ricorrenti.

Attività in linguaggio naturale

Esistono diverse attività di NLP che è possibile risolvere usando le reti neurali:

  • Classificazione testo viene usata quando è necessario classificare un frammento di testo in una delle diverse classi predefinite. Ad esempio, il rilevamento della posta indesiderata, la categorizzazione delle notizie, l'assegnazione di una richiesta di supporto a una categoria e altro ancora.
  • Classificazione finalità è un caso specifico di classificazione del testo in cui si vuole eseguire il mapping di un'espressione di input nel sistema di IA conversazionale in una delle finalità che rappresentano il significato effettivo della frase o la finalità dell'utente.
  • Analisi del sentiment è il compito di comprendere il grado di positività di una determinata parte di testo. Può essere affrontato come un'attività di classificazione (ad esempio, l'etichettatura del testo come positivo, negativo o neutro) o come attività di regressione, in cui viene etichettato il testo dalla più negativa (-1) al più positivo (+1) e si esegue il training di un modello che restituisce un numero che rappresenta la positività del testo di input.
  • Riconoscimento entità denominata è l'attività di estrazione delle entità dal testo, ad esempio date, indirizzi, nomi di persone e così via. Insieme a Classificazione finalità, l'attività Riconoscimento entità denominata viene spesso usata nei sistemi di dialogo per estrarre i parametri dall'espressione dell'utente.
  • Un'attività simile di estrazione di parole chiave può essere usata per trovare le parole più significative all'interno di un testo, che possono quindi essere usate come tag.
  • Riepilogo automatico del testo estrae i frammenti di testo più rilevanti, offrendo all'utente una versione compressa del testo originale.
  • Risposta alle domande è l'attività di estrazione di una risposta da un frammento di testo. Questo modello accetta un input, ad esempio un frammento di testo o una domanda, e trova la posizione esatta che contiene la risposta all'interno del testo. Ad esempio, il testo "John è uno studente di 22 anni che ama usare Microsoft Learn" e la domanda Quanti anni ha John devono fornire la risposta 22.

In questo modulo ci si concentrerà principalmente sull'attività Classificazione testo . Tuttavia, verranno illustrati tutti i concetti importanti necessari per gestire le attività più difficili in futuro.