Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Per creare un modello NER personalizzato, sono necessari dati di qualità per eseguirne il training. Questo articolo illustra come selezionare e preparare i dati, nonché come definire uno schema. La definizione dello schema è il primo passaggio nel ciclo di vita di sviluppo di un progetto e comporta definire i tipi/le categorie di entità che il modello deve estrarre dal testo in fase di esecuzione.
Progettazione dello schema
Lo schema definisce i tipi/le categorie di entità che il modello deve estrarre dal testo in fase di esecuzione.
Esaminare i documenti nel set di dati per acquisire familiarità con il loro formato e la loro struttura.
Identificare le entità da estrarre dai dati.
Ad esempio, se si estraggono entità dai messaggi di posta elettronica di supporto, potrebbe essere necessario estrarre "Nome cliente", "Nome prodotto", "Data richiesta" e "Informazioni di contatto".
Evitare tipi di entità ambigui.
L’ambiguità si verifica quando i tipi di entità selezionati sono simili tra loro. Più ambiguo è lo schema, più dati etichettati sono necessari per distinguere tra differenti tipi di entità.
Ad esempio, se si estraggono dati da un contratto legale, per estrarre "Nome della prima parte" e "Nome della seconda parte" è necessario aggiungere altri esempi per superare l'ambiguità poiché i nomi di entrambe le parti sembrano simili. Evitare l’ambiguità, perché consente di risparmiare tempo e lavoro, e migliora i risultati.
Evitare entità complesse. Le entità complesse possono essere difficili da scegliere con precisione dal testo. Valutare la possibilità di suddividerla in più entità.
Ad esempio, l'estrazione di "Address" sarebbe difficile se non fosse suddivisa in entità più piccole. Esistono così tante varianti del modo in cui vengono visualizzati gli indirizzi che sarebbe necessario un numero elevato di entità etichettate per insegnare al modello a estrarre un indirizzo, nel suo complesso, senza suddividerlo. Tuttavia, se si sostituisce "Address" con "Street Name", "PO Box", "City", "State" e "Zip", il modello richiede un minor numero di etichette per entità.
Selezione dei dati
La qualità dei dati con cui si esegue il training del modello influisce notevolmente sulle prestazioni del modello.
Usare dati reali che riflettono lo spazio del problema del dominio per eseguire un training efficace del modello. È possibile usare dati sintetici per accelerare il processo di training del modello iniziale, ma differisce dai dati reali e rendere il modello meno efficace quando usato.
Bilanciare la distribuzione dei dati il più possibile senza scostarsi dalla distribuzione in tempo reale.
Usare dati diversi, quando possibile, per evitare l'overfitting del modello. Una minore diversità nei dati di training può causare correlazioni spurie di apprendimento del modello che potrebbero non esistere nei dati reali.
Evitare documenti duplicati nei dati. I dati duplicati influiscono negativamente sul processo di training, sulle metriche del modello e sulle prestazioni del modello.
Prendere in considerazione la provenienza dei dati. Se si raccolgono dati da una persona, da un reparto o da una parte dello scenario, è probabile che manchi una diversità importante per il modello.
Nota
Se i documenti si trovano in più lingue, selezionare l'opzione Abilita lingua multipla durante la creazione del progetto e impostare l'opzione lingua sulla lingua della maggior parte dei documenti.
Preparazione dei dati
Come prerequisito per la creazione di un progetto, è necessario caricare i dati di training in un contenitore BLOB nell'account di archiviazione. È possibile creare e caricare i documenti di training direttamente da Azure o tramite lo strumento Azure Storage Explorer. L'uso dello strumento Azure Storage Explorer consente di caricare più dati rapidamente.
È possibile usare solo documenti .txt. Se i dati sono in un altro formato, è possibile usare il comando parse di CLUtils per modificare il formato del documento.
È possibile caricare un set di dati con annotazioni oppure caricarne uno senza annotazioni ed etichettare i dati.
Set di test
Quando si definisce il set di test, assicurarsi di includere documenti di esempio non presenti nel set di training. La definizione del set di test è un passaggio importante per calcolare le prestazioni del modello. Accertarsi, inoltre, che il set di test includa documenti che rappresentano tutte le entità usate nel progetto.
Passaggi successivi
Se non è già stato fatto, creare un progetto di riconoscimento delle entità denominate personalizzate. Se è la prima volta che si usa il riconoscimento delle entità denominate personalizzate, provare a seguire la guida introduttiva per creare un progetto di esempio. Per altre informazioni, vederel'articolo relativo alle procedure.