Condividi tramite

Creare ed eseguire il training di un modello di estrazione personalizzato

  • Articolo

Questo contenuto si applica a:segno di spuntav4.0 (anteprima) | Versioni precedenti:segno di spunta bluv3.1 (GA)segno di spunta bluv3.0 (GA)segno di spunta bluv2.1

Per iniziare, i modelli di Intelligence sui documenti richiedono solo cinque documenti di training. Se si hanno almeno cinque documenti, è possibile iniziare a eseguire il training di un modello personalizzato. È possibile eseguire il training di un modello di modello personalizzato (modulo personalizzato) o di un modello neurale personalizzato (documento personalizzato). Il processo di training è identico per entrambi i modelli e questo documento illustra il processo per tutti e due i modelli.

Requisiti di input per il modello personalizzato

Prima di tutto, assicurarsi che il set di dati di training segua i requisiti di input per Document Intelligence.

  • Per risultati ottimali, fornire una foto chiara o una scansione di alta qualità per ogni documento.

  • Formati di file supportati:

    Modello PDF Immagine:
    JPEG/JPG, PNG, BMP, TIFF, HEIF    		 Microsoft Office:
    Word (DOCX), Excel (XLSX), PowerPoint (PPTX) e HTML
    Lettura ✔ ✔ ✔
    Layout ✔ ✔ ✔ (2024-02-29-preview, 2023-10-31-preview)
    Documento generale ✔ ✔
    Predefinito ✔ ✔
    Estrazione personalizzata ✔ ✔
    Classificazione personalizzata ✔ ✔ ✔ (2024-02-29-preview)

  • Per i formati PDF e TIFF, possono essere elaborate fino a 2000 pagine (con una sottoscrizione di livello gratuito, vengono elaborate solo le prime due pagine).

  • Le dimensioni del file per l'analisi dei documenti sono di 500 MB per il livello a pagamento (S0) e 4 MB per il livello gratuito (F0).

  • Per le immagini, le dimensioni devono essere comprese tra 50 x 50 pixel e 10.000 x 10.000 pixel.

  • Se i file PDF sono bloccati da password, è necessario rimuovere il blocco prima dell'invio.

  • L'altezza minima del testo da estrarre è di 12 pixel per un'immagine 1024 x 768 pixel. Queste dimensioni corrispondono approssimativamente a un testo con dimensioni di 8 punti e 150 punti per pollice (DPI).

  • Per il training di modelli personalizzati, il numero massimo di pagine per i dati di training è 500 per il modello personalizzato e 50.000 per il modello neurale personalizzato.

    • Per il training di modelli di estrazione personalizzati, le dimensioni totali dei dati di training sono di 50 MB per il modello e 1G MB per il modello neurale.

    • Per il training del modello di classificazione personalizzato, le dimensioni totali dei dati di training sono 1GB con un massimo di 10.000 pagine.

Suggerimenti per i dati di training

Seguire questi suggerimenti per ottimizzare ulteriormente il set di dati per il training:

  • Usare documenti PDF basati su testo anziché documenti basati su immagini. I PDF sottoposti a scansione vengono gestiti come immagini.
  • Usare esempi con tutti i campi completati per i moduli con campi di input.
  • Usa moduli con valori diversi in ogni campo.
  • Usare un set di dati di dimensioni maggiori (10-15 immagini) se le immagini del modulo hanno una qualità inferiore.

Caricare i dati di training

Dopo aver raccolto un set di moduli o documenti per il training, è necessario caricarlo in un contenitore di archiviazione BLOB di Azure. Se non si sa come creare un account di archiviazione di Azure con un contenitore, seguire la guida di avvio rapido di Archiviazione di Azure per il portale di Azure. È possibile usare il piano tariffario gratuito (F0) per provare il servizio ed eseguire in un secondo momento l'aggiornamento a un livello a pagamento per la produzione.

Video: Eseguire il training del modello personalizzato

  • Dopo aver raccolto e caricato il set di dati di training, si è pronti per eseguire il training del modello personalizzato. Nel video seguente si creerà un progetto e si esamineranno alcuni dei concetti fondamentali per l'etichettatura e il training di un modello.

Creare un progetto in Document Intelligence Studio

Document Intelligence Studio fornisce e orchestra tutte le chiamate API necessarie per completare il set di dati ed eseguire il training del modello.

  1. Per iniziare, passare a Document Intelligence Studio. La prima volta che si usa lo studio, è necessario inizializzare la sottoscrizione, il gruppo di risorse e la risorsa. Seguire quindi i prerequisiti per i progetti personalizzati per configurare lo studio per accedere al set di dati di training.

  2. Nello studio selezionare il riquadro Modelli personalizzati nella pagina Modelli personalizzati e selezionare il pulsante Crea un progetto.

    Screenshot di Creazione di un progetto in Document Intelligence Studio.

    1. Nella finestra di dialogo Crea progetto specificare un nome per il progetto, facoltativamente una descrizione e selezionare Continua.

    2. Nel passaggio successivo del flusso di lavoro scegliere o creare una risorsa di Intelligence documenti prima di selezionare Continua.

    Importante

    I modelli neurali personalizzati sono disponibili solo in alcune aree. Se si prevede di eseguire il training di un modello neurale, selezionare o creare una risorsa in una di queste aree supportate.

    Screenshot di Selezionare la risorsa di Intelligence per i documenti.

  3. Selezionare quindi l'account di archiviazione usato per caricare il set di dati di training del modello personalizzato. Il Percorso cartella deve essere vuoto se i documenti di training si trovano nella radice del contenitore. Se i documenti si trovano in una sottocartella, immettere il percorso relativo dalla radice del contenitore nel campo Percorso cartella. Dopo aver configurato l'account di archiviazione, selezionare Continua.

    Screenshot di Selezionare l'account di archiviazione.

  4. Esaminare infine le impostazioni del progetto e selezionare Crea progetto per creare un nuovo progetto. A questo punto, verrà visualizzata la finestra di etichettatura con l'elenco dei file nel set di dati.

Assegnare etichette ai dati

Nel progetto, la prima attività prevede l'etichettatura del set di dati con i campi da estrarre.

I file caricati nella risorsa di archiviazione sono elencati a sinistra della schermata, con il primo file pronto per essere etichettato.

  1. Iniziare a etichettare il set di dati e creare il primo campo selezionando il pulsante più (➕) in alto a destra della schermata.

    Screenshot di Crea un'etichetta.

  2. Immettere un nome per il campo.

  3. Assegnare un valore al campo scegliendo una parola o parole nel documento. Selezionare il campo nell'elenco a discesa o nell'elenco dei campi sulla barra di spostamento a destra. Il valore etichettato è mostrato sotto il nome del campo nell'elenco dei campi.

  4. Ripetere il processo per tutti i campi da etichettare per il set di dati.

  5. Etichettare i documenti rimanenti nel set di dati selezionando ogni documento e quindi il testo da etichettare.

A questo punto, tutti i documenti nel set di dati sono etichettati. I file .labels.json e .ocr.json corrispondono a ogni documento nel set di dati di training e a un nuovo file fields.json. Questo set di dati di training viene inviato per eseguire il training del modello.

Eseguire il training del modello

Dopo aver etichettato il set di dati, è possibile eseguire il training del modello. Selezionare il pulsante Training nell'angolo superiore destro.

  1. Nella finestra di dialogo Esegui training del modello specificare un ID modello univoco e, facoltativamente, una descrizione. L'ID modello accetta un tipo di dati stringa.

  2. Per la modalità di compilazione, selezionare il tipo di modello di cui si vuole eseguire il training. Altre informazioni sui tipi e sulle funzionalità del modello.

    Screenshot della finestra di dialogo Esegui training modello.

  3. Selezionare Training per avviare il processo di training.

  4. Il training dei modelli impiega pochi minuti. Il training dei modelli neurali può richiedere fino a 30 minuti.

  5. Passare al menu modelli per visualizzare lo stato dell'operazione di training.

Test del modello

Al termine del training del modello, è possibile testare il modello selezionando il modello nella pagina dell'elenco dei modelli.

  1. Selezionare il modello e selezionare il pulsante Test.

  2. Selezionare il pulsante + Add per selezionare un file per testare il modello.

  3. Con un file selezionato, scegliere il pulsante Analizza per testare il modello.

  4. I risultati del modello vengono visualizzati nella finestra principale e i campi estratti sono elencati nella barra di spostamento a destra.

  5. Convalidare il modello valutando i risultati per ogni campo.

  6. La barra di spostamento a destra include anche il codice di esempio per richiamare il modello e i risultati JSON dall'API.

Si è appreso come eseguire il training di un modello personalizzato in Document Intelligence Studio. Il modello è pronto per l'uso con l'API REST o l'SDK per l'analisi dei documenti.

Si applica a:Segno di spunta di Document Intelligence v2.1v2.1. Altre versioni:v3.0

Quando si usa il modello personalizzato di Document Intelligence, si forniscono i propri dati di training all'operazione Train Custom Model ,in modo che il modello possa eseguire il training ai moduli specifici del settore. Seguire questa guida per informazioni su come raccogliere e preparare i dati per eseguire il training del modello in modo efficace.

Sono necessari almeno cinque moduli completati dello stesso tipo.

Se si desidera usare dati di training etichettati manualmente, è necessario iniziare con almeno cinque moduli completati dello stesso tipo. È comunque possibile usare moduli non etichettati oltre al set di dati richiesto.

Requisiti di input per il modello personalizzato

Prima di tutto, assicurarsi che il set di dati di training segua i requisiti di input per Document Intelligence.

  • Per risultati ottimali, fornire una foto chiara o una scansione di alta qualità per ogni documento.

  • Formati di file supportati:

    Modello PDF Immagine:
    JPEG/JPG, PNG, BMP, TIFF, HEIF    		 Microsoft Office:
    Word (DOCX), Excel (XLSX), PowerPoint (PPTX) e HTML
    Lettura ✔ ✔ ✔
    Layout ✔ ✔ ✔ (2024-02-29-preview, 2023-10-31-preview)
    Documento generale ✔ ✔
    Predefinito ✔ ✔
    Estrazione personalizzata ✔ ✔
    Classificazione personalizzata ✔ ✔ ✔ (2024-02-29-preview)

  • Per i formati PDF e TIFF, possono essere elaborate fino a 2000 pagine (con una sottoscrizione di livello gratuito, vengono elaborate solo le prime due pagine).

  • Le dimensioni del file per l'analisi dei documenti sono di 500 MB per il livello a pagamento (S0) e 4 MB per il livello gratuito (F0).

  • Per le immagini, le dimensioni devono essere comprese tra 50 x 50 pixel e 10.000 x 10.000 pixel.

  • Se i file PDF sono bloccati da password, è necessario rimuovere il blocco prima dell'invio.

  • L'altezza minima del testo da estrarre è di 12 pixel per un'immagine 1024 x 768 pixel. Queste dimensioni corrispondono approssimativamente a un testo con dimensioni di 8 punti e 150 punti per pollice (DPI).

  • Per il training di modelli personalizzati, il numero massimo di pagine per i dati di training è 500 per il modello personalizzato e 50.000 per il modello neurale personalizzato.

    • Per il training di modelli di estrazione personalizzati, le dimensioni totali dei dati di training sono di 50 MB per il modello e 1G MB per il modello neurale.

    • Per il training del modello di classificazione personalizzato, le dimensioni totali dei dati di training sono 1GB con un massimo di 10.000 pagine.

Suggerimenti per i dati di training

Seguire questi suggerimenti per ottimizzare ulteriormente il set di dati per il training.

  • Usare documenti PDF basati su testo anziché documenti basati su immagini. I PDF sottoposti a scansione vengono gestiti come immagini.
  • Usare esempi con tutti i campi compilati per i moduli completati.
  • Usa moduli con valori diversi in ogni campo.
  • Usare un set di dati di dimensioni maggiori (10-15 immagini) per i moduli completati.

Caricare i dati di training

Dopo aver raccolto il set di documenti per il training, è necessario caricarlo in un contenitore di archiviazione BLOB di Azure. Se non si sa come creare un account di archiviazione di Azure con un contenitore, seguire la guida di avvio rapido di Archiviazione di Azure per il portale di Azure. Usare il livello di prestazioni Standard.

Per usare dati etichettati manualmente, caricare i file .labels.json e .ocr.json corrispondenti ai documenti di training. Per generare questi file, è possibile usare lo strumento di etichettatura campioni (o l'interfaccia utente in uso).

Organizzare i dati in sottocartelle (facoltativo)

Per impostazione predefinita, l'API Training del modello personalizzato usa solo i documenti che si trovano nella radice del contenitore di archiviazione. Tuttavia, è possibile eseguire il training con i dati nelle sottocartelle se lo si specifica nella chiamata API. In genere, il corpo della chiamata Training del modello personalizzato ha il formato seguente, dove <SAS URL> è l'URL della firma di accesso condiviso del contenitore:

{
  "source":"<SAS URL>"
}

Se si aggiunge il contenuto seguente al corpo della richiesta, l'API eseguirà il training con i documenti che si trovano nelle sottocartelle. Il campo "prefix" è facoltativo e limita il set di dati di training ai file i cui percorsi iniziano con la stringa specificata. Di conseguenza, un valore di "Test", ad esempio, farà in modo che l'API esamini solo i file o le cartelle che iniziano con la parola Test.

{
  "source": "<SAS URL>",
  "sourceFilter": {
    "prefix": "<prefix string>",
    "includeSubFolders": true
  },
  "useLabelFile": false
}

Passaggi successivi

Dopo aver appreso come creare un set di dati di training, seguire una guida introduttiva per eseguire il training di un modello di Intelligence documenti personalizzato e iniziare a usarlo nei moduli.

Vedi anche