Creare ed eseguire il training di un modello di estrazione personalizzato

  • Articolo

Questo contenuto si applica a:segno di spuntav4.0 (anteprima) | Versioni precedenti:segno di spunta bluv3.1 (GA)segno di spunta bluv3.0 (GA)segno di spunta bluv2.1

Per iniziare, i modelli di Intelligence sui documenti richiedono solo cinque documenti di training. Se si hanno almeno cinque documenti, è possibile iniziare a eseguire il training di un modello personalizzato. È possibile eseguire il training di un modello di modello personalizzato (modulo personalizzato) o di un modello neurale personalizzato (documento personalizzato). Il processo di training è identico per entrambi i modelli e questo documento illustra il processo di training di entrambi i modelli.

Requisiti di input del modello personalizzato

Prima di tutto, assicurarsi che il set di dati di training segua i requisiti di input per Document Intelligence.

  • Per ottenere risultati ottimali, fornire una foto chiara o un'analisi di alta qualità per ogni documento.

  • Formati di file supportati:

    Modello PDF Immagine:
    JPEG/JPG, PNG, BMP, TIFF, HEIF    		 Microsoft Office:
    Word (DOCX), Excel (XLSX), PowerPoint (PPTX) e HTML
    Lettura ✔ ✔ ✔
    Layout ✔ ✔ ✔ (2024-02-29-preview, 2023-10-31-preview)
    Documento generale ✔ ✔
    Predefinito ✔ ✔
    Estrazione personalizzata ✔ ✔
    Classificazione personalizzata ✔ ✔ ✔ (2024-02-29-preview)

  • Per PDF e TIFF, è possibile elaborare fino a 2000 pagine (con una sottoscrizione di livello gratuito, vengono elaborate solo le prime due pagine).

  • Le dimensioni del file per l'analisi dei documenti sono di 500 MB per il livello a pagamento (S0) e 4 MB per il livello gratuito (F0).

  • Le dimensioni dell'immagine devono essere comprese tra 50 x 50 pixel e 10.000 px x 10.000 pixel.

  • Se i file PDF sono bloccati da password, è necessario rimuovere il blocco prima dell'invio.

  • L'altezza minima del testo da estrarre è di 12 pixel per un'immagine da 1024 x 768 pixel. Questa dimensione corrisponde a circa 8-point text a 150 punti per pollice (DPI).

  • Per il training di modelli personalizzati, il numero massimo di pagine per i dati di training è 500 per il modello di modello personalizzato e 50.000 per il modello neurale personalizzato.

    • Per il training del modello di estrazione personalizzato, le dimensioni totali dei dati di training sono di 50 MB per il modello di modello e 1G-MB per il modello neurale.

    • Per il training del modello di classificazione personalizzato, le dimensioni totali dei dati di training sono 1GB pari a un massimo di 10.000 pagine.

Suggerimenti per i dati di training

Seguire questi suggerimenti per ottimizzare ulteriormente il set di dati per il training:

  • Usare documenti PDF basati su testo anziché documenti basati su immagini. I PDF sottoposti a scansione vengono gestiti come immagini.
  • Usare esempi con tutti i campi completati per i moduli con campi di input.
  • Usa moduli con valori diversi in ogni campo.
  • Usare un set di dati di dimensioni maggiori (10-15 immagini) se le immagini del modulo hanno una qualità inferiore.

Caricare i dati di training

Dopo aver raccolto un set di moduli o documenti per il training, è necessario caricarlo in un contenitore di archiviazione BLOB di Azure. Se non si sa come creare un account di archiviazione di Azure con un contenitore, seguire la guida introduttiva Archiviazione di Azure per portale di Azure. È possibile usare il piano tariffario gratuito (F0) per provare il servizio ed eseguire in un secondo momento l'aggiornamento a un livello a pagamento per la produzione.

Video: Eseguire il training del modello personalizzato

  • Dopo aver raccolto e caricato il set di dati di training, si è pronti per eseguire il training del modello personalizzato. Nel video seguente viene creato un progetto ed esplora alcuni dei concetti fondamentali per l'etichettatura e il training di un modello.

Creare un progetto in Document Intelligence Studio

Document Intelligence Studio fornisce e orchestra tutte le chiamate API necessarie per completare il set di dati ed eseguire il training del modello.

  1. Per iniziare, passare a Document Intelligence Studio. La prima volta che si usa Studio, è necessario inizializzare la sottoscrizione, il gruppo di risorse e la risorsa. Seguire quindi i prerequisiti per i progetti personalizzati per configurare Studio per accedere al set di dati di training.

  2. Nel riquadro Studio selezionare il riquadro Modelli personalizzati, nella pagina Modelli personalizzati e selezionare il pulsante Crea un progetto .

    Screenshot di Creazione di un progetto in Document Intelligence Studio.

    1. Nella finestra di dialogo Crea progetto specificare un nome per il progetto, facoltativamente una descrizione e selezionare Continua.

    2. Nel passaggio successivo del flusso di lavoro scegliere o creare una risorsa di Intelligence documenti prima di selezionare Continua.

    Importante

    I modelli neurali personalizzati sono disponibili solo in alcune aree. Se si prevede di eseguire il training di un modello neurale, selezionare o creare una risorsa in una di queste aree supportate.

    Screenshot di Selezionare la risorsa di Intelligence per i documenti.

  3. Selezionare quindi l'account di archiviazione usato per caricare il set di dati di training del modello personalizzato. Il percorso della cartella deve essere vuoto se i documenti di training si trovano nella radice del contenitore. Se i documenti si trovano in una sottocartella, immettere il percorso relativo dalla radice del contenitore nel campo Percorso cartella. Dopo aver configurato l'account di archiviazione, selezionare Continua.

    Screenshot di Selezionare l'account di archiviazione.

  4. Esaminare infine le impostazioni del progetto e selezionare Crea progetto per creare un nuovo progetto. Si dovrebbe ora trovarsi nella finestra di etichettatura e visualizzare i file nel set di dati elencato.

Assegnare etichette ai dati

Nel progetto, la prima attività consiste nell'etichettare il set di dati con i campi da estrarre.

I file caricati nella risorsa di archiviazione sono elencati a sinistra della schermata, con il primo file pronto per essere etichettato.

  1. Iniziare a etichettare il set di dati e creare il primo campo selezionando il pulsante più (➕) in alto a destra della schermata.

    Screenshot di Crea un'etichetta.

  2. Immettere un nome per il campo.

  3. Assegnare un valore al campo scegliendo una parola o parole nel documento. Selezionare il campo nell'elenco a discesa o nell'elenco dei campi sulla barra di spostamento a destra. Il valore etichettato è sotto il nome del campo nell'elenco dei campi.

  4. Ripetere il processo per tutti i campi da etichettare per il set di dati.

  5. Etichettare i documenti rimanenti nel set di dati selezionando ogni documento e selezionando il testo da etichettare.

Tutti i documenti nel set di dati sono ora etichettati. I file .labels.json e .ocr.json corrispondono a ogni documento nel set di dati di training e a un nuovo file di fields.json. Questo set di dati di training viene inviato per eseguire il training del modello.

Eseguire il training del modello

Dopo aver etichettato il set di dati, è ora possibile eseguire il training del modello. Selezionare il pulsante Train (Training) nell'angolo superiore destro.

  1. Nella finestra di dialogo Training modello specificare un ID modello univoco e, facoltativamente, una descrizione. L'ID modello accetta un tipo di dati stringa.

  2. Per la modalità di compilazione, selezionare il tipo di modello di cui si vuole eseguire il training. Altre informazioni sui tipi di modello e sulle funzionalità.

    Screenshot della finestra di dialogo Esegui training modello.

  3. Selezionare Esegui training per avviare il processo di training.

  4. I modelli di modello eseguono il training in pochi minuti. Il training dei modelli neurali può richiedere fino a 30 minuti.

  5. Passare al menu Modelli per visualizzare lo stato dell'operazione di training.

Test del modello

Al termine del training del modello, è possibile testare il modello selezionando il modello nella pagina dell'elenco dei modelli.

  1. Selezionare il modello e selezionare il pulsante Test .

  2. Selezionare il + Add pulsante per selezionare un file per testare il modello.

  3. Con un file selezionato, scegliere il pulsante Analizza per testare il modello.

  4. I risultati del modello vengono visualizzati nella finestra principale e i campi estratti sono elencati nella barra di spostamento destra.

  5. Convalidare il modello valutando i risultati per ogni campo.

  6. La barra di spostamento destra include anche il codice di esempio per richiamare il modello e i risultati JSON dall'API.

Si è appreso come eseguire il training di un modello personalizzato in Document Intelligence Studio. Il modello è pronto per l'uso con l'API REST o l'SDK per analizzare i documenti.

Si applica a:Segno di spunta di Document Intelligence v2.1v2.1. Altre versioni:v3.0

Quando si usa il modello personalizzato di Document Intelligence, si forniscono i propri dati di training all'operazione Train Custom Model ,in modo che il modello possa eseguire il training ai moduli specifici del settore. Seguire questa guida per informazioni su come raccogliere e preparare i dati per eseguire il training del modello in modo efficace.

Sono necessari almeno cinque moduli completati dello stesso tipo.

Se si desidera usare dati di training etichettati manualmente, è necessario iniziare con almeno cinque moduli completati dello stesso tipo. È comunque possibile usare moduli senza etichetta oltre al set di dati richiesto.

Requisiti di input del modello personalizzato

Prima di tutto, assicurarsi che il set di dati di training segua i requisiti di input per Document Intelligence.

  • Per ottenere risultati ottimali, fornire una foto chiara o un'analisi di alta qualità per ogni documento.

  • Formati di file supportati:

    Modello PDF Immagine:
    JPEG/JPG, PNG, BMP, TIFF, HEIF    		 Microsoft Office:
    Word (DOCX), Excel (XLSX), PowerPoint (PPTX) e HTML
    Lettura ✔ ✔ ✔
    Layout ✔ ✔ ✔ (2024-02-29-preview, 2023-10-31-preview)
    Documento generale ✔ ✔
    Predefinito ✔ ✔
    Estrazione personalizzata ✔ ✔
    Classificazione personalizzata ✔ ✔ ✔ (2024-02-29-preview)

  • Per PDF e TIFF, è possibile elaborare fino a 2000 pagine (con una sottoscrizione di livello gratuito, vengono elaborate solo le prime due pagine).

  • Le dimensioni del file per l'analisi dei documenti sono di 500 MB per il livello a pagamento (S0) e 4 MB per il livello gratuito (F0).

  • Le dimensioni dell'immagine devono essere comprese tra 50 x 50 pixel e 10.000 px x 10.000 pixel.

  • Se i file PDF sono bloccati da password, è necessario rimuovere il blocco prima dell'invio.

  • L'altezza minima del testo da estrarre è di 12 pixel per un'immagine da 1024 x 768 pixel. Questa dimensione corrisponde a circa 8-point text a 150 punti per pollice (DPI).

  • Per il training di modelli personalizzati, il numero massimo di pagine per i dati di training è 500 per il modello di modello personalizzato e 50.000 per il modello neurale personalizzato.

    • Per il training del modello di estrazione personalizzato, le dimensioni totali dei dati di training sono di 50 MB per il modello di modello e 1G-MB per il modello neurale.

    • Per il training del modello di classificazione personalizzato, le dimensioni totali dei dati di training sono 1GB pari a un massimo di 10.000 pagine.

Suggerimenti per i dati di training

Seguire questi suggerimenti per ottimizzare ulteriormente il set di dati per il training.

  • Usare documenti PDF basati su testo anziché documenti basati su immagini. I PDF sottoposti a scansione vengono gestiti come immagini.
  • Usare esempi con tutti i campi compilati per i moduli completati.
  • Usa moduli con valori diversi in ogni campo.
  • Usare un set di dati di dimensioni maggiori (10-15 immagini) per i moduli completati.

Caricare i dati di training

Dopo aver raccolto il set di documenti per il training, è necessario caricarlo in un contenitore di archiviazione BLOB di Azure. Se non si sa come creare un account di archiviazione di Azure con un contenitore, seguire la guida introduttiva Archiviazione di Azure per portale di Azure. Usare il livello di prestazioni standard.

Se si desidera usare dati etichettati manualmente, caricare i file .labels.json e .ocr.json corrispondenti ai documenti di training. È possibile usare lo strumento di etichettatura di esempio (o la propria interfaccia utente) per generare questi file.

Organizzare i dati in sottocartelle (facoltativo)

Per impostazione predefinita, l'API Train Custom Model usa solo i documenti che si trovano nella radice del contenitore di archiviazione. Tuttavia, è possibile eseguire il training con i dati nelle sottocartelle se vengono specificati nella chiamata API. In genere, il corpo della chiamata Train Custom Model ha il formato seguente, dove <SAS URL> è l'URL della firma di accesso condiviso del contenitore:

{
  "source":"<SAS URL>"
}

Se si aggiunge il contenuto seguente al corpo della richiesta, l'API esegue il training con i documenti che si trovano nelle sottocartelle. Il "prefix" campo è facoltativo e limita il set di dati di training ai file i cui percorsi iniziano con la stringa specificata. Pertanto, un valore di "Test", ad esempio, fa in modo che l'API esamini solo i file o le cartelle che iniziano con la parola Test.

{
  "source": "<SAS URL>",
  "sourceFilter": {
    "prefix": "<prefix string>",
    "includeSubFolders": true
  },
  "useLabelFile": false
}

Passaggi successivi

Dopo aver appreso come creare un set di dati di training, seguire una guida introduttiva per eseguire il training di un modello di Intelligence documenti personalizzato e iniziare a usarlo nei moduli.

Vedi anche