Estrazione di informazioni

Note

Questa pagina illustra la nuova versione di Estrazione informazioni. Per informazioni sulla versione precedente, vedere Usare l'estrazione delle informazioni (legacy)

L'estrazione delle informazioni trasforma documenti e testo non strutturati in informazioni dettagliate chiave e strutturate usando uno schema definito. In questo modo è possibile usare le informazioni incorporate in testo non strutturato, PDF, immagini o tabelle direttamente per l'analisi, la creazione di report o gli agenti downstream e le applicazioni.

Esempi di estrazione di informazioni includono:

• Estrazione di parti legali e termini dai contratti.
• Estrazione di voci e termini di pagamento dalle fatture.
• Estrazione dei dettagli chiave dalle cartelle cliniche e dalle note.

L'estrazione delle informazioni si basa sulla funzione ai_extractdi intelligenza artificiale . Estrazione informazioni include un'interfaccia utente visiva per personalizzare e ottimizzare la funzione con uno schema definito per l'estrazione.

Estrazione informazioni usa l'archiviazione predefinita per archiviare trasformazioni di dati temporanee, checkpoint del modello e metadati interni che alimentano ogni agente. Quando si elimina un agente, Databricks rimuove tutti i dati associati all'agente dalla risorsa di archiviazione predefinita.

Requisiti

• Un'area di lavoro che include quanto segue:
  • Calcolo serverless attivato. Consulta Requisiti di calcolo serverless.
  • Catalogo Unity abilitato. Vedere Abilitare un'area di lavoro per il Catalogo Unity.
  • Accesso a un criterio di utilizzo serverless con un budget diverso da zero.
• Questa funzione è disponibile solo in alcune aree, vedere Disponibilità delle funzioni di intelligenza artificiale.
• Per le aree di lavoro con il componente aggiuntivo Sicurezza e conformità avanzata,
  • Consultare il supporto regionale per ai_extract per lo standard di conformità applicabile.
  • Per informazioni su come abilitarlo nell'area di lavoro, vedere Gestire Azure Databricks anteprime.
• Possibilità di usare la ai_extract funzione SQL.
• Dati non strutturati da cui estrarre informazioni. I dati devono trovarsi in un volume o una tabella di Unity Catalog.
  • Per creare il tuo agente, devi avere almeno 1 file in un volume di Unity Catalog o 1 riga nella tua tabella.

Creare un agente di estrazione delle informazioni

Vai all'icona nel riquadro di navigazione a sinistra della tua area di lavoro. Fare clic su Crea agente>Estrazione informazioni.

Passaggio 1: Selezionare i dati da cui estrarre le informazioni

1. Nella pagina Inizia con i dati selezionare i file o i dati da cui estrarre le informazioni. È possibile eseguire una delle operazioni seguenti:

   • Trascinare e rilasciare uno o più file nell'area di caricamento oppure fare clic per cercare i file da caricare.
   • Fare clic su Seleziona volume per selezionare un volume di Catalogo Unity con tipi di file supportati.
   • Fare clic su Seleziona tabella per selezionare una tabella di Catalogo Unity contenente dati di testo.

2. Se si seleziona una tabella, selezionare la colonna contenente i dati da estrarre. È necessario selezionare una colonna con un tipo supportato, ad esempio STRING o VARIANT, prima di poter continuare. Se la tabella non contiene colonne supportate, selezionare una tabella diversa.

3. Fare clic su Crea agente. Questo pulsante è abilitato solo dopo aver selezionato un'origine dati valida e, per una tabella, una colonna supportata.

Passaggio 2: Configurare e perfezionare lo schema di estrazione

Dopo che il processo di Estrazione delle Informazioni ha elaborato i tuoi dati, configura e perfeziona quali dati desideri estrarre dai tuoi documenti.

1. In Configurazione definire lo schema di estrazione. Questa operazione può essere eseguita in diversi modi:

   • Immettere il linguaggio naturale che descrive le informazioni da estrarre e fare clic su Genera schema. L'estrazione di informazioni genera automaticamente uno schema JSON con nomi di campo e definizioni. Modificare queste descrizioni in base alle esigenze.
   • In alternativa, fare clic su Or, Define manually (Definisci manualmente ) per definire manualmente lo schema:
     1. Fare clic su Aggiungi campo.
     2. Immettere il nome, il tipo e la descrizione del campo.
     3. Cliccare Conferma.
     4. Ripetere per ogni campo da estrarre.
     5. Fare clic su Salva ed esegui estrazione.
   • È anche possibile fare clic su JSON per modificare direttamente lo schema JSON. Al termine, fare clic su Applica modifiche .

   Ogni volta che si aggiorna lo schema e si fa clic su Salva ed esegui estrazione, Estrazione informazioni aggiorna l'agente di estrazione, esegue l'estrazione e mostra i risultati per ogni input.

2. Esamina, a sinistra, il documento analizzato e l'estrazione effettuata dall'agente. Iterare i risultati dell'estrazione in due modi. In primo luogo, fornire feedback in linguaggio naturale su uno o più input, che ottimizzano automaticamente le descrizioni quando si preme Salva ed esegui estrazione. In secondo luogo, rivedere manualmente le descrizioni dello schema, che diventano effettive quando si preme Salva ed esegui estrazione.

3. Usare le versioni per confrontare o ripristinare una configurazione precedente. Fare clic su Versioni, quindi su Confronta per confrontare la definizione dello schema di una versione precedente con la versione corrente. Fare clic su Ripristina per ripristinare una versione precedente.

Passaggio 3. Valutare e migliorare la qualità di estrazione

Per misurare le prestazioni dell'agente e migliorarlo sistematicamente, valutare l'agente rispetto a un set di dati etichettato. Una valutazione assegna un punteggio a ogni estrazione rispetto a una risposta corretta nota (verità del terreno), in modo da tenere traccia dell'accuratezza a livello di campo tra le versioni e indirizzare i campi che richiedono il lavoro.

Aggiungere un set di dati di valutazione

Prima di eseguire una valutazione, è necessario avere un set di dati di valutazione in Unity Catalog. Il set di dati deve essere una tabella del catalogo Unity con due colonne:

• Colonna di input con il testo o il documento da estrarre. Può trattarsi di STRING testo o output VARIANT di ai_parse_document.
• Colonna di verità di base con il risultato di estrazione previsto come stringa JSON. Ogni valore deve essere conforme allo schema di estrazione dell'agente, che corrisponde allo ai_extract schema avanzato.

Eseguire una valutazione

Per eseguire una valutazione del tuo agente di estrazione:

1. Nel workbench aprire l'elenco a discesa di valutazione e fare clic su Esegui valutazione. Si apre la finestra di dialogo Crea esecuzione di valutazione.
2. Nella tabella del set di dati di valutazione selezionare la tabella del catalogo Unity che contiene gli esempi etichettati.
3. In Mappatura delle colonne, seleziona la colonna di input che contiene l'input dell'agente e la colonna di riferimento che contiene la risposta prevista.
4. Fare clic su Esegui valutazione. Estrazione informazioni salva la configurazione corrente come nuova versione e assegna punteggi a ogni riga rispetto alla verità di base.

Esaminare i risultati della valutazione

Man mano che l'esecuzione avanza, i documenti vengono trasmessi nella scheda Documenti e tutti i campi non corrispondenti vengono visualizzati per ogni documento. Al termine dell'esecuzione, Information Extraction visualizza la scheda Panoramica, che include:

• Scheda di valutazione con accuratezza complessiva dei campi e documenti completamente corretti. Se esiste un'esecuzione di valutazione precedente, la scheda di valutazione mostra la variazione rispetto a quella esecuzione.
• Tabella dei punteggi per campo . Fare clic su un campo qualsiasi per aprire il drill-down, che mostra accuratezza, precisione, richiamo e F1. Fare clic su Mostra documenti non riusciti per visualizzare ogni documento che non è riuscito a estrarre il campo e il relativo output estratto.

Passare alla scheda Documenti per esaminare i singoli documenti. Ogni riga mostra il rapporto tra i campi corrispondenti e i campi non corrispondenti. Usare l'elenco a discesa Campi per filtrare i documenti con un campo specifico non corrispondente. Fare clic su un documento per confrontare, fianco a fianco, la risposta dell'agente e il ground truth.

Eseguire l'iterazione affinando lo schema, quindi fare di nuovo clic su Esegui valutazione per vedere in che modo le modifiche hanno interessato i punteggi.

Passaggio 4: Usare il proprio agente di estrazione

Dopo aver soddisfatto le prestazioni dell'agente, usare l'agente per estrarre informazioni.

Fare clic su Usa agente in alto a destra. Si può selezionare:

• Esegui in SQL per usare l'agente per estrarre informazioni da tutti i dati. Verrà aperta una query SQL che usa ai_extract per estrarre informazioni dal volume o dalla tabella usando lo schema definito. Per altre informazioni sull'uso ai_extract nelle query SQL, vedere ai_extract funzione.
• Crea una pipeline Lakeflow che venga eseguita a intervalli pianificati per richiamare l'agente su nuovi dati. Verrà creata una pipeline Lakeflow che aggiorna una tabella di streaming con i dati estratti. È possibile configurare la pianificazione della pipeline per essere eseguita quando arrivano nuovi dati. Per altre informazioni sulle pipeline di Lakeflow, vedere Pipeline dichiarative Spark.

Limitations

• Vedere Limitazioni

• Gli agenti di estrazione delle informazioni hanno una lunghezza massima del contesto di 128.000 token.
• I tipi di schema union non sono supportati.