Elaborazione intelligente dei documenti

L'elaborazione intelligente dei documenti converte contenuti non strutturati, ad esempio pdf, file DOCX, immagini e presentazioni, in dati strutturati e arricchiti che alimentano agenti downstream, applicazioni e analisi.

Azure Databricks ti offre cinque modi per eseguire IDP, tutti basati sulle stesse funzioni AI sviluppate dalla ricerca:

  • Agent Bricks UI: un'esperienza visiva senza codice per l'analisi, l'estrazione e la classificazione dei documenti. Usalo per testare documenti di esempio, perfezionare uno schema o etichette e validare visivamente i risultati prima di scalare.
  • Funzioni SQL AI: Esegui funzioni intelligenti di elaborazione documentale direttamente sul Lakehouse. Utilizzali per elaborare documenti su larga scala, comporre insieme le fasi e costruire pipeline di livello produttivo governate nelle pipeline Lakeflow.
  • API REST: Chiama le stesse funzioni AI da applicazioni, servizi e flussi di lavoro di automazione.
  • API asincrona (Beta): Esegui ai_parse_document, ai_extract, o ai_classify asincronamente su molti input da un file in un volume del Catalogo Unity, e ottieni i risultati in un file in un volume. Per ai_parse_document, l'input può anche essere una directory di volume. Vedi il riferimento API asincrona.
  • Compiti di AI Function in Lakeflow Jobs (Beta): Aggiungi un ai_parse_document, ai_extract, o ai_classify task a un lavoro per elaborare documenti nuovi e modificati secondo un programma, senza scrivere SQL. Vedi le attività di Funzione AI per i lavori.

Capacità intelligenti di elaborazione documentale

Funzionalità Agent Bricks UI Funzione SQL REST API API asincrona (Beta)
Convertire file PDF, DOCX, immagini e PPT in testo strutturato, tabelle e descrizioni delle figure. Analisi dei documenti ai_parse_document Analisi documento AI API asincrona
Estrarre campi strutturati da documenti o testo semplice utilizzando uno schema definito. Estrazione di informazioni ai_extract AI Extract API asincrona
Assegnare categorie predefinite a documenti o testo, supportando fino a 500 etichette. Classificazione ai_classify Classifica AI API asincrona
Trasforma i documenti sottoposti a parsing in segmenti semantici pronti per la generazione aumentata dal recupero (RAG) e per l'indicizzazione in AI Search. ai_prep_search (Beta)

Casi d'uso comuni

IDP in Azure Databricks supporta un'ampia gamma di applicazioni downstream:

  • Generazione aumentata dal recupero (RAG): Analizzare e strutturare i documenti per migliorare il chunking, la qualità del recupero e il grounding per applicazioni LLM.
  • Estrazione della conoscenza e analisi: Estrarre i campi chiave e i metadati per abilitare ricerca, reportistica e business intelligence sui dati dei documenti.
  • Flussi di lavoro guidati dagli agenti: instradano, classificano e arricchiscono i documenti per supportare il processo decisionale automatizzato e l'esecuzione dei compiti.
  • Comprensione e classificazione dei documenti: Organizzare i grandi corpi documentali per tipo, argomento o contenuto per l'elaborazione a valle.

Come funziona

Azure Databricks consente l'elaborazione intelligente dei documenti come flusso di lavoro end-to-end unificato in Lakehouse. L'inserimento, l'analisi, l'arricchimento e l'analisi downstream sono basate su una singola piattaforma, quindi ogni fase funziona perfettamente insieme senza richiedere un'integrazione complessa o uno spostamento dei dati.

  1. Acquisisci e orchestra

    Usare le pipeline di Lakeflow per inserire documenti non elaborati(ad esempio PDF, immagini e file DOCX) e orchestrare le pipeline. Poiché l'inserimento e l'orchestrazione sono integrati in modo nativo con Lakehouse, i documenti passano direttamente all'elaborazione downstream senza infrastruttura aggiuntiva.

  2. Analizza i documenti (strato di bronzo)

    Applicare ai_parse_document per convertire i file non elaborati in rappresentazioni strutturate. In questo modo viene creato un livello bronzo standardizzato che acquisisce testo, descrizioni di tabelle/immagini e struttura del documento, formando una base coerente per tutti i casi d'uso downstream.

  3. Estrai e classifica

    Usare ai_extract e ai_classify per arricchire i documenti analizzati con campi e metadati strutturati. Queste funzioni operano direttamente sugli output analizzati, consentendo di estrarre informazioni chiave, classificare i documenti e instradarli attraverso flussi di lavoro senza passaggi di trasformazione aggiuntivi.

  4. Prepararsi al recupero (RAG)

    Applicare ai_prep_search (Beta) per trasformare i documenti analizzati in blocchi semantici arricchiti con contesto a livello di documento, ad esempio titoli, intestazioni di sezione e riferimenti di pagina. L'output è formattato per l'indicizzazione in AI Search, fornendo una base uniforme per i carichi di lavoro RAG e di recupero delle informazioni.

  5. Analizza e operativizza

    Sfruttare funzioni di intelligenza artificiale aggiuntive o altri strumenti (dashboard di intelligenza artificiale, app, ricerca di intelligenza artificiale) per l'analisi downstream, il recupero (RAG) e i flussi di lavoro basati su agenti. Poiché tutti i dati rimangono in Lakehouse, i dati dei documenti strutturati possono essere usati immediatamente per la ricerca, i dashboard e le applicazioni.