Usa il codice Genie per l'elaborazione intelligente dei documenti

Genie Code costruisce pipeline di elaborazione documentale end-to-end orchestrando parsing, classificazione, estrazione e validazione. Applicandolo a PDF, contratti o fatture non strutturati, valuta la qualità rispetto ai dati etichettati e itera per migliorarla, così puoi stabilire quando una pipeline è pronta per l’uso in produzione.

Requisiti

Per usare Genie Code per l'elaborazione dei documenti:

• Soddisfa i requisiti per le capacità agentiche del Codice Genio.
• Soddisfare i requisiti per le funzioni IA. Le funzioni di elaborazione documentale (ai_parse_document, ai_extract, e ai_classify) funzionano su calcolo serverless o su un SQL warehouse in una regione supportata.
• Fai in modo che il Catalogo Unity abbia accesso a un volume per i tuoi documenti sorgente e a uno schema per i risultati.

Costruisci una pipeline di elaborazione documentale con Genie Code

1. Apri il codice Genie nella pagina Jobs & Pipelines o nell'editor SQL.

2. Dichiara il tuo obiettivo e indica le tue fonti. Fai riferimento ai tuoi volumi, tabelle e file.

   

3. Lascia che cresca. Dopo che Genie Code dispone di elementi sufficienti su cui lavorare, crea il job Lakeflow seguendo le best practice.

4. Rivedi ed esegui. Controlla l'SQL generato e le attività, modifica quello che vuoi e esegui il lavoro quando sei pronto.

   

5. Inizia in piccolo, poi scala. Esegui su un campione, rivedi l'output, valuta la qualità e itera prima di elaborare l'intero dataset.

Che cosa può aiutare Genie Code?

Crea un processo di elaborazione dei documenti end-to-end

Descrivi il risultato e Genie Code costruisce un lavoro completo di Lakeflow, utilizzando solo le fasi di cui il tuo obiettivo ha bisogno:

• Scopri i file sorgente in un volume e monitora la loro identità e le modifiche.
• Analizza i documenti in contenuti strutturati con ai_parse_document (testo, tabelle, figure e layout di pagina).
• Classifica ogni documento con le tue etichette ( ai_classify ad esempio, contratti di affiliazione, marketing o consulenza).
• Estrai i campi strutturati da uno schema con ai_extract, inclusi citazioni e punteggi di confidenza.
• Pubblica un output pulito e strutturato su una tabella del Catalogo Unity.

Ogni funzione AI è un compito a sé stante, quindi il lavoro rimane modulare e puoi rifarlo, sostituirlo o modificarlo in seguito.

Migliora la qualità dell'estrazione con la valutazione e l'arrampicata in collina

Genie Code tratta la qualità come qualcosa che si misura, non come una ipotesi. Data una tabella etichettata degli output attesi, viene eseguita una valutazione a livello di campo, quindi chiude il ciclo:

• Misura. Valuta il campo di estrazione corrente campo per campo così puoi vedere esattamente quali campi sono deboli.
• Migliora. Genie Code propone una correzione, più spesso una descrizione del campo più nitida, mostrata come un diff revisionabile che approvi prima che venga applicato.
• Rivaluta. Ogni cambiamento accettato riesegue il set di valutazione e mostra i risultati prima e dopo, quindi sono sia visibili miglioramenti che regressioni.

Il ciclo si ripete finché la qualità non raggiunge il tuo livello, quindi giudichi la prontezza dai punteggi e dalla fiducia, non da un output che sembra plausibile.

Valida i risultati e instrada le eccezioni

Genie Code integra porte di qualità nella pipeline. Combina controlli deterministici (schemi, campi richiesti, totali), fiducia del modello e regole di business per decidere cosa passa, e mantiene visibili le righe fallite.

Debug visivo dei tuoi documenti

Genie Code apre l'interfaccia di analisi dei documenti per mostrare le pagine renderizzate accanto al contenuto analizzato e ai campi estratti. Usalo per individuare un risultato negativo: se manca o è distorto nel testo analizzato, il problema è l'analisi o il file sorgente. Se il testo è stato analizzato ma un campo è errato, il problema è nell'estrazione. In ogni caso, conferma su documenti reali prima di scalare.

Ispezionare e risolvere problemi delle pipeline esistenti

Genie Code funziona su pipeline che già possiedi, non solo su quelle nuove. Può spiegare un lavoro, rivedere il suo design e il costo senza cambiare nulla, trovare la causa principale di una fase fallita o lenta e fare la più piccola soluzione lasciando invariate le parti funzionanti.

Esempi di suggerimenti

Costruire una pipeline end-to-end

• I contratti arrivano in @my_catalog.raw.contracts. Costruire un lavoro quotidiano che classifichi ciascuno in affiliazione, marketing, consulenza, hosting e escrow; estrarre i campi importanti per ogni tipo di contratto; e scrivere tabelle d'oro."
• Ho un volume di fatture scansionate in @my_catalog.raw.invoices. Crea un lavoro che li analizzi, estragga il fornitore, il numero della fattura, le voci e il totale, e scriva i risultati su una tabella."

Migliora la qualità con la valutazione e l'arrampicata in salita

• Come faccio a sapere se questo è abbastanza valido da funzionare su milioni di righe? Valuta l'estrazione rispetto alla mia tabella @my_catalog.default.eval_table etichettata e dimmi quali campi sono i più deboli."
• "La precisione sul invoice_total campo potrebbe essere maggiore. Migliora iterativamente lo schema e le istruzioni, rifai la valutazione e mostrami il prima e il dopo."
• Imposta soglie di confidenza per ciascun campo in base ai risultati della valutazione e invia alla revisione le righe con bassa confidenza.

Valida i risultati e instrada le eccezioni

• Aggiungi una convalida che verifichi i campi obbligatori e che la somma delle voci corrisponda al totale della fattura, e conserva le righe che non superano la convalida.
• "Documenti di quarantena che non rispettano una regola aziendale (ad esempio, tasse pagate superiori allo stipendio) in una tabella separata per la revisione umana."

Debug visivo dei tuoi documenti

• "Mostrami i risultati analizzati di questi PDF accanto alle pagine originali così posso controllare i risultati analizzati."
• "La data di entrata in vigore è sbagliata su alcuni contratti di consulenza. Apri la vista analizzata così posso capire se è un problema di analisi o di estrazione."

Ispezionare e risolvere problemi delle pipeline esistenti

• "Spiega cosa fa ogni compito in questo lavoro di elaborazione documentale e dove sono stati scritti i risultati."
• "Questo compito di analisi ha iniziato a fallire. Trova la causa dall'output dell'ultima esecuzione e consiglia la modifica minima.
• "Rivedi questa pipeline di elaborazione documentale secondo le best practice e dimmi se è pronta per essere eseguita sull'intero dataset."

Risorse aggiuntive

• Intelligence sui documenti basata su Funzioni di intelligenza artificiale
• Analisi dei documenti
• Trasforma dati non strutturati usando Funzioni di IA
• Riferimenti funzionali: ai_parse_document, ai_classify, ai_extract
• Usare il codice Genie per l'analisi scientifica dei dati
• Caratteristiche e capacità di Genie Code