Gebruik Genie Code voor intelligente documentverwerking

Genie Code bouwt documentverwerkingspijplijnen end-to-end door parsing, classificatie, extractie en validatie te orkestreren. Richt het op ongestructureerde PDF's, contracten of facturen, en het evalueert kwaliteit aan de hand van gelabelde data en verbetert dit, zodat je kunt beoordelen wanneer een pipeline productieklaar is.

Requirements

Om Genie Code te gebruiken voor documentverwerking:

  • Voldoen aan de eisen voor agentische capaciteiten van Genie Code.
  • Voldoen aan de eisen voor AI-functies. De documentverwerkingsfuncties (ai_parse_document, ai_extract, en ai_classify) draaien op serverless compute of een SQL-warehouse in een ondersteund gebied.
  • Laat Unity Catalog toegang krijgen tot een volume voor je brondocumenten en een schema voor de resultaten.

Bouw een documentverwerkingspijplijn met Genie Code

  1. Open Genie Code op de pagina Jobs & Pipelines of in de SQL-editor.

  2. Geef je doel aan en wijs naar je bronnen. Raadpleeg je volumes, tabellen en bestanden.

    Een prompt naar Genie Code met het classificatie- en extractiedoel, de velden die per contracttype moeten worden geëxtraheerd, en het bronvolume, met een verzoek voor een nachtelijke taak.

  3. Laat het zich opbouwen. Zodra Genie Code voldoende informatie heeft, stelt het de Lakeflow-job samen volgens de beste werkwijzen.

  4. Beoordeel en start het uit. Bekijk de gegenereerde SQL en taken, bewerk alles wat je wilt, en start de taak wanneer je er klaar voor bent.

    Een lopende Lakeflow-jobgrafiek voor contractverwerking, naast het Genie Code-chatpaneel dat de gegenereerde taken, functies en uitvoertabellen samenvat.

  5. Begin klein, en schaal dan op. Voer een sample uit, bekijk de output, evalueer de kwaliteit en iterera voordat je de volledige dataset verwerkt.

Wat kan Genie Code helpen?

Maak een end-to-end-taak voor documentverwerking

Beschrijf het resultaat, en Genie Code bouwt een complete Lakeflow-opdracht, waarbij alleen de fasen worden gebruikt die je doel nodig heeft:

  • Ontdek bronbestanden in een volume en volg hun identiteit en wijzigingen.
  • Documenten parseren naar gestructureerde inhoud met ai_parse_document (tekst, tabellen, figuren en pagina-indeling).
  • Classificeer elk document in je eigen labels met ai_classify (bijvoorbeeld affiliate-, marketing- of adviescontracten).
  • Haal gestructureerde velden uit een schema met ai_extract, inclusief citaties en betrouwbaarheidsscores.
  • Publiceer schone, gestructureerde output in een Unity Catalog-tabel.

Elke AI-functie is een eigen taak, dus de taak blijft modulair en je kunt hem later opnieuw uitvoeren, invullen of bewerken.

Verbeter de extractiekwaliteit met evaluatie en heuvelklimmen

De Genie Code behandelt kwaliteit als iets wat je meet, niet als iets dat je raadt. Gegeven een gelabelde tabel van verwachte uitvoer, voert het een veldniveau-evaluatie uit en sluit vervolgens de lus:

  • Meet. Beoordeel de huidige extractie veld voor veld zodat je precies kunt zien welke velden zwak zijn.
  • Verbeter. Genie Code stelt een oplossing voor, meestal een scherpere veldbeschrijving, weergegeven als een reviewbare differentieel die je goedkeurt voordat het van toepassing is.
  • Heroverweeg. Elke geaccepteerde wijziging voert de evaluatieset opnieuw uit en toont voor-en-na resultaten, zodat verbeteringen en regressies beide zichtbaar zijn.

De lus herhaalt zich totdat de kwaliteit aan je standaard voldoet, dus je beoordeelt gereedheid op scores en vertrouwen, niet op output die geloofwaardig lijkt.

Controleer resultaten en stuur uitzonderingen door

Genie Code bouwt kwaliteitspoorten in de pijplijn. Het combineert deterministische controles (schema's, vereiste velden, totalen), modelbetrouwbaarheid en bedrijfsregels om te bepalen wat slaagt, en houdt mislukte rijen zichtbaar.

Spoor visueel fouten in je documenten op

Genie Code opent de Document Parsing UI om de gerenderde pagina's naast de geparseerde inhoud en geëxtraheerde velden te tonen. Gebruik het om een slecht resultaat te vinden: als tekst ontbreekt of onduidelijk is in de geparste uitvoer, ligt het probleem bij de parse of het bronbestand. Als de tekst geparseerd is maar een veld fout is, is het probleem extractie. Hoe dan ook, controleer dit met echte documenten voordat je opschaalt.

Inspecteer en onderzoek bestaande pijpleidingen

Genie Code werkt op pipelines die je al hebt, niet alleen op nieuwe. Het kan een klus uitleggen, het ontwerp en de kosten beoordelen zonder iets te veranderen, de oorzaak van een defecte of trage fase vinden en de kleinste reparatie uitvoeren terwijl de werkende onderdelen met rust blijven.

Voorbeelden van aanwijzingen

Bouw een end-to-end pijplijn

  • Contracten komen terecht in @my_catalog.raw.contracts. Bouw een dagelijkse baan die elk indeelt in affiliate, marketing, consultancy, hosting en escrow; haalt de relevante velden uit voor elk type contract; en schrijft gouden tabellen."
  • Ik heb een hoeveelheid gescande facturen op @my_catalog.raw.invoices. Bouw een taak die deze documenten ontleedt, de leverancier, het factuurnummer, de factuurregels en het totaalbedrag extraheert, en de resultaten wegschrijft naar een tabel.

Verbeter de kwaliteit met evaluatie en heuvelklimmen

  • "Hoe weet ik dat dit goed genoeg is om op miljoenen rijen te draaien? Beoordeel de extractie aan mijn gelabelde tabel @my_catalog.default.eval_table en vertel me welke velden het zwakst zijn."
  • "De nauwkeurigheid op het invoice_total veld kan hoger zijn. Verbeter het schema en de instructies iteratief, voer de evaluatie opnieuw uit en laat me het voor en na zien."
  • Stel betrouwbaarheidsdrempels per veld in op basis van de evaluatieresultaten en stuur rijen met een lage betrouwbaarheid naar controle.

Controleer resultaten en stuur uitzonderingen door

  • Voeg validatie toe die controleert of verplichte velden zijn ingevuld en of regelposten optellen tot het factuurtotaal, en behoud de rijen die niet voldoen.
  • "Quarantainedocumenten die niet voldoen aan een bedrijfsregel (bijvoorbeeld belasting die hoger is dan salaris) in een aparte tabel voor menselijke beoordeling."

Spoor visueel fouten in je documenten op

  • "Laat me de geanalyseerde resultaten van deze PDF's naast de originele pagina's zien zodat ik de geparseerde resultaten kan controleren."
  • "De ingangsdatum is verkeerd bij sommige adviescontracten. Open de geparseerde weergave zodat ik kan zien of het een parsing of een extractieprobleem is."

Inspecteer en onderzoek bestaande pijpleidingen

  • "Leg uit wat elke taak in deze documentverwerkingstaak doet en waar de resultaten worden geschreven."
  • Deze parsingstaak begon te mislukken. Zoek de oorzaak uit de recente runs en beveel de kleinste oplossing aan."
  • "Bekijk het ontwerp van deze documentverwerkingspijplijn aan de hand van best practices en vertel me of het klaar is om op de volledige dataset te draaien."

Aanvullende bronnen

  • Laatst bijgewerkt om