Použijte Genie Code pro inteligentní zpracování dokumentů

Genie Code vytváří komplexní kanály pro zpracování dokumentů od začátku do konce prostřednictvím orchestrace parsování, klasifikace, extrakce a validace. Namiřte jej na nestrukturované soubory PDF, smlouvy nebo faktury a vyhodnotí kvalitu na základě anotovaných dat a iterativně ji zlepšuje, takže můžete posoudit, kdy je pipeline připravena pro produkční nasazení.

Požadavky

Pro použití Genie Code pro zpracování dokumentů:

  • Splňte požadavky na agentické schopnosti Genie Code.
  • Splňte požadavky na AI funkce. Funkce zpracování dokumentů (ai_parse_document, ai_extract a ai_classify) běží na bezserverových výpočetních prostředcích nebo v SQL datovém skladu v podporovaném regionu.
  • Mějte v Unity Catalog přístup ke svazku pro zdrojové dokumenty a ke schématu pro výsledky.

Vytvořte pipeline pro zpracování dokumentů pomocí Genie Code

  1. Otevřete Genie Code na stránce Jobs & Pipelines nebo v SQL editoru.

  2. Uveďte svůj cíl a uveďte své zdroje. Odkazujte na své svazky, tabulky a soubory.

    Pokyn pro Genie Code s cílem klasifikace a extrakce, poli k extrakci pro každý typ smlouvy a objemem zdrojových dat, s požadavkem na noční úlohu.

  3. Nechte to sestavit. Jakmile má Genie Code dostatek informací, se kterými může pracovat, vytvoří úlohu Lakeflow podle osvědčených postupů.

  4. Zkontrolujte a spusťte. Prohlédněte si vygenerované SQL a úkoly, upravte cokoliv chcete a spusťte úkol, až budete připraveni.

    Běžící graf úloh Lakeflow pro zpracování smluv, vedle chatovacího panelu Genie Code, který shrnuje generované úkoly, funkce a výstupní tabulky.

  5. Začněte v malém, pak postupně rozšiřujte. Spusťte na vzorku, zkontrolujte výstup, vyhodnoťte kvalitu a postup před zpracováním celé datové sady opakujte.

S čím může Genie Code pomoct?

Vytvořte komplexní práci pro zpracování dokumentů

Popište výsledek a Genie Code postaví kompletní Lakeflow projekt, který používá pouze ty fáze, které váš cíl potřebuje:

  • Objevujte zdrojové soubory ve svazku a sledujte jejich identitu a změny.
  • Rozdělte dokumenty na strukturovaný obsah pomocí ai_parse_document (text, tabulky, obrázky a rozložení stránky).
  • Každý dokument si rozdělte podle vlastních štítků ( ai_classify například affiliate, marketingové nebo konzultační smlouvy).
  • Extrahujte strukturovaná pole podle schématu pomocí ai_extract, včetně citací a skóre spolehlivosti.
  • Publikujte čistý, strukturovaný výstup do tabulky Unity Catalog.

Každá AI funkce je samostatný úkol, takže úkol zůstává modulární a můžete ho později znovu spustit, doplnit nebo upravit.

Zlepšujte kvalitu extrakce pomocí hodnocení a výstupů do kopce

Genie Code bere kvalitu jako něco, co měříte, ne jen hádáte. Na základě označené tabulky očekávaných výstupů provede vyhodnocení na úrovni pole a poté smyčku uzavře:

  • Změř. Ohodnotte aktuální extrakční pole po poli, abyste přesně viděli, která pole jsou slabá.
  • Zlepšujte se. Genie Code navrhne opravu, nejčastěji přesnější popis pole, zobrazenou jako diff, který můžete zkontrolovat a schválit před jejím použitím.
  • Znovu to zvažte. Každá přijatá změna znovu spustí evalovací sadu a zobrazí výsledky před a po, takže zlepšení i regrese jsou viditelné.

Cyklus se opakuje, dokud kvalita nedosáhne vaší laťky, takže připravenost posuzujete podle skóre a sebevědomí, ne podle výstupu, který vypadá věrohodně.

Ověřte výsledky a výjimky tras

Genie Code zabudovává kontroly kvality do pipeline. Kombinuje deterministické kontroly (schémata, povinná pole, součty), míru jistoty modelu a obchodní pravidla k rozhodnutí o tom, co projde, a ponechává neúspěšné řádky viditelné.

Vizuálně laďte dokumenty

Genie Code otevírá rozhraní pro parsování dokumentů , aby zobrazilo vykreslené stránky vedle parsovaného obsahu a extrahovaných polí. Použijte ho k nalezení špatného výsledku: pokud chybí nebo je text zkreslený ve výstupu, problém je v parse nebo zdrojovém souboru. Pokud je text parsován, ale pole je špatné, problémem je extrakce. Každopádně si to ověřte na skutečných dokumentech, než to nasadíte ve větším měřítku.

Kontrolujte a diagnostikujte stávající potrubí

Genie Code funguje na pipeline, které už máte, ne jen na nových. Dokáže vysvětlit zakázku, zkontrolovat její návrh a náklady bez změny, najít příčinu selhání nebo pomalé fáze a udělat i nejmenší opravu, přičemž funkční části nechají být.

Příklady výzev

Vytvořte end-to-end pipeline

  • "Smlouvy přistávají v @my_catalog.raw.contracts. Vytvořte denní úlohu, která každou položku klasifikuje jako partnerskou, marketingovou, konzultační, hostingovou nebo escrow; extrahuje pole důležitá pro každý typ smlouvy; a zapisuje data do zlatých tabulek.
  • Mám množství naskenovaných faktur v @my_catalog.raw.invoices. Vytvořte úlohu, která je analyzuje, extrahuje dodavatele, číslo faktury, položky a celkovou částku a výsledky zapíše do tabulky."

Zlepšujte kvalitu hodnocením a výstupem do kopce

  • "Jak mám vědět, že je to dost dobré na to, aby to běželo na milionech řádků? Ohodnoťte extrakci podle mé označené tabulky @my_catalog.default.eval_table a řekněte mi, která pole jsou nejslabší."
  • "Přesnost na hřišti invoice_total může být vyšší. Iterativně vylepšujte schéma a instrukce, znovu spusťte hodnocení a ukažte mi před a po."
  • Nastavte prahy spolehlivosti pro každé pole na základě výsledků vyhodnocení a přesměrujte řádky s nízkou spolehlivostí ke kontrole.

Ověřte výsledky a výjimky tras

  • Přidejte validaci, která kontroluje povinná pole a že součet řádkových položek odpovídá celkové částce faktury, a ponechte řádky, které neprojdou kontrolou.
  • "Karanténní dokumenty, které selhávají v obchodním pravidle (například daň zaplacená vyšší než plat) v samostatné tabulce pro lidské přezkoumání."

Vizuálně laďte dokumenty

  • "Ukaž mi parsované výsledky těchto PDF vedle původních stránek, abych mohl zkontrolovat parsované výsledky."
  • "Datum účinnosti u některých konzultačních smluv je nesprávné. Otevři zobrazení po parsování, abych mohl určit, jestli jde o problém s parsováním, nebo s extrakcí.

Kontrolujte a diagnostikujte stávající potrubí

  • "Vysvětlete, co každý úkol v tomto dokumentárním zpracování dělá a kde jsou výsledky zapsány."
  • "Tento úkol s analyzováním začal selhávat. Najděte příčinu z nedávného výstupu a doporučte tu nejmenší opravu."
  • "Zkontrolujte tento návrh pipeline pro zpracování dokumentů podle osvědčených postupů a řekněte mi, zda je připraven běžet na celé datové sadě."

Dodatečné zdroje

  • Poslední aktualizace v