Inteligentní zpracování dokumentů

Inteligentní zpracování dokumentů (IDP) převádí nestrukturovaný obsah, jako jsou soubory PDF, soubory DOCX, obrázky a prezentace, na strukturovaná, rozšířená data, která pomůžou podřízeným agentům, aplikacím a analýzám.

S Azure Databricks můžete vytvářet kompletní kanály IDP přímo v Lakehouse pomocí nativně kompozovatelných funkcí AI, včetně funkcí ai_parse_document, ai_extract, ai_classify a ai_prep_search (Beta). Tyto funkce vyvinuté výzkumem jsou účelově vytvořené pro vysoce výkonné zpracování dokumentů. Vzhledem k tomu, že veškeré zpracování běží v katalogu Unity, zůstanou vaše kanály IDP na produkční úrovni zabezpečené, řízené a plně spravované.

Případ použití	Doporučený přístup
Analýza dokumentu	Převeďte soubory PDF, DOCX, obrázky a PPT na strukturovaný text, tabulky a popisy obrázků.
extrakce informací	Načítejte strukturovaná pole z dokumentů nebo prostého textu pomocí schématu, které definujete.
Klasifikace obsahu	Přiřaďte k dokumentům nebo textu předdefinované kategorie, které podporují až 500+ popisků.
Příprava na načtení (beta verze)	Transformujte analyzované dokumenty na sémantické bloky připravené pro indexování RAG a vyhledávání AI.

Běžné případy použití

Protokol IDP v Azure Databricks využívá širokou škálu podřízených aplikací:

• Generování rozšířeného načítání (RAG): Parsování a strukturování dokumentů za účelem zlepšení bloků dat, kvality načítání a uzemnění pro aplikace LLM.
• Extrakce a analýza znalostí: Extrahujte klíčová pole a metadata, abyste umožnili vyhledávání, vytváření sestav a business intelligence v datech dokumentu.
• Pracovní postupy řízené agenty: Směrování, klasifikace a rozšiřování dokumentů pro podporu automatizovaného rozhodování a provádění úkolů.
• Porozumění a klasifikace dokumentů: Uspořádejte velké korpory dokumentů podle typu, tématu nebo obsahu pro zpracování v podřízené oblasti.

Jak to funguje

Azure Databricks umožňuje inteligentní zpracování dokumentů jako jednotný komplexní pracovní postup v Lakehouse. Příjem dat, analýza, rozšiřování a podřízená analýza jsou založené na jedné platformě, takže každá fáze bez problémů funguje bez nutnosti složité integrace nebo přesunu dat.

1. Ingestování a orchestrace

   Pomocí deklarativních kanálů Sparku v Lakeflow můžete ingestovat nezpracované dokumenty (například soubory PDF, obrázky a soubory DOCX) a orchestrovat kanály. Vzhledem k tomu, že příjem dat a orchestrace jsou nativně integrovány se službou Lakehouse, dokumenty proudí přímo do podřízeného zpracování bez další infrastruktury.

2. Analýza dokumentů (bronzová vrstva)

   Použijte ai_parse_document k převodu surových souborů na strukturované reprezentace. Tím se vytvoří standardizovaná bronzová vrstva, která zachycuje text, tabulky a popisy obrázků a strukturu dokumentů, což tvoří konzistentní základ pro všechny případy použití v podřízeném směru.

3. Extrakce a klasifikace

   Používejte ai_extract a ai_classify rozšiřujte parsované dokumenty strukturovanými poli a metadaty. Tyto funkce fungují přímo na analyzovaných výstupech a umožňují extrahovat klíčové informace, klasifikovat dokumenty a směrovat je prostřednictvím pracovních postupů bez dalších kroků transformace.

4. Příprava na načtení (RAG)

   Použijte ai_prep_search (Beta) k transformaci analyzovaných dokumentů na sémantické bloky dat obohacené kontextem na úrovni dokumentu, jako jsou názvy, záhlaví oddílů a odkazy na stránky. Výstup je naformátován pro indexování v AI Search a poskytuje konzistentní základ pro úlohy RAG a vyhledávání.

5. Analýza a zprovoznění

   Využijte další funkce AI nebo jiné nástroje (řídicí panely AI/BI, aplikace, vyhledávání AI) pro podřízené analýzy, načítání (RAG) a pracovní postupy řízené agenty. Vzhledem k tomu, že všechna data zůstávají v Lakehouse, dají se data strukturovaných dokumentů okamžitě použít pro vyhledávání, řídicí panely a aplikace.