Megjegyzés
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhat bejelentkezni vagy módosítani a címtárat.
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhatja módosítani a címtárat.
A Genie Code a dokumentumfeldolgozó pipeline-okat építi végétől végéig az elemzés, osztályozás, kinyerés és validáció irányításával. Add meg neki strukturálatlan PDF-eket, szerződéseket vagy számlákat, és az annotált adatokhoz viszonyítva kiértékeli a minőséget, majd iteratívan javít rajta, így meg tudod ítélni, mikor áll készen a pipeline az éles használatra.
Követelmények
A Genie Code dokumentumfeldolgozáshoz való használatához:
- Teljesítsd a Genie Code ügynöki képességeinek követelményeit.
- Teljesítsd az AI funkciók követelményeit. A dokumentumfeldolgozó funkciók (
ai_parse_document,ai_extract, ésai_classify) szerver nélküli számításon vagy egy támogatott régióban SQL raktáron futnak. - Legyen hozzáférés a Unity Catalog-nak egy kötethez a forrásdokumentumaidhoz, valamint egy sémához az eredményekhez.
Dokumentumfeldolgozó csővezeték építése Genie Code-szal
Nyisd meg a Genie Code-ot a Jobs & Pipelines oldalon vagy az SQL szerkesztőben.
Írd meg a célodat és mutatd a forrásaidat. Hivatkozz a kötetekre, táblázataidra és fájljaidra.
Hagyd, hogy építsen. Miután a Genie Code számára elegendő információ áll rendelkezésre, a bevált gyakorlatok szerint hozza létre a Lakeflow-feladatot.
Ellenőrizd és futtasd. Nézd át a generált SQL-t és a feladatokat, szerkeszd azt, amit csak akarsz, és akkor futtasd le a feladatot, amikor készen állsz.
Kezdj kicsiben, aztán skálázd. Futtasd le egy mintán, tekintsd át a kimenetet, értékeld a minőséget, és a teljes adathalmaz feldolgozása előtt ismételd meg a folyamatot.
Miben segíthet a Genie Code?
Teljes körű dokumentumfeldolgozási feladat létrehozása
Írja le az eredményt, és a Genie Code egy teljes Lakeflow munkát épít fel, csak azokat a szinteket, amelyekre a célodnak szüksége van:
- Fedezd fel a forrásfájlokat egy kötetben, és kövesd azok azonosítását és változásait.
- A dokumentumokat strukturált tartalommá elemezze (
ai_parse_documentszöveg, táblázatok, ábrák és oldalelrendezés). -
Sorolj minden dokumentumot saját címkédre
ai_classify(például affiliate, marketing vagy tanácsadói szerződések). -
Kinyerhet strukturált mezőket egy séma alapján a(z)
ai_extracthasználatával, beleértve a hivatkozásokat és a bizalmi pontszámokat. - Tedd közzé a tiszta, strukturált kimenetet egy Unity Catalog táblába.
Minden AI funkció önálló feladat, így a munka modulárissá válik, és később újrafuttathatod, visszatöltheted vagy szerkesztheted.
Javítsa a kitermelés minőségét értékeléssel és dombmászással
A Genie Code a minőséget úgy kezeli, mint valamit, amit mérsz, nem találgatással. A várható kimeneteket tartalmazó, címkézett táblázat alapján mezőszintű kiértékelést végez, majd bezárja a kört:
- Mérje. Értékeld a jelenlegi kinyerési mezőket egyenként, hogy pontosan lásd, mely mezők gyengék.
- Fejlődj. A Genie Code egy javítást javasol, leggyakrabban egy élesebb mezőleírást, amelyet egy áttekinthető diff-ként mutatsz be, amit jóváhagysz, mielőtt az érvényes lenne.
- Újraértékelni. Minden elfogadott változás újrafuttatja az értékelési készletet, és megmutatja az előtte-utána eredményeket, így a fejlődés és a visszalépések egyaránt láthatóak.
A hurok ismétlődik, amíg a minőség el nem éri a mércét, így a felkészültséget pontszámok és magabiztosság alapján ítéled meg, nem pedig a hihetőnek tűnő teljesítmény alapján.
Eredmények és útvonalkivételek validálása
A Genie Code minőségi kapukat épít a csővezetékbe. Kombinálja a determinisztikus ellenőrzéseket (sémák, kötelező mezők, összértékek), modell megbízhatóságot és üzleti szabályokat, hogy eldöntse, mi megy, és láthatóvá teszi a meghibásodott sorokat.
Vizuálisan debugáld a dokumentumaidat
A Genie Code megnyitja a dokumentum elemzési felületét , hogy megjelenítse a megjelenített oldalakat a parzált tartalom és a kinyert mezők mellett. Használd ezt a rossz eredmény megtalálására: ha a szöveg hiányzik vagy zavaros a parzált kimenetben, a probléma a parse-ban vagy a forrásfájlban van. Ha a szöveg feldolgozva, de egy mező hibás, akkor a probléma a kivonás. Akárhogy is, valódi dokumentumokon ellenőrizd, mielőtt nagyobb léptékben alkalmazod.
Ellenőrizze és hárítsa el a meglévő folyamatok hibáit
A Genie Code már meglévő vezetékeken működik, nem csak újaknál. El tudja magyarázni a munkát, áttekinteni a tervezést és az árat anélkül, hogy bármit változtatna, megtalálja a hibás vagy lassú szakasz gyökérokát, és a legkisebb javítást is elvégezze, miközben a működő alkatrészeket érintetlenül hagyja.
Példafelszólítások
Építs végponttól végpontig vezetéket
- A szerződések ide kerülnek:
@my_catalog.raw.contracts. Készíts egy naponta futó feladatot, amely mindegyiket affiliate-, marketing-, tanácsadási, hoszting- vagy letéti kategóriába sorolja; kinyeri az egyes szerződéstípusok esetében fontos adatmezőket; és létrehozza a gold táblákat. - A(z)
@my_catalog.raw.invoiceshelyen beolvasott számlákat tartalmazó kötetem van. Építs egy olyan munkát, amely elemzi őket, kinyeri a beszállítót, számlaszámot, sorsorokat és az összértékeket, majd az eredményeket táblázatba írja le."
Javítsa a minőséget értékeléssel és hegymászással
- Honnan tudhatom, hogy ez elég jó ahhoz, hogy sorok millióin fusson? Értékeld a kivonást a címkézett táblázatom
@my_catalog.default.eval_tablealapján, és mondd meg, mely mezők a leggyengébbek." - A(z)
invoice_totalmező pontossága nagyobb is lehetne. Iteratív módon javítsd a sémát és az utasításokat, futtasd újra az értékelést, és mutasd meg az előtte és utána mutatókat." - Állíts be mezőnkénti bizalmi küszöbértékeket a kiértékelési eredmények alapján, és irányítsd az alacsony bizalmi szintű sorokat felülvizsgálatra.
Eredmények és útvonalkivételek validálása
- Adj hozzá egy érvényesítést, amely ellenőrzi a kötelező mezőket, valamint hogy a tételsorok összege megegyezik-e a számla végösszegével, és tartsd meg azokat a sorokat, amelyek nem felelnek meg.
- "Karanténdokumentumok, amelyek nem felelnek meg az üzleti szabálynak (például fizetésnél nagyobb adó), külön táblázatban szerepelnek emberi felülvizsgálatra."
Vizuálisan debugáld a dokumentumaidat
- "Mutasd meg ezeknek a PDF-eknek az elemzési eredményeit az eredeti oldalak mellett, hogy ellenőrizhessem az elemzést."
- "Néhány tanácsadói szerződésnél a hatálybalépési dátum hibás. Nyisd meg a feldolgozott nézetet, hogy meg tudjam állapítani, hogy feldolgozási vagy kinyerési problémáról van-e szó.
Ellenőrizze és hárítsa el a meglévő folyamatok hibáit
- "Magyarázd el, mit csinál minden feladat ebben a dokumentumfeldolgozási munkában, és hol írják meg az eredményeket."
- "Ez a parzálási feladat kezdett kudarcot vallani. Keresd meg az okot a legutóbbi futásteljesítményből, és ajánld a legkisebb megoldást."
- "Nézze át ezt a dokumentumfeldolgozási csővezeték-tervezést a legjobb gyakorlatok alapján, és mondja el, hogy készen áll-e a teljes adathalmazon futásra."