Użyj Genie Code do inteligentnego przetwarzania dokumentów

Genie Code buduje potoki przetwarzania dokumentów end-to-end poprzez koordynację parsowania, klasyfikacji, ekstrakcji i walidacji. Skieruj go na nieustrukturyzowane PDF-y, kontrakty lub faktury, a on oceni jakość na podstawie oznaczonych danych i iteruje, by ją ulepszyć, dzięki czemu możesz ocenić, kiedy pipeline jest gotowy do produkcji.

Wymagania

Aby użyć Genie Code do przetwarzania dokumentów:

Zbuduj pipeline do przetwarzania dokumentów z użyciem Genie Code

  1. Otwórz Genie Code na stronie Jobs & Pipelines lub w edytorze SQL.

  2. Określ swój cel i wskaż swoje źródła. Odwołuj się do woluminów, tabel i plików.

    Monit do Genie Code określający cel klasyfikacji i ekstrakcji, pola do wyodrębnienia dla każdego typu kontraktu oraz wolumin źródłowy, z prośbą o nocne zadanie.

  3. Pozwól temu narastać. Gdy Genie Code ma już wystarczająco dużo danych do pracy, tworzy zadanie Lakeflow zgodnie z najlepszymi praktykami.

  4. Przejrzyj i uruchom. Przejrzyj wygenerowany kod SQL i zadania, wprowadź dowolne zmiany i uruchom zadanie, gdy wszystko będzie gotowe.

    Działający wykres zadań Lakeflow do przetwarzania kontraktów, obok panelu czatu Genie Code podsumowujący wygenerowane zadania, funkcje i tabele wyjściowe.

  5. Zacznij od małych kroków, potem stopniowo. Uruchom na próbce, przejrzyj wynik, oceń jakość i iteruj przed przetworzeniem pełnego zbioru danych.

Z czym może pomóc genie Code?

Stwórz kompleksowe zadanie przetwarzania dokumentów

Opisz wynik, a Genie Code buduje kompletne zadanie Lakeflow, używając tylko etapów wymaganych przez Twój cel:

  • Odkrywaj pliki źródłowe w woluminie i śledź ich tożsamość oraz zmiany.
  • Przetwarzaj dokumenty do uporządkowanej postaci za pomocą ai_parse_document (tekst, tabele, ilustracje i układ strony).
  • Klasyfikuj każdy dokument według własnych etykiet ai_classify (np. kontrakty afiliacyjne, marketingowe lub konsultingowe).
  • Wyodrębnij ustrukturyzowane pola zgodnie ze schematem za pomocą ai_extract, w tym cytowania i oceny pewności.
  • Publikuj czysty, ustrukturyzowany wynik do tabeli Unity Catalog.

Każda funkcja AI to osobne zadanie, więc zadanie pozostaje modułowe i możesz je później ponownie uruchamiać, uzupełniać lub edytować.

Poprawa jakości ekstrakcji poprzez ocenę i wspinaczkę na wzgórza

Genie Code traktuje jakość jako coś, co się mierzy, a nie zgaduje. Mając oznaczoną tabelę oczekiwanych wyników, wykonuje ocenę na poziomie pola, a następnie zamyka pętlę:

  • Pomiar. Oceń bieżące pole ekstrakcji, pole po polu, aby dokładnie zobaczyć, które pola wypadają słabo.
  • Popraw się. Genie Code proponuje poprawkę, najczęściej bardziej precyzyjny opis pola, przedstawianą jako diff do weryfikacji, który zatwierdzasz, zanim zostanie zastosowana.
  • Przemyśl to ponownie. Każda zaakceptowana zmiana ponownie uruchamia zestaw ocen i pokazuje wyniki przed i po, więc zarówno poprawy, jak i regresje są widoczne.

Pętla powtarza się, aż jakość osiągnie ustalony próg, więc gotowość oceniasz na podstawie wyników i poziomu pewności, a nie wyniku, który tylko wygląda wiarygodnie.

Weryfikacja wyników i wyjątki tras

Genie Code wprowadza bramki jakości do pipeline'u. Łączy deterministyczne sprawdzenia (schematy, wymagane pola, sumy), poziom pewności modelu oraz reguły biznesowe, aby zdecydować, co zostanie zaakceptowane, a nieudane wiersze pozostawia widoczne.

Wizualnie debuguj swoje dokumenty

Genie Code otwiera interfejs Parsowania Dokumentów , aby wyświetlić wyrenderowane strony obok przeanalizowanej zawartości i wyodrębnionych pól. Użyj go do zlokalizowania złego wyniku: jeśli tekst jest nieobecny lub zniekształcony w parsowanym wychodzie, problemem jest parsowanie lub plik źródłowy. Jeśli tekst jest parsowany, ale pole jest błędne, problemem jest ekstrakcja. Tak czy inaczej, zweryfikuj to na rzeczywistych dokumentach, zanim zwiększysz skalę.

Inspekcja i diagnozowanie istniejących potoków

Genie Code działa na potokach, które już masz, nie tylko na nowych. Może objaśnić działanie zadania, przeanalizować jego projekt i koszt bez wprowadzania żadnych zmian, znaleźć główną przyczynę nieudanego lub powolnego etapu oraz wprowadzić możliwie najmniejszą poprawkę, nie naruszając działających elementów.

Przykładowe podpowiedzi

Zbuduj kompletny potok

  • Umowy trafiają do @my_catalog.raw.contracts. Utwórz codzienne zadanie, które klasyfikuje każdy element jako umowę afiliacyjną, marketingową, doradczą, hostingową lub powierniczą; wyodrębnia pola mające znaczenie dla każdego typu umowy; i tworzy tabele wzorcowe.
  • Mam zbiór zeskanowanych faktur w lokalizacji @my_catalog.raw.invoices. Zbuduj zadanie, które je analizuje, wyodrębnia dostawcę, numer faktury, pozycje i sumę, a wyniki zapisuje w tabeli."

Popraw jakość dzięki ocenie i wspinaczce na wzgórze

  • Skąd mam wiedzieć, czy to jest na tyle dobre, by działać na milionach wierszy danych? Oceń wynik ekstrakcji względem mojej oznaczonej tabeli @my_catalog.default.eval_table i powiedz mi, które pola wypadają najsłabiej.
  • "Celność na invoice_total polu mogłaby być wyższa. Iteracyjnie ulepszaj schemat i instrukcje, ponownie uruchom ocenę i pokaż mi wersję przed i po.
  • Ustaw progi ufności dla każdego pola na podstawie wyników oceny i kieruj wiersze o niskim poziomie ufności do weryfikacji.

Weryfikacja wyników i wyjątki tras

  • Dodaj walidację, która sprawdza, czy wszystkie wymagane pola są wypełnione oraz czy pozycje na fakturze sumują się do łącznej kwoty faktury, i zachowaj wiersze, które nie przejdą walidacji.
  • Poddaj kwarantannie dokumenty, które naruszają regułę biznesową (na przykład gdy zapłacony podatek jest wyższy niż wynagrodzenie), w osobnej tabeli do weryfikacji przez człowieka.

Wizualnie debuguj swoje dokumenty

  • "Pokaż mi parsowane wyniki tych PDF-ów obok oryginalnych stron, żebym mógł je sprawdzić."
  • "Data wejścia w życie jest błędna w niektórych kontraktach konsultingowych. Otwórz widok parsowany, żebym mógł rozpoznać, czy to problem z parsowaniem, czy z ekstrakcją."

Inspekcja i diagnozowanie istniejących potoków

  • "Wyjaśnij, czym zajmuje się każde zadanie w tym zadaniu przetwarzania dokumentów i gdzie są zapisywane wyniki."
  • "To zadanie analizy zaczęło zawodzić. Znajdź przyczynę na podstawie wyniku ostatniego uruchomienia i zaproponuj najmniejszą możliwą poprawkę.
  • Przejrzyj architekturę potoku przetwarzania dokumentów pod kątem najlepszych praktyk i powiedz mi, czy jest gotowa do uruchomienia na całym zbiorze danych.

Dodatkowe zasoby

  • Ostatnia aktualizacja o