Trenowanie i wykorzystanie modeli niestandardowych

  • 8 min

Wskazówka

Aby uzyskać więcej szczegółów, zobacz kartę Tekst i obrazy .

Gdy wstępnie utworzone modele nie obejmują określonych typów dokumentów, możesz wytrenować modele niestandardowe w celu wyodrębnienia danych z własnych formularzy. Usługa Azure Document Intelligence obsługuje nadzorowane uczenie maszynowe, gdzie etykietujesz przykładowe dokumenty z polami, które chcesz wyodrębnić, a usługa szkoli model do rozpoznawania tych pól w nowych dokumentach.

Niestandardowe typy modeli

Usługa Azure Document Intelligence oferuje dwa typy niestandardowych modeli wyodrębniania oraz model klasyfikacji:

Niestandardowe modele szablonów

Niestandardowe modele szablonów opierają się na spójnym szablonie wizualizacji w celu wyodrębnienia oznaczonych danych. Najlepiej sprawdzają się w przypadku formularzy strukturalnych, w których układ jest statyczny z jednego wystąpienia dokumentu do następnego, takich jak kwestionariusze, aplikacje lub standardowe formularze rządowe.

Modele szablonów dokładnie wyodrębniają oznakowane pary klucz-wartość, znaczniki wyboru, tabele, regiony i podpisy. Trenowanie trwa tylko kilka minut, a obsługiwanych jest ponad 100 języków. Ponieważ modele szablonów są szybkie do trenowania i niedrogie w uruchamianiu, stanowią dobry punkt wyjścia, gdy dokumenty mają jednolity układ wizualny.

Niestandardowe modele neuronowe

Niestandardowe modele neuronowe używają uczenia głębokiego i są dostosowane do danych oznaczonych etykietami. Łączą one funkcje układu i języka, aby wyodrębnić pola ze strukturą, częściowo ustrukturyzowaną i bez struktury dokumentów. Modele neuronowe obsługują:

  • Nakładające się pola
  • Wykrywanie podpisów
  • Poziom pewności na poziomie tabeli, wiersza i komórki

Modele neuronowe zapewniają większą dokładność niż modele szablonów, zwłaszcza w przypadku dokumentów częściowo ustrukturyzowanych lub nieustrukturyzowanych, w których układ różni się między wystąpieniami. Jednak proces trenowania trwa dłużej i zużywa więcej zasobów.

Wybieranie między szablonami i modelami neuronowymi

Podczas podejmowania decyzji, który typ modelu niestandardowego użyć, należy wziąć pod uwagę kompromisy.

Czynnik Szablon niestandardowy Niestandardowa sieć neuronowa
Najlepsze dla Formularze ustrukturyzowane ze spójnym układem wizualnym Częściowo ustrukturyzowane lub nieustrukturyzowane dokumenty o różnych układach
Czas trenowania Protokoły Dłuższy (zależy od rozmiaru zestawu danych)
Koszt szkolenia Niższy Wyższa
Accuracy Wysoki dla formularzy układu stałego; zmniejsza się, gdy układ różni się Wyższa ogólna wydajność, szczególnie w przypadku dokumentów ze zmiennością formatu
Obsługa języków 100+ języków Mniej języków (sprawdź dokumentację dotyczącą bieżącej pomocy technicznej)
Obsługa funkcji Pary klucz-wartość, znaczniki wyboru, tabele, regiony, podpisy Nakładające się pola, wykrywanie podpisów, pewność tabeli/wiersza/komórki

Wskazówka

Zacznij od niestandardowego modelu szablonu, jeśli formularze mają spójny układ wizualny. Trenowanie jest szybsze i tańsze. Jeśli dokładność jest niewystarczająca lub dokumenty różnią się w formacie, przełącz się do niestandardowego modelu neuronowego.

Klasyfikatory niestandardowe

Niestandardowe modele klasyfikacji identyfikują typ dokumentu przed wywołaniem modelu wyodrębniania. Klasyfikator umożliwia kierowanie dokumentów przychodzących do odpowiedniego modelu wyodrębniania podczas obsługi wielu typów formularzy.

Trenowanie modelu niestandardowego

Aby wytrenować niestandardowy model wyodrębniania:

  1. Przechowuj przykładowe formularze w kontenerze obiektów blob usługi Azure wraz z plikami JSON zawierającymi informacje o układzie i polach etykiet.
    • Plik ocr.json dla każdego formularza przykładowego (wygenerowany przy użyciu funkcji Analizuj dokument).
    • Pojedynczy fields.json plik opisujący pola, które chcesz wyodrębnić.
    • labels.json Plik dla każdego przykładowego formularza mapuje pola na ich lokalizację w formularzu.
  2. Wygeneruj adres URL sygnatury dostępu współdzielonego dla kontenera.
  3. Użyj funkcji REST API Buduj model lub równoważnej metody zestawu SDK.
  4. Użyj funkcji Pobierz model API REST, aby pobrać identyfikator wytrenowanego modelu.

Modele niestandardowe można również trenować wizualnie przy użyciu programu Document Intelligence Studio, zgodnie z opisem w lekcji Korzystanie z programu Document Intelligence Studio .

Wskazówka

Na potrzeby trenowania użyj co najmniej pięciu do sześciu przykładowych formularzy. Większy i bardziej zróżnicowany zestaw danych generuje dokładniejsze modele.

Korzystanie z modelu niestandardowego

Aby wyodrębnić dane formularza z modelem niestandardowym, wywołaj funkcję Analizuj dokument przy użyciu identyfikatora modelu. Możesz użyć obsługiwanego zestawu SDK lub interfejsu API REST.

C#

string endpoint = "<endpoint>";
string apiKey = "<apiKey>";
AzureKeyCredential credential = new AzureKeyCredential(apiKey);
DocumentAnalysisClient client = new DocumentAnalysisClient(new Uri(endpoint), credential);

string modelId = "<modelId>";
Uri fileUri = new Uri("<fileUri>");

AnalyzeDocumentOperation operation = await client.AnalyzeDocumentFromUriAsync(WaitUntil.Completed, modelId, fileUri);
AnalyzeResult result = operation.Value;

Python

endpoint = "YOUR_DOC_INTELLIGENCE_ENDPOINT"
key = "YOUR_DOC_INTELLIGENCE_KEY"

model_id = "YOUR_CUSTOM_BUILT_MODEL_ID"
formUrl = "YOUR_DOCUMENT"

document_analysis_client = DocumentAnalysisClient(
    endpoint=endpoint, credential=AzureKeyCredential(key)
)

task = document_analysis_client.begin_analyze_document_from_url(model_id, formUrl)
result = task.result()

Pomyślna odpowiedź zawiera analyzeResult obiekt z wyodrębnioną zawartością i zbiorem stron zawierających informacje o dokumencie.

Modele złożone

Można połączyć wiele modeli niestandardowych w jeden złożony model. Po przesłaniu dokumentu do złożonego modelu analiza dokumentów klasyfikuje go w celu określenia najbardziej odpowiedniego modelu składników, a następnie zwraca wyniki wyodrębniania z tego modelu. Takie podejście jest przydatne w przypadku obsługi wielu typów formularzy, które wymagają własnego modelu wyodrębniania.

Dowiedz się więcej