Vlastní modely Document Intelligence

Důležité

• Verze Document Intelligence ve verzi Public Preview poskytují dřívější přístup k funkcím, které jsou aktivní ve vývoji.
• Funkce, přístupy a procesy se můžou před obecnou dostupností (GA) změnit na základě zpětné vazby uživatelů.
• Verze Public Preview klientských knihoven Document Intelligence ve výchozím nastavení je rest API verze 2024-02-29-preview.
• Verze Public Preview 2024-02-29-preview je aktuálně dostupná jenom v následujících oblastech Azure:
• USA – východ
• USA – západ 2
• Západní Evropa

Tento obsah se vztahuje na:v4.0 (Preview) | Předchozí verze:v3.1 (GA)v3.0 (GA)v2.1 (GA)

Funkce Document Intelligence používá pokročilou technologii strojového učení k identifikaci dokumentů, detekci a extrakci informací z formulářů a dokumentů a vrácení extrahovaných dat ve strukturovaném výstupu JSON. Pomocí funkce Document Intelligence můžete použít modely analýzy dokumentů, předem připravené nebo předem natrénované nebo vytrénované samostatné vlastní modely.

Vlastní modely teď zahrnují vlastní klasifikační modely pro scénáře, ve kterých potřebujete před vyvoláním modelu extrakce identifikovat typ dokumentu. Klasifikátorové modely jsou k dispozici od 2023-07-31 (GA) rozhraní API. Klasifikační model je možné spárovat s vlastním modelem extrakce a analyzovat a extrahovat pole z formulářů a dokumentů specifických pro vaši firmu a vytvořit řešení pro zpracování dokumentů. Samostatné vlastní modely extrakce je možné kombinovat a vytvářet složené modely.

Vlastní typy modelů dokumentů

Vlastní modely dokumentů můžou být jedním ze dvou typů, vlastní šablonou nebo vlastním formulářem a vlastními neurálními nebo vlastními modely dokumentů. Proces označování a trénování pro oba modely je stejný, ale modely se liší následujícím způsobem:

Vlastní modely extrakce

Pokud chcete vytvořit vlastní model extrakce, označte datovou sadu dokumentů hodnotami, které chcete extrahovat, a vytrénujte model na označené datové sadě. Abyste mohli začít, potřebujete jenom pět příkladů stejného formuláře nebo typu dokumentu.

Vlastní neurální model

Důležité

Od verze 4.0 – rozhraní API 2024-02-29-preview teď vlastní neurální modely podporují překrývající se pole a tabulky, řádky a úroveň buněk.

Vlastní neurální (vlastní dokument) model používá modely hlubokého učení a základní model natrénovaný na velké kolekci dokumentů. Při trénování modelu s označenou datovou sadou se pak tento model doladí nebo přizpůsobí vašim datům. Vlastní neurální modely podporují strukturované, částečně strukturované a nestrukturované dokumenty pro extrakci polí. Vlastní neurální modely aktuálně podporují dokumenty anglického jazyka. Při výběru mezi těmito dvěma typy modelů začněte neurálním modelem, abyste zjistili, jestli vyhovuje vašim funkčním potřebám. Další informace o vlastních modelech dokumentů najdete v neurálních modelech .

Vlastní model šablony

Vlastní šablona nebo vlastní model formuláře závisí na konzistentní vizuální šabloně k extrahování označených dat. Odchylky ve vizuální struktuře dokumentů ovlivňují přesnost modelu. Strukturované formuláře, jako jsou dotazníky nebo aplikace, jsou příklady konzistentních vizuálních šablon.

Trénovací sada se skládá ze strukturovaných dokumentů, kde je formátování a rozložení statické a konstantní z jedné instance dokumentu na další. Vlastní modely šablon podporují páry klíč-hodnota, značky výběru, tabulky, pole podpisu a oblasti. Modely šablon a lze je trénovat na dokumentech v libovolném podporovaném jazyce. Další informace najdete v tématuVlastní modely šablon.

Pokud jazyk dokumentů a scénářů extrakce podporuje vlastní neurální modely, doporučujeme pro vyšší přesnost používat vlastní neurální modely.

Tip

Chcete-li potvrdit, že vaše školicí dokumenty představují konzistentní vizuální šablonu, odeberte všechna uživatelsky zadaná data z každého formuláře v sadě. Pokud jsou prázdné formuláře identické ve vzhledu, představují konzistentní vizuální šablonu.

Další informace najdete v tématuInterpretace a zlepšení přesnosti a spolehlivosti pro vlastní modely.

Požadavky na vstup

• Nejlepšíchvýsledkůch

• Podporované formáty souborů:

  Model	PDF	Obrázek: jpeg/jpg, png, bmp, tiff, heif	systém Microsoft Office: Word (docx), Excel (xlsx), PowerPoint (pptx)
  Čteno	✔	✔	✔
  Rozložení	✔	✔	✔ (2024-02-29-preview, 2023-10-31-preview a novější)
  Obecný dokument	✔	✔
  Předpřipravený	✔	✔
  Vlastní extrakce	✔	✔
  Vlastní klasifikace	✔	✔	✔

  ✱ systém Microsoft Office soubory nejsou v současné době podporovány pro jiné modely nebo verze.

• U SOUBORŮ PDF a TIFF je možné zpracovat až 2 000 stránek (s předplatným úrovně Free se zpracuje pouze první dvě stránky).

• Velikost souboru pro analýzu dokumentů je 500 MB pro placenou úroveň (S0) a 4 MB pro bezplatnou úroveň (F0).

• Rozměry obrázku musí být mezi 50 x 50 pixelů a 10 000 px x 10 000 pixelů.

• Pokud jsou soubory PDF uzamčené heslem, musíte před odesláním toto uzamčení odebrat.

• Minimální výška extrahovaného textu je 12 pixelů pro obrázek o velikosti 1024 x 768 pixelů. Tato dimenze odpovídá hodnotě 8-point text v 150 bodech na paleč.

• Pro trénování vlastního modelu je maximální počet stránek pro trénovací data 500 pro vlastní model šablony a 50 000 pro vlastní neurální model.

• Pro trénování vlastního modelu extrakce je celková velikost trénovacích dat 50 MB pro model šablony a 1G MB pro neurální model.

• Pro trénování modelu vlastní klasifikace je 1GB celková velikost trénovacích dat s maximálně 10 000 stránkami.

Režim sestavení

Operace vlastního modelu sestavení přidává podporu šablony a neurálních vlastních modelů. Předchozí verze rozhraní REST API a klientských knihoven podporovaly pouze jeden režim sestavení, který se teď označuje jako režim šablony .

• Modely šablon přijímají pouze dokumenty, které mají stejnou základní strukturu stránky – jednotný vzhled vizuálu – nebo stejné relativní umístění prvků v dokumentu.

• Neurální modely podporují dokumenty, které mají stejné informace, ale různé struktury stránek. Příklady těchto dokumentů zahrnují formuláře USA W2, které sdílejí stejné informace, ale liší se ve vzhledu napříč společnostmi. Neurální modely aktuálně podporují pouze anglický text.

Tato tabulka obsahuje odkazy na odkazy na sadu SDK programovacího jazyka buildu a ukázky kódu na GitHubu:

Programovací jazyk	Referenční informace k sadě SDK	Ukázka kódu
C#/.NET	DocumentBuildMode – struktura	Sample_BuildCustomModelAsync.cs
Java	DocumentBuildMode – třída	BuildModel.java
JavaScript	Typ DocumentBuildMode	buildModel.js
Python	DocumentBuildMode – výčet	sample_build_model.py

Porovnání funkcí modelu

Následující tabulka porovnává vlastní šablony a vlastní neurální funkce:

Funkce	Vlastní šablona (formulář)	Vlastní neurální (dokument)
Struktura dokumentu	Šablona, formulář a strukturovaná	Strukturovaná, částečně strukturovaná a nestrukturovaná
Doba trénování	1 až 5 minut	20 minut až 1 hodina
Extrakce dat	Páry klíč-hodnota, tabulky, značky výběru, souřadnice a podpisy	Páry klíč-hodnota, značky výběru a tabulky
Překrývající se pole	Nepodporováno	Podporováno
Varianty dokumentů	Vyžaduje model pro každou variantu.	Používá jeden model pro všechny varianty.
Podpora jazyků	Podpora více jazyků	Angličtina s podporou verze Preview pro podporu španělštiny, francouzštiny, němčiny, italštiny a holandštiny

Vlastní klasifikační model

Klasifikace dokumentů je nový scénář podporovaný funkcí Document Intelligence s rozhraním 2023-07-31 API (ga verze 3.1). Rozhraní API klasifikátoru dokumentů podporuje scénáře klasifikace a rozdělení. Trénování klasifikačního modelu pro identifikaci různých typů dokumentů, které vaše aplikace podporuje. Vstupní soubor klasifikačního modelu může obsahovat více dokumentů a klasifikuje každý dokument v přidruženém rozsahu stránek. Další informace najdete v modelechvlastní klasifikace .

Poznámka:

2024-02-29-preview Počínaje klasifikací dokumentů verze rozhraní API teď podporuje typy dokumentů Office pro klasifikaci. Tato verze rozhraní API také zavádí přírůstkové trénování klasifikačního modelu.

Vlastní nástroje modelu

Modely Document Intelligence verze 3.1 a novější podporují následující nástroje, aplikace a knihovny, programy a knihovny:

Funkce	Zdroje informací	ID modelu
Vlastní model	• Document Intelligence Studio • REST API • Sada C# SDK • Python SDK	custom-model-id

Vytvoření vlastního modelu

Extrahujte data z konkrétních nebo jedinečných dokumentů pomocí vlastních modelů. Potřebujete následující zdroje informací:

• Předplatné Azure. Můžete si ho zdarma vytvořit.

• Instance Document Intelligence na webu Azure Portal K vyzkoušení služby můžete použít cenovou úroveň Free (F0). Po nasazení prostředku vyberte Přejít k prostředku a získejte klíč a koncový bod.

  

Document Intelligence Studio

Poznámka:

Document Intelligence Studio je k dispozici s rozhraními API v3.1 a v3.0.

1. Na domovské stránce nástroje Document Intelligence Studio vyberte Vlastní modely extrakce.

2. V části Moje projekty vyberte Vytvořit projekt.

3. Vyplňte pole podrobností projektu.

4. Nakonfigurujte prostředek služby přidáním účtu úložiště a kontejneru objektů blob do Připojení trénovacího zdroje dat.

5. Zkontrolujte a vytvořte projekt.

6. Přidejte ukázkové dokumenty k označení, sestavení a otestování vlastního modelu.

Vyzkoušení nástroje Document Intelligence Studio

Podrobný návod k vytvoření prvního vlastního modelu extrakce najdete v tématuVytvoření vlastního modelu extrakce.

Souhrn extrakce vlastních modelů

Tato tabulka porovnává podporované oblasti extrakce dat:

Model	Pole formuláře	Značky výběru	Strukturovaná pole (tabulky)	Podpis	Popisování oblastí	Překrývající se pole
Vlastní šablona	✔	✔	✔	✔	✔	N/a
Vlastní neurální	✔	✔	✔	N/a	*	✔ (29. 2024. 2024)

Symboly tabulky:
✔ – Podporováno
**n/a – momentálně není k dispozici;
*-Chová se jinak v závislosti na modelu. U modelů šablon se syntetická data generují v době trénování. U neurálních modelů je vybráno ukončení textu rozpoznané v oblasti.

Tip

Při výběru mezi těmito dvěma typy modelů začněte vlastním neurálním modelem, pokud vyhovuje vašim funkčním potřebám. Další informace o vlastních neurálních modelech najdete v neurálních modelech.

Možnosti vývoje vlastních modelů

Následující tabulka popisuje funkce dostupné v přidružených nástrojích a klientských knihovnách. Osvědčeným postupem je zajistit, abyste používali kompatibilní nástroje uvedené tady.

Typ dokumentu	REST API	Sada SDK	Popisky a testovací modely
Vlastní šablona v 4.0 v3.1 v3.0	Funkce Document Intelligence 3.1	Document Intelligence SDK	Document Intelligence Studio
Vlastní neurální v4.0 v3.1 v3.0	Funkce Document Intelligence 3.1	Document Intelligence SDK	Document Intelligence Studio
Vlastní formulář v2.1	Document Intelligence 2.1 GA API	Document Intelligence SDK	Ukázkový nástroj pro popisování

Poznámka:

Vlastní modely šablon natrénované pomocí rozhraní API 3.0 budou mít několik vylepšení oproti rozhraní API 2.1, které vychází z vylepšení modulu OCR. Datové sady používané k trénování vlastního modelu šablony pomocí rozhraní API 2.1 je stále možné použít k trénování nového modelu pomocí rozhraní API verze 3.0.

• Nejlepšíchvýsledkůch

• Podporované formáty souborů jsou JPEG/JPG, PNG, BMP, TIFF a PDF (vložené nebo naskenované texty). Soubory PDF s vloženým textem jsou nejvhodnější pro eliminaci možných chyb při extrakci a umístění znaků.

• U souborů PDF a TIFF je možné zpracovat až 2 000 stránek. S předplatným úrovně Free se zpracovávají pouze první dvě stránky.

• Velikost souboru musí být menší než 500 MB pro placenou úroveň (S0) a 4 MB pro bezplatnou úroveň (F0).

• Rozměry obrázku musí být v rozmezí 50 × 50 až 10 000 × 10 000 pixelů.

• Rozměry PDF jsou až 17 x 17 palců, odpovídající formátu papíru Legal nebo A3 nebo menší.

• Celková velikost trénovacích dat je 500 stránek nebo méně.

• Pokud jsou soubory PDF uzamčené heslem, musíte před odesláním toto uzamčení odebrat.

  Tip

  Trénovací data:

  • Pokud je to možné, místo obrázkových dokumentů používejte textové dokumenty PDF. Naskenované dokumenty PDF se zpracovávají jako obrázky.
  • Zadejte pouze jednu instanci formuláře pro každý dokument.
  • U vyplněných formulářů použijte příklady, které mají vyplněná všechna pole.
  • Používejte formuláře s různými hodnotami v každém poli.
  • Pokud mají obrázky formulářů nižší kvalitu, použijte větší datovou sadu. Použijte například 10 až 15 obrázků.

Podporované jazyky a národní prostředí

Úplný seznam podporovaných jazyků najdete na naší stránce podpory jazyků – vlastní modely .

Další kroky

• Zkuste pomocí nástroje Document Intelligence Studio zpracovat vlastní formuláře a dokumenty.

• Dokončete rychlý start s funkcí Document Intelligence a začněte vytvářet aplikaci pro zpracování dokumentů ve zvoleném vývojovém jazyce.