Vlastní neurální model funkce Document Intelligence

Důležité

• Verze Document Intelligence ve verzi Public Preview poskytují dřívější přístup k funkcím, které jsou aktivní ve vývoji. Funkce, přístupy a procesy se můžou před obecnou dostupností (GA) změnit na základě zpětné vazby uživatelů.
• Verze Public Preview klientských knihoven Document Intelligence je výchozí pro rozhraní REST API verze 2024-07-31-preview.
• Verze Public Preview 2024-07-31-preview je aktuálně dostupná jenom v následujících oblastech Azure. Všimněte si, že vlastní model generování (extrakce polí dokumentu) v AI Studiu je k dispozici pouze v oblasti USA – středosever:
  • USA – východ
  • USA – západ 2
  • Západní Evropa
  • USA – středosever

Tento obsah se vztahuje na: v4.0 (Preview) | Předchozí verze: v3.1 (GA) v3.0 (GA)

Vlastní modely neurálních dokumentů nebo neurální modely jsou hloubkově naučený typ modelu, který kombinuje funkce rozložení a jazyka a přesně extrahuje popisovaná pole z dokumentů. Základní vlastní neurální model je trénován na různých typech dokumentů, díky čemuž je vhodný k trénování pro extrakci polí ze strukturovaných a částečně strukturovaných dokumentů. Vlastní neurální modely jsou k dispozici v modelech verze 3.0 a novější. Následující tabulka uvádí běžné typy dokumentů pro každou kategorii:

Dokumenty	Příklady
Strukturovaná	průzkumy, dotazníky
Částečně strukturovaná	faktury, nákupní objednávky

Vlastní neurální modely sdílejí stejný formát a strategii popisování jako vlastní modely šablon . Vlastní neurální modely v současné době podporují pouze podmnožinu typů polí podporovaných vlastními modely šablon.

Možnosti modelu

Důležité

Počínaje verzí 2024-02-29-preview rozhraní API vlastní neurální modely přidávají podporu překrývajících se polí a spolehlivosti buněk tabulky.

Vlastní neurální modely v současné době podporují páry klíč-hodnota a značky výběru a strukturovaná pole (tabulky).

Pole formuláře	Značky výběru	Tabulková pole	Podpis	Popisování oblastí	Překrývající se pole
Podporováno	Podporováno	Podporováno	Nepodporované	Podporováno 1	Podporováno 2

¹ Popisky oblastí ve vlastních neurálních modelech používají výsledky z rozhraní API rozložení pro zadanou oblast. Tato funkce se liší od modelů šablon, kde v případě, že není k dispozici žádná hodnota, text se vygeneruje v době trénování.
² Překrývající se pole jsou podporována počínaje verzí 2024-02-29-previewrozhraní REST API . Překrývající se pole mají určitá omezení. Další informace najdete v překrývajících se polích.

Režim sestavení

Operace Build podporuje šablony a neurální vlastní modely. Předchozí verze rozhraní REST API a klientských knihoven podporovaly pouze jeden režim sestavení, který se teď označuje jako režim šablony .

Neurální modely podporují dokumenty, které mají stejné informace, ale různé struktury stránek. Mezi příklady těchto dokumentů patří formuláře USA W2, které sdílejí stejné informace, ale můžou se lišit vzhledem napříč společnostmi. Další informace najdete v tématu Režim sestavení vlastního modelu.

Překrývající se pole

Ve verzi verzí 2024-02-29-preview rozhraní API a novějších verzích podporují vlastní neurální modely překrývající se pole:

Překrývající se pole

Ve verzi API verze 2024-07-31-preview a novějších verzích budou vlastní neurální modely podporovat překrývající se pole:

Pokud chcete použít překrývající se pole, musí vaše datová sada obsahovat aspoň jednu ukázku s očekávaným překrytím. Chcete-li označit překrývající se oblast, použijte popisování oblastí k určení každého rozsahu obsahu (s překrývajícím se) pro každé pole. Označení překrývající se s výběrem pole (zvýrazněním hodnoty) v sadě Studio selže, protože popisování oblastí je jediným podporovaným nástrojem pro označení překrývajících se polí. Podpora překrývání zahrnuje:

• Dokončete překrytí. Stejná sada tokenů je označená pro dvě různá pole.
• Částečné překrytí. Některé tokeny patří do obou polí, ale existují tokeny, které jsou pouze součástí jednoho pole nebo druhého.

Překrývající se pole mají určitá omezení:

• Jakýkoli token nebo slovo lze označit pouze jako dvě pole.
• překrývající se pole v tabulce nemohou přesahovat řádky tabulky.
• Překrývající se pole je možné rozpoznat pouze v případě, že nejméně jeden vzorek v datové sadě obsahuje překrývající se popisky těchto polí.

Pokud chcete použít překrývající se pole, označte datovou sadu překrytím a vytrénujte model pomocí verze 2024-02-29-preview rozhraní API nebo novější.

Tabulková pole

Ve verzi API verze 2022-06-30-preview a novějších verzích podporují vlastní neurální modely tabulková pole (tabulky) pro analýzu tabulek, řádků a dat buněk s větší jistotou:

• Modely natrénované pomocí rozhraní API verze 2022-06-30-preview nebo novější přijímají popisky tabulkových polí.
• Dokumenty analyzované pomocí vlastních neurálních modelů pomocí rozhraní API verze 2022-06-30-preview nebo novější vytvoří tabulková pole agregovaná napříč tabulkami.
• Výsledky lze najít v poli objektu analyzeResult documents , který je vrácen po operaci analýzy.

Tabulková pole ve výchozím nastavení podporují křížové tabulky :

• Pokud chcete označit tabulku, která zahrnuje více stránek, označte každý řádek tabulky napříč různými stránkami v jedné tabulce.
• Osvědčeným postupem je zajistit, aby vaše datová sada obsahovala několik ukázek očekávaných variant. Zahrňte například ukázky, kde je celá tabulka na jedné stránce a kde tabulky zabírají dvě nebo více stránek.

Tabulková pole jsou užitečná také při extrahování opakujících se informací v dokumentu, který není rozpoznán jako tabulka. Například opakující se část pracovních zkušeností v životopisu může být označena a extrahována jako tabulkové pole.

Tabulková pole poskytují spolehlivost tabulek, řádků a buněk počínaje 2024-02-29-preview rozhraním API:

• Pevné nebo dynamické tabulky přidávají podporu spolehlivosti pro následující prvky:

  • Spolehlivost tabulky– míra, jak přesně je rozpoznána celá tabulka.
  • Spolehlivost řádků, míra rozpoznávání jednotlivých řádků.
  • Spolehlivost buněk, míra rozpoznávání jednotlivých buněk.

• Doporučeným přístupem je zkontrolovat přesnost shora dolů počínaje tabulkou, za kterou následuje řádek a potom buňka. Další informaceoch

Podporované jazyky a národní prostředí

Úplný seznam podporovaných jazyků najdete v naší jazykové podpoře – vlastní modely .

Podporované oblasti

Od 18. října 2022 bude trénování vlastního neurálního modelu Document Intelligence k dispozici pouze v následujících oblastech Azure, dokud si ještě nevšimnete:

• Austrálie – východ
• Brazílie – jih
• Střední Kanada
• Indie – střed
• USA – střed
• Východní Asie
• East US
• USA – východ 2
• Francie – střed
• Japonsko – východ
• Středojižní USA
• Southeast Asia
• Velká Británie – jih
• Západní Evropa
• USA – západ 2
• US Gov – Arizona
• US Gov – Virginie

Tip

Model vytrénovaný v jedné z vybraných oblastí můžete zkopírovat do jakékoli jiné oblasti a odpovídajícím způsobem ho použít.

Ke zkopírování modelu do jiné oblasti použijte rozhraní REST API nebo Document Intelligence Studio.

Požadavky na vstup

• Nejlepšíchvýsledkůch

• Podporované formáty souborů:

  Model	PDF	Obrázek: jpeg/jpg, png, bmp, tiff, heif	systém Microsoft Office: Word (docx), Excel (xlsx), PowerPoint (pptx) a HTML
  Čteno	✔	✔	✔
  Rozložení	✔	✔	✔ (2024-02-29-preview, 2023-10-31-preview nebo novější)
  Obecný dokument	✔	✔
  Předpřipravený	✔	✔
  Vlastní neurální	✔	✔

  ✱ systém Microsoft Office soubory nejsou v současné době podporovány pro jiné modely nebo verze.

• U SOUBORŮ PDF a TIFF je možné zpracovat až 2 000 stránek (s předplatným úrovně Free se zpracuje pouze první dvě stránky).

• Velikost souboru pro analýzu dokumentů je 500 MB pro placenou úroveň (S0) a 4 MB pro bezplatnou úroveň (F0).

• Rozměry obrázku musí být mezi 50 x 50 pixelů a 10 000 px x 10 000 pixelů.

• Pokud jsou soubory PDF uzamčené heslem, musíte před odesláním toto uzamčení odebrat.

• Minimální výška extrahovaného textu je 12 pixelů pro obrázek o velikosti 1024 x 768 pixelů. Tato dimenze odpovídá hodnotě 8-point text v 150 bodech na paleč.

• Pro trénování vlastního modelu je maximální počet stránek pro trénovací data 500 pro vlastní model šablony a 50 000 pro vlastní neurální model.

• Pro trénování vlastního modelu extrakce je celková velikost trénovacích dat 50 MB pro model šablony a 1G MB pro neurální model.

• Pro trénování modelu vlastní klasifikace je 1GB celková velikost trénovacích dat s maximálně 10 000 stránkami.

Osvědčené postupy

Vlastní neurální modely se liší od vlastních modelů šablon několika různými způsoby. Vlastní šablona nebo model závisí na konzistentní vizuální šabloně k extrahování označených dat. Vlastní neurální modely podporují strukturovaná a částečně strukturovaná pro extrakci polí. Při výběru mezi typy modelů začněte neurálním modelem a otestujte, jestli podporuje vaše funkční potřeby.

• Práce s variantami – Vlastní neurální modely se dají generalizovat v různých formátech jednoho typu dokumentu. Osvědčeným postupem je vytvořit jeden model pro všechny varianty typu dokumentu. Přidejte alespoň pět ukázek s popiskem pro každou z různých variant do trénovací datové sady.
• Pojmenování polí – Když označíte data, popisek pole, které je relevantní pro hodnotu, zlepší přesnost extrahovaných párů klíč-hodnota. Například pro hodnotu pole obsahující ID dodavatele zvažte pojmenování pole supplier_id. Názvy polí by měly být v jazyce dokumentu.
• Popisování souvislých hodnot – Tokeny hodnot/slova jednoho pole musí být buď:
  • V po sobě jdoucí sekvenci v přirozeném pořadí čtení bez prokládání s jinými poli
  • V oblasti, která nepokrývají žádná jiná pole
• Reprezentativní data – Hodnoty v trénovacích případech by měly být různorodé a reprezentativní. Pokud je například pole pojmenované datum, měly by být hodnoty pro toto pole datem. Syntetická hodnota, jako je náhodný řetězec, může ovlivnit výkon modelu.

Aktuální omezení

• Vlastní neurální model nerozpozná hodnoty rozdělené mezi hranice stránek.
• Vlastní neurální nepodporované typy polí se ignorují, pokud se k trénování vlastního neurálního modelu používá datová sada označená pro vlastní modely šablon.
• Vlastní neurální modely jsou omezené na 20 operací sestavení za měsíc. Pokud potřebujete zvýšit limit, otevřete žádost o podporu. Další informace najdete v tématu Kvóty a omezení služby Document Intelligence.

Trénování modelu

Vlastní neurální modely jsou k dispozici v modelech verze 3.0 a novějších.

Typ dokumentu	REST API	Sada SDK	Popisky a testovací modely
Vlastní dokument	Funkce Document Intelligence 3.1	Document Intelligence SDK	Document Intelligence Studio

Operace Build pro trénování modelu podporuje novou buildMode vlastnost, pro trénování vlastního neurálního modelu, nastavte buildMode na neuralhodnotu .

https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-07-31-preview

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

Fakturace

Od verze 2024-07-31-previewmůžete vytrénovat vlastní neurální model po delší dobu než standardní 30 minut. Předchozí verze jsou omezené na 30 minut na instanci trénování, přičemž celkem 20 bezplatných trénovacích instancí za měsíc. 2024-07-31-previewNyní můžete získat 10 hodin bezplatného trénování modelu a trénovat model po dobu 10 hodin.

Na jednom sestavení modelu s velkou sadou dat můžete strávit všech 10 bezplatných hodin nebo ho můžete využít ve více buildech tak, že upravíte maximální hodnotu build doby trvání operace zadáním maxTrainingHours:

POST https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-07-31-preview

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  ...,
  "maxTrainingHours": 10
}

Důležité

• Pokud chcete trénovat další neurální modely nebo trénovat modely na delší časové období, které překračují 10 hodin, platí poplatky za fakturaci. Podrobnosti o fakturačních poplatcích najdete na stránce s cenami.
• Pro tuto placenou trénovací službu se můžete rozhodnout nastavením maxTrainingHours požadovaného maximálního počtu hodin. Volání rozhraní API bez rozpočtu, ale se maxTrainingHours sadou, která je nastavená na více než 10 hodin, selže.
• Vzhledem k tomu, že každé sestavení trvá různě dlouho v závislosti na typu a velikosti trénovací datové sady, počítá se fakturace za skutečný čas strávený trénováním neurálního modelu s minimálním počtem 30 minut na trénovací úlohu.
• Tato placená funkce trénování umožňuje trénovat větší datové sady po delší dobu s flexibilitou v hodinách trénování.

GET /documentModels/{myCustomModel}
{
  "modelId": "myCustomModel",
  "trainingHours": 0.23,
  "docTypes": { ... },
  ...
}

Poznámka:

U verzí v3.1 (2023-07-31) Document Intelligence a v3.0 (2022-08-31)placené trénování vlastního neurálního modelu není povolené. Pro dvě starší verze získáte maximální dobu trénování 30 minut na model. Pokud chcete trénovat více než 20 instancí modelu, můžete vytvořit lístek podpora Azure, který zvýší limit trénování.

Další kroky

Naučte se vytvářet a vytvářet vlastní modely:

Vytvoření vlastního modeluPro vytváření vlastních modelů