Vlastní neurální model funkce Document Intelligence

Důležité

• Verze Document Intelligence ve verzi Public Preview poskytují dřívější přístup k funkcím, které jsou aktivní ve vývoji.
• Funkce, přístupy a procesy se můžou před obecnou dostupností (GA) změnit na základě zpětné vazby uživatelů.
• Verze Public Preview klientských knihoven Document Intelligence ve výchozím nastavení je rest API verze 2024-02-29-preview.
• Verze Public Preview 2024-02-29-preview je aktuálně dostupná jenom v následujících oblastech Azure:
• USA – východ
• USA – západ 2
• Západní Evropa

Tento obsah se vztahuje na:v4.0 (Preview) | Předchozí verze:v3.1 (GA)v3.0 (GA)

Vlastní modely neurálních dokumentů nebo neurální modely jsou hloubkově naučený typ modelu, který kombinuje funkce rozložení a jazyka a přesně extrahuje popisovaná pole z dokumentů. Vlastní neurální model základu je trénovaný na různých typech dokumentů, díky čemuž je vhodný k trénování pro extrakci polí ze strukturovaných, částečně strukturovaných a nestrukturovaných dokumentů. Vlastní neurální modely jsou k dispozici v modelech verze 3.0 a novější. Následující tabulka uvádí běžné typy dokumentů pro každou kategorii:

Dokumenty	Příklady
Strukturovaná	průzkumy, dotazníky
Částečně strukturovaná	faktury, nákupní objednávky
Nestrukturovaná	smlouvy, dopisy

Vlastní neurální modely sdílejí stejný formát a strategii popisování jako vlastní modely šablon . Vlastní neurální modely v současné době podporují pouze podmnožinu typů polí podporovaných vlastními modely šablon.

Možnosti modelu

Důležité

Počínaje verzí 2024-02-29-preview rozhraní API vlastní neurální modely přidávají podporu překrývajících se polí a spolehlivosti buněk tabulky.

Vlastní neurální modely v současné době podporují pouze páry klíč-hodnota a značky výběru a strukturovaná pole (tabulky), budoucí verze zahrnují podporu podpisů.

Pole formuláře	Značky výběru	Tabulková pole	Podpis	Oblast	Překrývající se pole
Podporováno	Podporováno	Podporováno	Nepodporované	Podporováno 1	Podporováno 2

¹ Popisky oblastí ve vlastních neurálních modelech používají výsledky z rozhraní API rozložení pro zadanou oblast. Tato funkce se liší od modelů šablon, kde v případě, že není k dispozici žádná hodnota, text se vygeneruje v době trénování. ² Překrývající se pole jsou podporována počínaje verzí 2024-02-29-previewrozhraní REST API . Překrývající se pole mají určitá omezení. Další informace najdete vpřekrývajících se polích.

Režim sestavení

Operace vlastního modelu sestavení podporuje šablony a neurální vlastní modely. Předchozí verze rozhraní REST API a klientských knihoven podporovaly pouze jeden režim sestavení, který se teď označuje jako režim šablony .

Neurální modely podporují dokumenty, které mají stejné informace, ale různé struktury stránek. Mezi příklady těchto dokumentů patří formuláře USA W2, které sdílejí stejné informace, ale můžou se lišit vzhledem napříč společnostmi. Další informace najdete v tématuRežim sestavení vlastního modelu.

Podporované jazyky a národní prostředí

Úplný seznam podporovaných jazyků najdete na naší stránce podpory jazyků – vlastní modely .

Překrývající se pole

Ve verzi API verze 2024-02-29-preview a novějších verzích budou vlastní neurální modely podporovat překrývající se pole:

Pokud chcete použít překrývající se pole, musí vaše datová sada obsahovat aspoň jednu ukázku s očekávaným překrytím. Chcete-li označit překrývající se oblast, použijte popisování oblastí k určení každého rozsahu obsahu (s překrývajícím se) pro každé pole. Označení překrývající se s výběrem pole (zvýrazněním hodnoty) selže ve studiu, protože popisování oblastí je jediným podporovaným nástrojem pro označení překrývajících se polí. Podpora překrývání zahrnuje:

• Dokončete překrytí. Stejná sada tokenů je označená pro dvě různá pole.
• Částečné překrytí. Některé tokeny patří do obou polí, ale existují tokeny, které jsou pouze součástí jednoho pole nebo druhého.

Překrývající se pole mají určitá omezení:

• Jakýkoli token nebo slovo lze označit pouze jako dvě pole.
• překrývající se pole v tabulce nemohou přesahovat řádky tabulky.
• Překrývající se pole je možné rozpoznat pouze v případě, že nejméně jeden vzorek v datové sadě obsahuje překrývající se popisky těchto polí.

Pokud chcete použít překrývající se pole, označte datovou sadu překrytím a vytrénujte model pomocí verze 2024-02-29-preview rozhraní API nebo novější.

Tabulková pole přidávají tabulku, řádek a spolehlivost buněk.

Ve verzi API verze 2022-06-30-preview a novějších verzích budou vlastní neurální modely podporovat tabulková pole (tabulky):

• Modely natrénované pomocí rozhraní API verze 2022-08-31 nebo novější přijímají popisky tabulkových polí.
• Dokumenty analyzované pomocí vlastních neurálních modelů pomocí rozhraní API verze 2022-06-30-preview nebo novější vytvoří tabulková pole agregovaná napříč tabulkami.
• Výsledky lze najít v poli objektu analyzeResultdocuments , který je vrácen po operaci analýzy.

Tabulková pole ve výchozím nastavení podporují křížové tabulky :

• Pokud chcete označit tabulku, která zahrnuje více stránek, označte každý řádek tabulky napříč různými stránkami v jedné tabulce.
• Osvědčeným postupem je zajistit, aby vaše datová sada obsahovala několik ukázek očekávaných variant. Zahrňte například ukázky, kde je celá tabulka na jedné stránce a kde tabulky zabírají dvě nebo více stránek.

Tabulková pole jsou užitečná také při extrahování opakujících se informací v dokumentu, který není rozpoznán jako tabulka. Například opakující se část pracovních zkušeností v životopisu může být označena a extrahována jako tabulkové pole.

Tabulková pole poskytují spolehlivost tabulek, řádků a buněk počínaje 2024-02-29-preview rozhraním API:

• Pevné nebo dynamické tabulky přidávají podporu spolehlivosti pro následující prvky:

  • Spolehlivost tabulky– míra, jak přesně je rozpoznána celá tabulka.
  • Spolehlivost řádků, míra rozpoznávání jednotlivých řádků.
  • Spolehlivost buněk, míra rozpoznávání jednotlivých buněk.

• Doporučeným přístupem je zkontrolovat přesnost shora dolů počínaje tabulkou, za kterou následuje řádek a potom buňka.

Další informaceoch

Podporované oblasti

Od 18. října 2022 bude trénování vlastního neurálního modelu Document Intelligence k dispozici pouze v následujících oblastech Azure, dokud si ještě nevšimnete:

• Austrálie – východ
• Brazílie – jih
• Střední Kanada
• Indie – střed
• USA – střed
• Východní Asie
• East US
• USA – východ 2
• Francie – střed
• Japonsko – východ
• Středojižní USA
• Southeast Asia
• Velká Británie – jih
• Západní Evropa
• USA – západ 2
• US Gov – Arizona
• US Gov – Virginie

Tip

Model vytrénovaný v jedné z vybraných oblastí můžete zkopírovat do jakékoli jiné oblasti a odpovídajícím způsobem ho použít.

Ke zkopírování modelu do jiné oblasti použijte rozhraní REST API nebo Document Intelligence Studio.

Požadavky na vstup

• Nejlepšíchvýsledkůch

• Podporované formáty souborů:

  Model	PDF	Obrázek: jpeg/jpg, png, bmp, tiff, heif	systém Microsoft Office: Word (docx), Excel (xlsx), PowerPoint (pptx) a HTML
  Čteno	✔	✔	✔
  Rozložení	✔	✔	✔ (2024-02-29-preview, 2023-10-31-preview nebo novější)
  Obecný dokument	✔	✔
  Předpřipravený	✔	✔
  Vlastní neurální	✔	✔

  ✱ systém Microsoft Office soubory nejsou v současné době podporovány pro jiné modely nebo verze.

• U SOUBORŮ PDF a TIFF je možné zpracovat až 2 000 stránek (s předplatným úrovně Free se zpracuje pouze první dvě stránky).

• Velikost souboru pro analýzu dokumentů je 500 MB pro placenou úroveň (S0) a 4 MB pro bezplatnou úroveň (F0).

• Rozměry obrázku musí být mezi 50 x 50 pixelů a 10 000 px x 10 000 pixelů.

• Pokud jsou soubory PDF uzamčené heslem, musíte před odesláním toto uzamčení odebrat.

• Minimální výška extrahovaného textu je 12 pixelů pro obrázek o velikosti 1024 x 768 pixelů. Tato dimenze odpovídá hodnotě 8-point text v 150 bodech na paleč.

• Pro trénování vlastního modelu je maximální počet stránek pro trénovací data 500 pro vlastní model šablony a 50 000 pro vlastní neurální model.

• Pro trénování vlastního modelu extrakce je celková velikost trénovacích dat 50 MB pro model šablony a 1G MB pro neurální model.

• Pro trénování modelu vlastní klasifikace je 1GB celková velikost trénovacích dat s maximálně 10 000 stránkami.

Osvědčené postupy

Vlastní neurální modely se liší od vlastních modelů šablon několika různými způsoby. Vlastní šablona nebo model závisí na konzistentní vizuální šabloně k extrahování označených dat. Vlastní neurální modely podporují strukturované, částečně strukturované a nestrukturované dokumenty pro extrakci polí. Při výběru mezi těmito dvěma typy modelů začněte neurálním modelem a otestujte, jestli podporuje vaše funkční potřeby.

Práce s variantami

Vlastní neurální modely se můžou generalizovat v různých formátech jednoho typu dokumentu. Osvědčeným postupem je vytvořit jeden model pro všechny varianty typu dokumentu. Přidejte alespoň pět ukázek s popiskem pro každou z různých variant do trénovací datové sady.

Pojmenování polí

Když označíte data, popisek pole, které je relevantní pro hodnotu, zlepší přesnost extrahovaných párů klíč-hodnota. Například pro hodnotu pole obsahující ID dodavatele zvažte pojmenování pole supplier_id. Názvy polí by měly být v jazyce dokumentu.

Popisování souvislých hodnot

Tokeny hodnot/slova jednoho pole musí být buď:

• V po sobě jdoucí sekvenci v přirozeném pořadí čtení bez prokládání s jinými poli
• V oblasti, která nepokrývají žádná jiná pole

Reprezentativní data

Hodnoty v trénovacích případech by měly být různorodé a reprezentativní. Pokud je například pole pojmenované datum, měly by být hodnoty pro toto pole datem. Syntetická hodnota, jako je náhodný řetězec, může ovlivnit výkon modelu.

Aktuální omezení

• Vlastní neurální model nerozpozná hodnoty rozdělené mezi hranice stránek.
• Vlastní neurální nepodporované typy polí se ignorují, pokud se k trénování vlastního neurálního modelu používá datová sada označená pro vlastní modely šablon.
• Vlastní neurální modely jsou omezené na 20 operací sestavení za měsíc. Pokud potřebujete zvýšit limit, otevřete žádost o podporu. Další informace najdete v tématu Kvóty a omezení služby Document Intelligence.

Trénování modelu

Vlastní neurální modely jsou k dispozici v modelech verze 3.0 a novějších.

Typ dokumentu	REST API	Sada SDK	Popisky a testovací modely
Vlastní dokument	Funkce Document Intelligence 3.1	Document Intelligence SDK	Document Intelligence Studio

Operace sestavení pro trénování modelu podporuje novou buildMode vlastnost, pro trénování vlastního neurálního modelu, nastavte buildMode na neuralhodnotu .

https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-02-29-preview

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

Další kroky

Naučte se vytvářet a vytvářet vlastní modely:

Vytvoření vlastního modeluPro vytváření vlastních modelů