Vlastní neurální model funkce Document Intelligence
Důležité
- Verze Document Intelligence ve verzi Public Preview poskytují dřívější přístup k funkcím, které jsou aktivní ve vývoji.
- Funkce, přístupy a procesy se můžou před obecnou dostupností (GA) změnit na základě zpětné vazby uživatelů.
- Verze Public Preview klientských knihoven Document Intelligence ve výchozím nastavení je rest API verze 2024-02-29-preview.
- Verze Public Preview 2024-02-29-preview je aktuálně dostupná jenom v následujících oblastech Azure:
- USA – východ
- USA – západ 2
- Západní Evropa
Tento obsah se vztahuje na: v4.0 (Preview) | Předchozí verze: v3.1 (GA) v3.0 (GA)
Tento obsah se vztahuje na: v3.1 (GA) | Nejnovější verze: v4.0 (Preview) | Předchozí verze: v3.0
Tento obsah se vztahuje na: v3.0 (GA) | Nejnovější verze: v4.0 (Preview) v3.1
Vlastní modely neurálních dokumentů nebo neurální modely jsou hloubkově naučený typ modelu, který kombinuje funkce rozložení a jazyka a přesně extrahuje popisovaná pole z dokumentů. Vlastní neurální model základu je trénovaný na různých typech dokumentů, díky čemuž je vhodný k trénování pro extrakci polí ze strukturovaných, částečně strukturovaných a nestrukturovaných dokumentů. Vlastní neurální modely jsou k dispozici v modelech verze 3.0 a novější. Následující tabulka uvádí běžné typy dokumentů pro každou kategorii:
Dokumenty | Příklady |
---|---|
Strukturovaná | průzkumy, dotazníky |
Částečně strukturovaná | faktury, nákupní objednávky |
Nestrukturovaná | smlouvy, dopisy |
Vlastní neurální modely sdílejí stejný formát a strategii popisování jako vlastní modely šablon . Vlastní neurální modely v současné době podporují pouze podmnožinu typů polí podporovaných vlastními modely šablon.
Možnosti modelu
Důležité
Počínaje verzí 2024-02-29-preview
rozhraní API vlastní neurální modely přidávají podporu překrývajících se polí a spolehlivosti buněk tabulky.
Vlastní neurální modely v současné době podporují pouze páry klíč-hodnota a značky výběru a strukturovaná pole (tabulky), budoucí verze zahrnují podporu podpisů.
Pole formuláře | Značky výběru | Tabulková pole | Podpis | Oblast | Překrývající se pole |
---|---|---|---|---|---|
Podporováno | Podporováno | Podporováno | Nepodporované | Podporováno 1 | Podporováno 2 |
1 Popisky oblastí ve vlastních neurálních modelech používají výsledky z rozhraní API rozložení pro zadanou oblast. Tato funkce se liší od modelů šablon, kde v případě, že není k dispozici žádná hodnota, text se vygeneruje v době trénování.
2 Překrývající se pole jsou podporována počínaje verzí 2024-02-29-preview
rozhraní REST API . Překrývající se pole mají určitá omezení. Další informace najdete v překrývajících se polích.
Režim sestavení
Operace vlastního modelu sestavení podporuje šablony a neurální vlastní modely. Předchozí verze rozhraní REST API a klientských knihoven podporovaly pouze jeden režim sestavení, který se teď označuje jako režim šablony .
Neurální modely podporují dokumenty, které mají stejné informace, ale různé struktury stránek. Mezi příklady těchto dokumentů patří formuláře USA W2, které sdílejí stejné informace, ale můžou se lišit vzhledem napříč společnostmi. Další informace najdete v tématu Režim sestavení vlastního modelu.
Podporované jazyky a národní prostředí
Úplný seznam podporovaných jazyků najdete na naší stránce podpory jazyků – vlastní modely .
Překrývající se pole
Ve verzi API verze 2024-02-29-preview a novějších verzích budou vlastní neurální modely podporovat překrývající se pole:
Pokud chcete použít překrývající se pole, musí vaše datová sada obsahovat aspoň jednu ukázku s očekávaným překrytím. Chcete-li označit překrývající se oblast, použijte popisování oblastí k určení každého rozsahu obsahu (s překrývajícím se) pro každé pole. Označení překrývající se s výběrem pole (zvýrazněním hodnoty) selže ve studiu, protože popisování oblastí je jediným podporovaným nástrojem pro označení překrývajících se polí. Podpora překrývání zahrnuje:
- Dokončete překrytí. Stejná sada tokenů je označená pro dvě různá pole.
- Částečné překrytí. Některé tokeny patří do obou polí, ale existují tokeny, které jsou pouze součástí jednoho pole nebo druhého.
Překrývající se pole mají určitá omezení:
- Jakýkoli token nebo slovo lze označit pouze jako dvě pole.
- překrývající se pole v tabulce nemohou přesahovat řádky tabulky.
- Překrývající se pole je možné rozpoznat pouze v případě, že nejméně jeden vzorek v datové sadě obsahuje překrývající se popisky těchto polí.
Pokud chcete použít překrývající se pole, označte datovou sadu překrytím a vytrénujte model pomocí verze 2024-02-29-preview
rozhraní API nebo novější.
Tabulková pole přidávají tabulku, řádek a spolehlivost buněk.
Ve verzi API verze 2022-06-30-preview a novějších verzích budou vlastní neurální modely podporovat tabulková pole (tabulky):
- Modely natrénované pomocí rozhraní API verze 2022-08-31 nebo novější přijímají popisky tabulkových polí.
- Dokumenty analyzované pomocí vlastních neurálních modelů pomocí rozhraní API verze 2022-06-30-preview nebo novější vytvoří tabulková pole agregovaná napříč tabulkami.
- Výsledky lze najít v poli objektu
analyzeResult
documents
, který je vrácen po operaci analýzy.
Tabulková pole ve výchozím nastavení podporují křížové tabulky :
- Pokud chcete označit tabulku, která zahrnuje více stránek, označte každý řádek tabulky napříč různými stránkami v jedné tabulce.
- Osvědčeným postupem je zajistit, aby vaše datová sada obsahovala několik ukázek očekávaných variant. Zahrňte například ukázky, kde je celá tabulka na jedné stránce a kde tabulky zabírají dvě nebo více stránek.
Tabulková pole jsou užitečná také při extrahování opakujících se informací v dokumentu, který není rozpoznán jako tabulka. Například opakující se část pracovních zkušeností v životopisu může být označena a extrahována jako tabulkové pole.
Tabulková pole poskytují spolehlivost tabulek, řádků a buněk počínaje 2024-02-29-preview
rozhraním API:
Pevné nebo dynamické tabulky přidávají podporu spolehlivosti pro následující prvky:
- Spolehlivost tabulky– míra, jak přesně je rozpoznána celá tabulka.
- Spolehlivost řádků, míra rozpoznávání jednotlivých řádků.
- Spolehlivost buněk, míra rozpoznávání jednotlivých buněk.
Doporučeným přístupem je zkontrolovat přesnost shora dolů počínaje tabulkou, za kterou následuje řádek a potom buňka.
Další informaceoch
Podporované oblasti
Od 18. října 2022 bude trénování vlastního neurálního modelu Document Intelligence k dispozici pouze v následujících oblastech Azure, dokud si ještě nevšimnete:
- Austrálie – východ
- Brazílie – jih
- Střední Kanada
- Indie – střed
- USA – střed
- Východní Asie
- East US
- USA – východ 2
- Francie – střed
- Japonsko – východ
- Středojižní USA
- Southeast Asia
- Velká Británie – jih
- Západní Evropa
- USA – západ 2
- US Gov – Arizona
- US Gov – Virginie
Tip
Model vytrénovaný v jedné z vybraných oblastí můžete zkopírovat do jakékoli jiné oblasti a odpovídajícím způsobem ho použít.
Ke zkopírování modelu do jiné oblasti použijte rozhraní REST API nebo Document Intelligence Studio.
Tip
Model vytrénovaný v jedné z vybraných oblastí můžete zkopírovat do jakékoli jiné oblasti a odpovídajícím způsobem ho použít.
Ke zkopírování modelu do jiné oblasti použijte rozhraní REST API nebo Document Intelligence Studio.
Tip
Model vytrénovaný v jedné z vybraných oblastí můžete zkopírovat do jakékoli jiné oblasti a odpovídajícím způsobem ho použít.
Ke zkopírování modelu do jiné oblasti použijte rozhraní REST API nebo Document Intelligence Studio.
Požadavky na vstup
Nejlepšíchvýsledkůch
Podporované formáty souborů:
Model PDF Obrázek:
jpeg/jpg, png, bmp, tiff, heifsystém Microsoft Office:
Word (docx), Excel (xlsx), PowerPoint (pptx) a HTMLČteno ✔ ✔ ✔ Rozložení ✔ ✔ ✔ (2024-02-29-preview, 2023-10-31-preview nebo novější) Obecný dokument ✔ ✔ Předpřipravený ✔ ✔ Vlastní neurální ✔ ✔ ✱ systém Microsoft Office soubory nejsou v současné době podporovány pro jiné modely nebo verze.
U SOUBORŮ PDF a TIFF je možné zpracovat až 2 000 stránek (s předplatným úrovně Free se zpracuje pouze první dvě stránky).
Velikost souboru pro analýzu dokumentů je 500 MB pro placenou úroveň (S0) a 4 MB pro bezplatnou úroveň (F0).
Rozměry obrázku musí být mezi 50 x 50 pixelů a 10 000 px x 10 000 pixelů.
Pokud jsou soubory PDF uzamčené heslem, musíte před odesláním toto uzamčení odebrat.
Minimální výška extrahovaného textu je 12 pixelů pro obrázek o velikosti 1024 x 768 pixelů. Tato dimenze odpovídá hodnotě
8
-point text v 150 bodech na paleč.Pro trénování vlastního modelu je maximální počet stránek pro trénovací data 500 pro vlastní model šablony a 50 000 pro vlastní neurální model.
Pro trénování vlastního modelu extrakce je celková velikost trénovacích dat 50 MB pro model šablony a 1G MB pro neurální model.
Pro trénování modelu vlastní klasifikace je
1GB
celková velikost trénovacích dat s maximálně 10 000 stránkami.
Osvědčené postupy
Vlastní neurální modely se liší od vlastních modelů šablon několika různými způsoby. Vlastní šablona nebo model závisí na konzistentní vizuální šabloně k extrahování označených dat. Vlastní neurální modely podporují strukturované, částečně strukturované a nestrukturované dokumenty pro extrakci polí. Při výběru mezi těmito dvěma typy modelů začněte neurálním modelem a otestujte, jestli podporuje vaše funkční potřeby.
Práce s variantami
Vlastní neurální modely se můžou generalizovat v různých formátech jednoho typu dokumentu. Osvědčeným postupem je vytvořit jeden model pro všechny varianty typu dokumentu. Přidejte alespoň pět ukázek s popiskem pro každou z různých variant do trénovací datové sady.
Pojmenování polí
Když označíte data, popisek pole, které je relevantní pro hodnotu, zlepší přesnost extrahovaných párů klíč-hodnota. Například pro hodnotu pole obsahující ID dodavatele zvažte pojmenování pole supplier_id. Názvy polí by měly být v jazyce dokumentu.
Popisování souvislých hodnot
Tokeny hodnot/slova jednoho pole musí být buď:
- V po sobě jdoucí sekvenci v přirozeném pořadí čtení bez prokládání s jinými poli
- V oblasti, která nepokrývají žádná jiná pole
Reprezentativní data
Hodnoty v trénovacích případech by měly být různorodé a reprezentativní. Pokud je například pole pojmenované datum, měly by být hodnoty pro toto pole datem. Syntetická hodnota, jako je náhodný řetězec, může ovlivnit výkon modelu.
Aktuální omezení
- Vlastní neurální model nerozpozná hodnoty rozdělené mezi hranice stránek.
- Vlastní neurální nepodporované typy polí se ignorují, pokud se k trénování vlastního neurálního modelu používá datová sada označená pro vlastní modely šablon.
- Vlastní neurální modely jsou omezené na 20 operací sestavení za měsíc. Pokud potřebujete zvýšit limit, otevřete žádost o podporu. Další informace najdete v tématu Kvóty a omezení služby Document Intelligence.
Trénování modelu
Vlastní neurální modely jsou k dispozici v modelech verze 3.0 a novějších.
Typ dokumentu | REST API | Sada SDK | Popisky a testovací modely |
---|---|---|---|
Vlastní dokument | Funkce Document Intelligence 3.1 | Document Intelligence SDK | Document Intelligence Studio |
Operace sestavení pro trénování modelu podporuje novou buildMode
vlastnost, pro trénování vlastního neurálního modelu, nastavte buildMode
na neural
hodnotu .
https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-02-29-preview
{
"modelId": "string",
"description": "string",
"buildMode": "neural",
"azureBlobSource":
{
"containerUrl": "string",
"prefix": "string"
}
}
https://{endpoint}/formrecognizer/documentModels:build?api-version=v3.1:2023-07-31
{
"modelId": "string",
"description": "string",
"buildMode": "neural",
"azureBlobSource":
{
"containerUrl": "string",
"prefix": "string"
}
}
https://{endpoint}/formrecognizer/documentModels/{modelId}:copyTo?api-version=2022-08-31
{
"modelId": "string",
"description": "string",
"buildMode": "neural",
"azureBlobSource":
{
"containerUrl": "string",
"prefix": "string"
}
}
Další kroky
Naučte se vytvářet a vytvářet vlastní modely:
Váš názor
https://aka.ms/ContentUserFeedback.
Připravujeme: V průběhu roku 2024 budeme postupně vyřazovat problémy z GitHub coby mechanismus zpětné vazby pro obsah a nahrazovat ho novým systémem zpětné vazby. Další informace naleznete v tématu:Odeslat a zobrazit názory pro