Sestavení a trénování vlastního modelu extrakce

  • Článek

Tento obsah se vztahuje na:Zaškrtnutív4.0 (Preview) | Předchozí verze:modrá značka zaškrtnutív3.1 (GA)modrá značka zaškrtnutív3.0 (GA)modrá značka zaškrtnutív2.1

Modely Document Intelligence vyžadují k zahájení práce až pět trénovacích dokumentů. Pokud máte alespoň pět dokumentů, můžete začít s trénováním vlastního modelu. Můžete trénovat buď vlastní model šablony (vlastní formulář), nebo vlastní neurální model (vlastní dokument). Proces trénování je stejný pro oba modely a tento dokument vás provede procesem trénování obou modelů.

Požadavky na vstup vlastního modelu

Nejprve se ujistěte, že vaše trénovací datová sada splňuje vstupní požadavky pro funkci Document Intelligence.

  • Nejlepšíchvýsledkůch

  • Podporované formáty souborů:

    Model PDF Obrázek:
    JPEG/JPG, PNG, BMP, TIFF, HEIF    		 systém Microsoft Office:
    Word (DOCX), Excel (XLSX), PowerPoint (PPTX) a HTML
    Čteno ✔ ✔ ✔
    Rozložení ✔ ✔ ✔ (2024-02-29-preview, 2023-10-31-preview)
    Obecný dokument ✔ ✔
    Předpřipravený ✔ ✔
    Vlastní extrakce ✔ ✔
    Vlastní klasifikace ✔ ✔ ✔ (29. 2024. 2024)

  • U SOUBORŮ PDF a TIFF je možné zpracovat až 2000 stránek (s předplatným úrovně Free se zpracovávají pouze první dvě stránky).

  • Velikost souboru pro analýzu dokumentů je 500 MB pro placenou úroveň (S0) a 4 MB pro bezplatnou úroveň (F0).

  • Rozměry obrázku musí být mezi 50 x 50 pixelů a 10 000 px x 10 000 pixelů.

  • Pokud jsou soubory PDF uzamčené heslem, musíte před odesláním toto uzamčení odebrat.

  • Minimální výška extrahovaného textu je 12 pixelů pro obrázek o velikosti 1024 x 768 pixelů. Tato dimenze odpovídá 8150 bodům na palec (DPI).

  • Pro trénování vlastního modelu je maximální počet stránek pro trénovací data 500 pro vlastní model šablony a 50 000 pro vlastní neurální model.

    • Pro trénování vlastního modelu extrakce je celková velikost trénovacích dat 50 MB pro model šablony a 1G MB pro neurální model.

    • Pro trénování modelu vlastní klasifikace je 1GB celková velikost trénovacích dat s maximálně 10 000 stránkami.

Tipy pro trénování dat

Projděte si tyto tipy k další optimalizaci datové sady pro trénování:

  • Místo obrázků používejte textové dokumenty PDF. Naskenované dokumenty PDF se zpracovávají jako obrázky.
  • Použijte příklady, které mají všechna pole vyplněná pro formuláře se vstupními poli.
  • Používejte formuláře s různými hodnotami v každém poli.
  • Pokud mají obrázky formuláře nižší kvalitu, použijte větší datovou sadu (10 až 15 obrázků).

Nahrání trénovacích dat

Jakmile shromáždíte sadu formulářů nebo dokumentů pro trénování, musíte ji nahrát do kontejneru úložiště objektů blob v Azure. Pokud nevíte, jak vytvořit účet úložiště Azure s kontejnerem, použijte rychlý start pro Azure Storage pro Azure Portal. Službu můžete vyzkoušet pomocí cenové úrovně Free (F0) a později upgradovat na placenou úroveň pro produkční prostředí.

Video: Trénování vlastního modelu

  • Jakmile shromáždíte a nahrajete trénovací datovou sadu, budete připraveni natrénovat vlastní model. V následujícím videu vytvoříme projekt a prozkoumáme některé základy úspěšného označování a trénování modelu.

Vytvoření projektu v nástroji Document Intelligence Studio

Sada Document Intelligence Studio poskytuje a orchestruje všechna volání rozhraní API potřebná k dokončení datové sady a trénování modelu.

  1. Začněte tím, že přejdete do sady Document Intelligence Studio. Při prvním použití sady Studio je potřeba inicializovat předplatné, skupinu prostředků a prostředek. Potom podle požadavků pro vlastní projekty nakonfigurujte Studio pro přístup k trénovací datové sadě.

  2. V sadě Studio vyberte dlaždici Vlastní modely na stránce vlastní modely a vyberte tlačítko Vytvořit projekt .

    Snímek obrazovky s možností Vytvořit projekt v nástroji Document Intelligence Studio

    1. V dialogovém okně vytvořit projekt zadejte název projektu, volitelně popis a vyberte pokračovat.

    2. V dalším kroku pracovního postupu zvolte nebo vytvořte prostředek document intelligence, než vyberete pokračovat.

    Důležité

    Vlastní neurální modely jsou k dispozici pouze v několika oblastech. Pokud plánujete trénování neurálního modelu, vyberte nebo vytvořte prostředek v jedné z těchto podporovaných oblastí.

    Snímek obrazovky s výběrem prostředku Document Intelligence

  3. Pak vyberte účet úložiště, který jste použili k nahrání vlastní trénovací datové sady modelu. Cesta ke složce by měla být prázdná, pokud jsou vaše trénovací dokumenty v kořenovém adresáři kontejneru. Pokud jsou vaše dokumenty v podsložce, zadejte relativní cestu z kořenového adresáře kontejneru do pole Cesta ke složce. Po nakonfigurování účtu úložiště vyberte pokračovat.

    Snímek obrazovky s výběrem účtu úložiště

  4. Nakonec zkontrolujte nastavení projektu a vyberte Vytvořit projekt a vytvořte nový projekt. Teď byste měli být v okně popisků a vidět soubory v datové sadě.

Označení dat

Prvním úkolem v projektu je označit datovou sadu poli, která chcete extrahovat.

Soubory, které jste nahráli do úložiště, jsou uvedené na levé straně obrazovky s prvním souborem připraveným k označení.

  1. Začněte popisovat datovou sadu a vytvořit první pole tak, že v pravém horním rohu obrazovky vyberete tlačítko plus (➕).

    Snímek obrazovky s možností Vytvořit popisek

  2. Zadejte název pole.

  3. Přiřaďte k poli hodnotu tak, že vyberete slovo nebo slova v dokumentu. Vyberte pole v rozevíracím seznamu nebo v seznamu polí na pravém navigačním panelu. Označená hodnota je pod názvem pole v seznamu polí.

  4. Opakujte proces pro všechna pole, která chcete označit jako datovou sadu.

  5. Označte zbývající dokumenty v datové sadě tak, že vyberete každý dokument a vyberete text, který se má označit.

Teď máte všechny dokumenty v datové sadě označené popiskem. Soubory .labels.json a .ocr.json odpovídají jednotlivým dokumentům v trénovací datové sadě a novému souboru fields.json. Tato trénovací datová sada se odešle pro trénování modelu.

Trénování vašeho modelu

S označenou datovou sadou teď můžete model vytrénovat. V pravém horním rohu vyberte tlačítko vlaku.

  1. V dialogovém okně trénování modelu zadejte jedinečné ID modelu a volitelně i popis. ID modelu přijímá datový typ řetězce.

  2. V režimu sestavení vyberte typ modelu, který chcete trénovat. Přečtěte si další informace o typech a možnostech modelu.

    Snímek obrazovky s dialogovým oknem Trénování modelu

  3. Výběrem možnosti Trénování zahájíte proces trénování.

  4. Modely šablon se vytrénuje během několika minut. Trénování neurálních modelů může trvat až 30 minut.

  5. Přejděte do nabídky Modely a zobrazte stav operace trénování.

Test modelu

Po dokončení trénování modelu můžete model otestovat výběrem modelu na stránce seznamu modelů.

  1. Vyberte model a vyberte na tlačítku Test .

  2. + Add Výběrem tlačítka vyberte soubor k otestování modelu.

  3. Pokud je vybraný soubor, zvolte tlačítko Analyzovat a otestujte model.

  4. Výsledky modelu se zobrazí v hlavním okně a pole extrahovaná jsou uvedena na pravém navigačním panelu.

  5. Ověřte model vyhodnocením výsledků pro každé pole.

  6. Na pravém navigačním panelu je také vzorový kód pro vyvolání modelu a výsledků JSON z rozhraní API.

Blahopřejeme, že jste se naučili trénovat vlastní model v nástroji Document Intelligence Studio! Váš model je připravený k použití s rozhraním REST API nebo sadou SDK k analýze dokumentů.

Platí pro:Značka zaškrtnutí funkce Document Intelligence v2.1v2.1. Jiné verze:v3.0

Když použijete vlastní model Document Intelligence, poskytnete vlastní trénovací data pro operaci Trénování vlastního modelu , aby model mohl trénovat na vaše oborové formuláře. Podle tohoto průvodce se dozvíte, jak efektivně shromažďovat a připravovat data pro efektivní trénování modelu.

Potřebujete alespoň pět dokončených formulářů stejného typu.

Pokud chcete použít ručně označená trénovací data, musíte začít alespoň s pěti dokončenými formuláři stejného typu. Kromě požadované datové sady můžete i nadále používat neoznačené formuláře.

Požadavky na vstup vlastního modelu

Nejprve se ujistěte, že vaše trénovací datová sada splňuje vstupní požadavky pro funkci Document Intelligence.

  • Nejlepšíchvýsledkůch

  • Podporované formáty souborů:

    Model PDF Obrázek:
    JPEG/JPG, PNG, BMP, TIFF, HEIF    		 systém Microsoft Office:
    Word (DOCX), Excel (XLSX), PowerPoint (PPTX) a HTML
    Čteno ✔ ✔ ✔
    Rozložení ✔ ✔ ✔ (2024-02-29-preview, 2023-10-31-preview)
    Obecný dokument ✔ ✔
    Předpřipravený ✔ ✔
    Vlastní extrakce ✔ ✔
    Vlastní klasifikace ✔ ✔ ✔ (29. 2024. 2024)

  • U SOUBORŮ PDF a TIFF je možné zpracovat až 2000 stránek (s předplatným úrovně Free se zpracovávají pouze první dvě stránky).

  • Velikost souboru pro analýzu dokumentů je 500 MB pro placenou úroveň (S0) a 4 MB pro bezplatnou úroveň (F0).

  • Rozměry obrázku musí být mezi 50 x 50 pixelů a 10 000 px x 10 000 pixelů.

  • Pokud jsou soubory PDF uzamčené heslem, musíte před odesláním toto uzamčení odebrat.

  • Minimální výška extrahovaného textu je 12 pixelů pro obrázek o velikosti 1024 x 768 pixelů. Tato dimenze odpovídá 8150 bodům na palec (DPI).

  • Pro trénování vlastního modelu je maximální počet stránek pro trénovací data 500 pro vlastní model šablony a 50 000 pro vlastní neurální model.

    • Pro trénování vlastního modelu extrakce je celková velikost trénovacích dat 50 MB pro model šablony a 1G MB pro neurální model.

    • Pro trénování modelu vlastní klasifikace je 1GB celková velikost trénovacích dat s maximálně 10 000 stránkami.

Tipy pro trénování dat

Pomocí těchto tipů můžete dále optimalizovat sadu dat pro účely trénování.

  • Místo obrázků používejte textové dokumenty PDF. Naskenované dokumenty PDF se zpracovávají jako obrázky.
  • Použijte příklady, které mají všechna pole vyplněná pro dokončené formuláře.
  • Používejte formuláře s různými hodnotami v každém poli.
  • Pro dokončené formuláře použijte větší datovou sadu (10 až 15 obrázků).

Nahrání trénovacích dat

Jakmile shromáždíte sadu dokumentů pro trénování, musíte ji nahrát do kontejneru úložiště objektů blob v Azure. Pokud nevíte, jak vytvořit účet úložiště Azure s kontejnerem, postupujte podle rychlého startu azure Storage pro Azure Portal. Použijte úroveň výkonu Standard.

Pokud chcete použít ručně označená data, nahrajte .labels.json a .ocr.json soubory, které odpovídají vašim trénovacím dokumentům. K vygenerování těchto souborů můžete použít nástroj Sample Labeling (nebo vlastní uživatelské rozhraní).

Uspořádání dat v podsložkách (volitelné)

Ve výchozím nastavení rozhraní API pro trénování vlastního modelu používá jenom dokumenty umístěné v kořenovém adresáři kontejneru úložiště. Pokud je ale zadáte ve volání rozhraní API, můžete je trénovat s daty v podsložkách. Za normálních okolností má tělo volání vlastního modelu trénování následující formát, kde <SAS URL> je adresa URL sdíleného přístupového podpisu kontejneru:

{
  "source":"<SAS URL>"
}

Pokud do textu požadavku přidáte následující obsah, rozhraní API se trénuje s dokumenty umístěnými v podsložkách. Pole "prefix" je volitelné a omezuje trénovací sadu dat na soubory, jejichž cesty začínají daným řetězcem. Hodnota "Test"například způsobí, že se rozhraní API podívá jenom na soubory nebo složky, které začínají slovem Test.

{
  "source": "<SAS URL>",
  "sourceFilter": {
    "prefix": "<prefix string>",
    "includeSubFolders": true
  },
  "useLabelFile": false
}

Další kroky

Teď, když jste se dozvěděli, jak vytvořit trénovací sadu dat, postupujte podle rychlého startu a vytrénujte vlastní model document intelligence a začněte ho používat ve formulářích.

Viz také