Model rozložení Document Intelligence

Důležité

• Verze Document Intelligence ve verzi Public Preview poskytují dřívější přístup k funkcím, které jsou aktivní ve vývoji.
• Funkce, přístupy a procesy se můžou před obecnou dostupností (GA) změnit na základě zpětné vazby uživatelů.
• Verze Public Preview klientských knihoven Document Intelligence ve výchozím nastavení je rest API verze 2024-02-29-preview.
• Verze Public Preview 2024-02-29-preview je aktuálně dostupná jenom v následujících oblastech Azure:
• USA – východ
• USA – západ 2
• Západní Evropa

Tento obsah se vztahuje na:v4.0 (Preview) | Předchozí verze:v3.1 (GA)v3.0 (GA)v2.1 (GA)

Model rozložení Document Intelligence je pokročilé rozhraní API pro analýzu dokumentů založené na strojovém učení dostupné v cloudu Document Intelligence. Umožňuje přijímat dokumenty v různých formátech a vracet strukturované datové reprezentace dokumentů. Kombinuje vylepšenou verzi našich výkonných funkcí optického rozpoznávání znaků (OCR) s modely hloubkového učení k extrakci textu, tabulek, výběrových značek a struktury dokumentu.

Analýza rozložení dokumentu

Analýza rozložení struktury dokumentů je proces analýzy dokumentu za účelem extrakce oblastí zájmu a jejich vzájemných vztahů. Cílem je extrahovat text a strukturální prvky ze stránky, aby se vytvořily lepší sémantické modely porozumění. Rozložení dokumentu má dva typy rolí:

• Geometrické role: Příklady geometrických rolí jsou text, tabulky, obrázky a značky výběru.
• Logické role: Názvy, nadpisy a zápatí jsou příklady logických rolí textu.

Následující obrázek znázorňuje typické součásti na obrázku ukázkové stránky.

Možnosti vývoje

Document Intelligence v4.0 (2024-02-02-29-preview, 2023-10-31-preview) podporuje následující nástroje, aplikace a knihovny:

Funkce	Zdroje informací	ID modelu
Model rozložení	• Document Intelligence Studio • REST API • C# SDK • Python SDK• Java SDK • JavaScript SDK• JavaScript SDK	předem připravené rozložení

Požadavky na vstup

• Nejlepšíchvýsledkůch

• Podporované formáty souborů:

  Model	PDF	Obrázek: JPEG/JPG, PNG, BMP, TIFF, HEIF	systém Microsoft Office: Word (DOCX), Excel (XLSX), PowerPoint (PPTX) a HTML
  Čteno	✔	✔	✔
  Rozložení	✔	✔	✔ (2024-02-29-preview, 2023-10-31-preview)
  Obecný dokument	✔	✔
  Předpřipravený	✔	✔
  Vlastní extrakce	✔	✔
  Vlastní klasifikace	✔	✔	✔ (29. 2024. 2024)

• U SOUBORŮ PDF a TIFF je možné zpracovat až 2000 stránek (s předplatným úrovně Free se zpracovávají pouze první dvě stránky).

• Velikost souboru pro analýzu dokumentů je 500 MB pro placenou úroveň (S0) a 4 MB pro bezplatnou úroveň (F0).

• Rozměry obrázku musí být mezi 50 x 50 pixelů a 10 000 px x 10 000 pixelů.

• Pokud jsou soubory PDF uzamčené heslem, musíte před odesláním toto uzamčení odebrat.

• Minimální výška extrahovaného textu je 12 pixelů pro obrázek o velikosti 1024 x 768 pixelů. Tato dimenze odpovídá 8150 bodům na palec (DPI).

• Pro trénování vlastního modelu je maximální počet stránek pro trénovací data 500 pro vlastní model šablony a 50 000 pro vlastní neurální model.

  • Pro trénování vlastního modelu extrakce je celková velikost trénovacích dat 50 MB pro model šablony a 1G MB pro neurální model.

  • Pro trénování modelu vlastní klasifikace je 1GB celková velikost trénovacích dat s maximálně 10 000 stránkami.

Začínáme s modelem rozložení

Podívejte se, jak se data, včetně textu, tabulek, záhlaví tabulky, značek výběru a informací o struktuře extrahují z dokumentů pomocí funkce Document Intelligence. Potřebujete následující zdroje informací:

• Předplatné Azure – můžete si ho zdarma vytvořit.

• Instance Document Intelligence na webu Azure Portal K vyzkoušení služby můžete použít cenovou úroveň Free (F0). Po nasazení prostředku vyberte Přejít k prostředku a získejte klíč a koncový bod.

Poznámka:

Document Intelligence Studio je k dispozici s rozhraními API verze 3.0 a novějšími verzemi.

Ukázkový dokument zpracovaný pomocí nástroje Document Intelligence Studio

1. Na domovské stránce nástroje Document Intelligence Studio vyberte Rozložení.

2. Můžete analyzovat ukázkový dokument nebo nahrát vlastní soubory.

3. Vyberte tlačítko Spustit analýzu a v případě potřeby nakonfigurujte možnosti Analyzovat:

   

   Vyzkoušejte Nástroj Document Intelligence Studio.

Podporované jazyky a národní prostředí

Úplný seznam podporovaných jazyků najdete na stránce s modely analýzy dokumentů.

Extrakce dat

Model rozložení extrahuje text, značky výběru, tabulky, odstavce a typy odstavců (roles) z dokumentů.

Poznámka:

Verze 2024-02-29-previewa 2023-10-31-previewnovější podporují soubory Microsoft Office (DOCX, XLSX, PPTX) a HTML. Následující funkce nejsou podporovány:

• Každý objekt stránky neobsahuje žádný úhel, šířku/výšku a jednotku.
• Pro každý zjištěný objekt neexistuje žádná ohraničení mnohoúhelníku ani ohraničující oblasti.
• Rozsah stránek (pages) není podporován jako parametr.
• Žádný lines objekt.

Stránky

Kolekce stránek je seznam stránek v dokumentu. Každá stránka je v dokumentu reprezentována postupně a zahrnuje úhel orientace označující, jestli je stránka otočena, a šířku a výšku (rozměry v pixelech). Jednotky stránky ve výstupu modelu se počítají, jak je znázorněno níže:

Formát souboru	Vypočítaná jednotka stránky	Celkový počet stránek
Obrázky (JPEG/JPG, PNG, BMP, HEIF)	Každý obrázek = 1 jednotka stránky	Celkový počet obrázků
PDF	Každá stránka v PDF = 1 jednotka stránky	Total pages in the PDF
TIFF	Každý obrázek v jednotce TIFF = 1 stránka	Celkový počet obrázků ve formátu TIFF
Word (DOCX)	Až 3 000 znaků = 1 jednotka stránky, vložené nebo propojené obrázky nejsou podporovány.	Celkový počet stránek až 3 000 znaků
Excel (XLSX)	Každý list = 1 jednotka stránky, vložené nebo propojené obrázky nejsou podporovány.	Celkový počet listů
PowerPoint (PPTX)	Každý snímek = 1 jednotka stránky, vložené nebo propojené obrázky se nepodporují.	Celkový počet snímků
HTML	Až 3 000 znaků = 1 jednotka stránky, vložené nebo propojené obrázky nejsou podporovány.	Celkový počet stránek až 3 000 znaků

"pages": [
    {
        "pageNumber": 1,
        "angle": 0,
        "width": 915,
        "height": 1190,
        "unit": "pixel",
        "words": [],
        "lines": [],
        "spans": []
    }
]

Extrahování vybraných stránek z dokumentů

U velkých vícestrákových dokumentů použijte pages parametr dotazu k označení konkrétních čísel stránek nebo rozsahů stránek pro extrakci textu.

Odstavce

Model rozložení extrahuje všechny identifikované bloky textu v paragraphs kolekci jako objekt nejvyšší úrovně v části analyzeResults. Každá položka v této kolekci představuje blok textu a zahrnuje extrahovaný text jakocontenta ohraničující polygon souřadnice. Informace span ukazují na fragment textu v rámci vlastnosti nejvyšší úrovně content , která obsahuje celý text z dokumentu.

"paragraphs": [
    {
        "spans": [],
        "boundingRegions": [],
        "content": "While healthcare is still in the early stages of its Al journey, we are seeing pharmaceutical and other life sciences organizations making major investments in Al and related technologies.\" TOM LAWRY | National Director for Al, Health and Life Sciences | Microsoft"
    }
]

Role odstavce

Nová detekce objektů stránky založená na strojovém učení extrahuje logické role, jako jsou názvy, nadpisy oddílů, záhlaví stránek, zápatí stránek a další. Model rozložení funkce Document Intelligence přiřazuje určité textové bloky v paragraphs kolekci se speciální rolí nebo typem předpověděným modelem. Nejlépe se používají s nestrukturovanými dokumenty, které vám pomůžou pochopit rozložení extrahovaného obsahu pro bohatší sémantickou analýzu. Podporují se následující role odstavců:

Předpovězená role	Popis	Podporované typy souborů
title	Hlavní nadpisy na stránce	pdf, image, docx, pptx, xlsx, html
sectionHeading	Jedna nebo více podnadpisů na stránce	pdf, image, docx, xlsx, html
footnote	Text v dolní části stránky	pdf, obrázek
pageHeader	Text poblíž horního okraje stránky	pdf, obrázek, docx
pageFooter	Text poblíž dolního okraje stránky	pdf, image, docx, pptx, html
pageNumber	Číslo stránky	pdf, obrázek

{
    "paragraphs": [
                {
                    "spans": [],
                    "boundingRegions": [],
                    "role": "title",
                    "content": "NEWS TODAY"
                },
                {
                    "spans": [],
                    "boundingRegions": [],
                    "role": "sectionHeading",
                    "content": "Mirjam Nilsson"
                }
    ]
}

Text, řádky a slova

Model rozložení dokumentu v nástroji Document Intelligence extrahuje text tištěného a rukou psaného stylu jako lines a words. Kolekce styles obsahuje všechny ručně psané styly čar, pokud jsou zjištěny spolu s rozsahy odkazujícími na přidružený text. Tato funkce se vztahuje na podporované ručně psané jazyky.

Pro Microsoft Word, Excel, PowerPoint a HTML verze Document Intelligence verze 2024-02-29-preview a 2023-10-31-preview layout model extrahuje veškerý vložený text tak, jak je. Texty se extrahují jako slova a odstavce. Vložené obrázky nejsou podporované.

"words": [
    {
        "content": "While",
        "polygon": [],
        "confidence": 0.997,
        "span": {}
    },
],
"lines": [
    {
        "content": "While healthcare is still in the early stages of its Al journey, we",
        "polygon": [],
        "spans": [],
    }
]

Ručně psaný styl pro řádky textu

Odpověď zahrnuje klasifikaci, jestli je každý řádek textu ve stylu rukopisu nebo ne, spolu se skóre spolehlivosti. Další informace. Viz podpora ručně psaného jazyka. Následující příklad ukazuje příklad fragmentu kódu JSON.

"styles": [
{
    "confidence": 0.95,
    "spans": [
    {
        "offset": 509,
        "length": 24
    }
    "isHandwritten": true
    ]
}

Pokud povolíte funkci doplňku font/style, získáte také výsledek písma a stylu jako součást objektustyles.

Značky výběru

Model rozložení také extrahuje značky výběru z dokumentů. Extrahované značky výběru se zobrazí v kolekci pages pro každou stránku. Zahrnují ohraničující polygon, confidencea výběr state (selected/unselected). Textová reprezentace (tj :selected: . a :unselected) je také zahrnuta jako počáteční index (offset) a length odkazuje na vlastnost nejvyšší úrovně content , která obsahuje celý text z dokumentu.

{
    "selectionMarks": [
        {
            "state": "unselected",
            "polygon": [],
            "confidence": 0.995,
            "span": {
                "offset": 1421,
                "length": 12
            }
        }
    ]
}

Tabulky

Extrakce tabulek je klíčovým požadavkem pro zpracování dokumentů obsahujících velké objemy dat, které jsou obvykle formátované jako tabulky. Model rozložení extrahuje tabulky v pageResults části výstupu JSON. Extrahované informace o tabulce zahrnují počet sloupců a řádků, rozsah řádků a rozsah sloupců. Každá buňka s ohraničující mnohoúhelníkem je výstupem spolu s informacemi, jestli je oblast rozpoznána jako columnHeader nebo ne. Model podporuje extrakci tabulek, které jsou otočené. Každá buňka tabulky obsahuje index řádků a sloupců a ohraničující souřadnice mnohoúhelníku. Pro text buňky model vypíše span informace obsahující počáteční index (offset). Model také vypíše length obsah nejvyšší úrovně, který obsahuje celý text z dokumentu.

Poznámka:

Tabulka není podporována, pokud je vstupní soubor XLSX.

{
    "tables": [
        {
            "rowCount": 9,
            "columnCount": 4,
            "cells": [
                {
                    "kind": "columnHeader",
                    "rowIndex": 0,
                    "columnIndex": 0,
                    "columnSpan": 4,
                    "content": "(In millions, except earnings per share)",
                    "boundingRegions": [],
                    "spans": []
                    },
            ]
        }
    ]
}

Výstup do formátu markdownu

Rozhraní API rozložení může vyextrahovaný text ve formátu Markdownu vyextrahovat. outputContentFormat=markdown Použijte k určení výstupního formátu v markdownu. Obsah Markdownu je výstupem v rámci oddílu content .

"analyzeResult": {
"apiVersion": "2024-02-29-preview",
"modelId": "prebuilt-layout",
"contentFormat": "markdown",
"content": "# CONTOSO LTD...",
}

Čísla

Obrázky (grafy, obrázky) v dokumentech hrají zásadní roli při doplňování a vylepšování textového obsahu a poskytují vizuální reprezentace, které pomáhají porozumět složitým informacím. Objekt obrázků zjištěný modelem rozložení má klíčové vlastnosti, jako boundingRegions jsou (prostorová umístění obrázku na stránkách dokumentu, včetně čísla stránky a mnohoúhelníku, které znázorňují hranici obrázku), spans (podrobnosti o rozsahu textu souvisejícího s obrázkem, určení jejich posunů a délek v textu dokumentu. Toto připojení pomáhá při přidružování obrázku k příslušnému textovému kontextu) elements (identifikátory textových prvků nebo odstavců v dokumentu, které souvisejí s obrázkem nebo popisují) a caption pokud nějaké existují.

{
    "figures": [
      {
        "boundingRegions": [],
        "spans": [],
        "elements": [
          "/paragraphs/15",
          ...
        ],
        "caption": {
          "content": "Here is a figure with some text",
          "boundingRegions": [],
          "spans": [],
          "elements": [
            "/paragraphs/15"
          ]
        }
      }
    ]
}

Oddíly

Hierarchická analýza struktury dokumentů je klíčová při uspořádání, pochopení a zpracování rozsáhlých dokumentů. Tento přístup je nezbytný pro séanticky segmentace dlouhých dokumentů, aby se zvýšila porozumění, usnadnila navigace a zlepšila načítání informací. Nástup načítání rozšířené generace (RAG) v dokumentu generující AI podtržítka význam hierarchické analýzy struktury dokumentů. Model rozložení podporuje oddíly a pododdíly ve výstupu, které identifikují vztah oddílů a objektů v jednotlivých oddílech. Hierarchická struktura se udržuje v elements každé části. Pomocí výstupu můžete formát markdownu snadno získat oddíly a pododdíly v markdownu.

{
    "sections": [
      {
        "spans": [],
        "elements": [
          "/paragraphs/0",
          "/sections/1",
          "/sections/2",
          "/sections/5"
        ]
      },
...
}

Další kroky

• Naučte se zpracovávat vlastní formuláře a dokumenty pomocí nástroje Document Intelligence Studio.

• Dokončete rychlý start s funkcí Document Intelligence a začněte vytvářet aplikaci pro zpracování dokumentů ve zvoleném vývojovém jazyce.