Co je model rozložení Document Intelligence?

Tento obsah platí pro:🟩v4.0 (GA) | Předchozí verze:🟦v3.1 (GA)🟥v3.0 (vyřazení)🟥v2.1 (vyřazení)

Model rozložení Azure Document Intelligence in Foundry Tools je pokročilé rozhraní API pro analýzu dokumentů založené na strojovém učení. Model je k dispozici v cloudu Document Intelligence. Můžete ho použít k pořizování dokumentů v různých formátech a vracení strukturovaných datových reprezentací dokumentů. Model kombinuje vylepšenou verzi výkonných funkcí optického rozpoznávání znaků (OCR) s modely hloubkového učení k extrakci textu, tabulek, značek výběru a struktury dokumentu.

Analýza rozložení struktury dokumentu

Analýza rozložení struktury dokumentů je proces analýzy dokumentu pro extrakci oblastí zájmu a jejich vzájemných vztahů. Cílem je extrahovat text a strukturální prvky ze stránky, aby se vytvořily lepší sémantické modely porozumění. Rozložení dokumentu má dva typy rolí:

• Geometrické role: Příklady geometrických rolí jsou text, tabulky, obrázky a značky výběru.
• Logické role: Názvy, nadpisy a zápatí jsou příklady logických rolí textu.

Následující obrázek znázorňuje typické součásti na obrázku ukázkové stránky.

Možnosti vývoje

Document Intelligence v4.0: 2024-11-30 (GA) podporuje následující nástroje, aplikace a knihovny.

Funkce	Zdroje	ID modelu
Model rozložení	• Document Intelligence Studio • REST API • C# SDK • Python SDK • Java SDK•	prebuilt-layout

Podporované jazyky

Úplný seznam podporovaných jazyků najdete v tématu Podpora jazyků: Modely analýzy dokumentů.

Podporované typy souborů

Model rozložení Document Intelligence v4.0: 2024-11-30 (GA) podporuje následující formáty souborů:

Model	soubor PDF	Obrázek: JPEG/JPG, PNG, BMP, TIFF, HEIF	Office: Word (DOCX), Excel (XLS), PowerPoint (PPTX), HTML
Rozložení	✔	✔	✔

Požadavky na vstup

• Fotky a skenování: Nejlepších výsledků dosáhnete tak, že poskytnete jednu jasnou fotku nebo vysoce kvalitní skenování na dokument.
• SOUBORY PDF a TIFF: U souborů PDF a TIFF je možné zpracovat až 2 000 stránek. (S předplatným úrovně Free se zpracovávají pouze první dvě stránky.)
• Zámky hesel: Pokud jsou soubory PDF uzamčené heslem, musíte zámek před odesláním odebrat.
• Velikost souboru: Velikost souboru pro analýzu dokumentů je 500 MB pro placenou úroveň (S0) a 4 MB pro bezplatnou úroveň (F0).
• Rozměry obrázku: Rozměry obrázku musí být mezi 50 pixely x 50 pixelů a 10 000 pixelů x 10 000 pixelů.
• Výška textu: Minimální výška extrahovaného textu je 12 pixelů pro obrázek 1024 x 768 pixelů. Tento rozměr odpovídá přibližně 8bodovému textu při 150 bodech na palec.
• Trénování vlastního modelu: Maximální počet stránek pro trénovací data je 500 pro vlastní model šablony a 50 000 pro vlastní neurální model.
• Trénování modelu vlastní extrakce: Celková velikost trénovacích dat je 50 MB pro model šablony a 1 GB pro neurální model.
• Trénování modelu vlastní klasifikace: Celková velikost trénovacích dat je 1 GB s maximálně 10 000 stránkami. V případě 2024-11-30 (GA) je celková velikost trénovacích dat 2 GB s maximálně 10 000 stránkami.
• Typy souborů Office (DOCX, XLSX, PPTX):: Maximální limit délky řetězce je 8 milionů znaků.

Další informace o využití, kvótách a omezeních služeb modelu najdete v tématu Omezení služby.

Začínáme s modelem rozložení

Podívejte se, jak se data, včetně textu, tabulek, záhlaví tabulky, značek výběru a informací o struktuře, extrahují z dokumentů pomocí funkce Document Intelligence. Potřebujete následující zdroje informací:

• Předplatné Azure. Můžete si ho zdarma vytvořit.

• Instance Document Intelligence na portálu Azure. Službu můžete vyzkoušet pomocí cenové úrovně Free (F0). Po nasazení prostředku vyberte Přejít k prostředku a získejte klíč a koncový bod.

  

Po načtení klíče a koncového bodu použijte následující možnosti vývoje k sestavení a nasazení aplikací Document Intelligence.

REST API

• Rozhraní REST API pro analýzu dokumentů
• Začínáme: Document Intelligence Studio

Klientské knihovny

• C# SDK
• Python SDK
• Java SDK
• Javascript

Document Intelligence Studio

• Document Intelligence Studio
• Začínáme: Document Intelligence Studio

Extrakce dat

Model rozložení extrahuje strukturální prvky z dokumentů. Ve zbývající části tohoto článku jsou popsány následující strukturální prvky spolu s pokyny, jak je extrahovat ze vstupu dokumentu:

• Stránky
• Odstavce
• Text, řádky a slova
• Značky výběru
• Tabulky
• Odpověď na výstup do Markdownu
• Čísla
• Oddíly

Spusťte ukázkovou analýzu dokumentu rozložení v nástroji Document Intelligence Studio. Pak přejděte na kartu výsledků a přejděte k úplnému výstupu JSON.

Stránky

Kolekce pages je seznam stránek v dokumentu. Každá stránka je reprezentována postupně v dokumentu a zahrnuje úhel orientace, který označuje, jestli je stránka otočena, a šířku a výšku (rozměry v pixelech). Jednotky stránky ve výstupu modelu se počítají, jak je znázorněno v následující tabulce.

Formát souboru	Vypočítaná jednotka stránky	Celkový počet stránek
Obrázky (JPEG/JPG, PNG, BMP, HEIF)	Každý obrázek = 1 jednotka stránky.	Celkový počet obrázků
soubor PDF	Každá stránka v PDF = 1 jednotka stránky.	Celkový počet stran v PDF
formát TIFF	Každý obrázek v jednotce TIFF = 1 stránka.	Celkový počet obrázků ve formátu TIFF
Word (DOCX)	Až 3 000 znaků = 1 jednotka stránky. Vložené nebo propojené obrázky nejsou podporované.	Celkový počet stránek až 3 000 znaků
Excel (XLSX)	Každý list = 1 jednotka stránky. Vložené nebo propojené obrázky nejsou podporované.	Celkový počet listů
PowerPoint (PPTX)	Každý snímek = 1 jednotka stránky. Vložené nebo propojené obrázky nejsou podporované.	Celkový počet snímků
jazyk HTML	Až 3 000 znaků = 1 jednotka stránky. Vložené nebo propojené obrázky nejsou podporované.	Celkový počet stránek až 3 000 znaků

Ukázkový kód

# Analyze pages.
for page in result.pages:
print(f"----Analyzing layout from page #{page.page_number}----")
print(f"Page has width: {page.width} and height: {page.height}, measured with unit: {page.unit}")

Zobrazit ukázky na GitHubu.

Výstup

"pages": [
    {
        "pageNumber": 1,
        "angle": 0,
        "width": 915,
        "height": 1190,
        "unit": "pixel",
        "words": [],
        "lines": [],
        "spans": []
    }
]

Extrahování vybraných stránek

U velkých vícestránkových dokumentů použijte pages parametr dotazu k označení konkrétních čísel stránek nebo rozsahů stránek pro extrakci textu.

Odstavce

Model rozložení extrahuje všechny identifikované bloky textu v paragraphs kolekci jako objekt nejvyšší úrovně v části analyzeResults. Každá položka v této kolekci představuje blok textu a zahrnuje extrahovaný text jako content a ohraničující polygon souřadnice. Informace spans ukazují na fragment textu v rámci vlastnosti nejvyšší úrovně content , která obsahuje celý text z dokumentu.

"paragraphs": [
    {
        "spans": [],
        "boundingRegions": [],
        "content": "While healthcare is still in the early stages of its Al journey, we are seeing pharmaceutical and other life sciences organizations making major investments in Al and related technologies.\" TOM LAWRY | National Director for Al, Health and Life Sciences | Microsoft"
    }
]

Role odstavců

Nová detekce objektů stránky na základě strojového učení extrahuje logické role, jako jsou názvy, nadpisy oddílů, záhlaví stránek, zápatí stránek a další. Model rozložení Document Intelligence přiřazuje určité textové bloky v paragraphs kolekci se speciální rolí nebo typem předpověděným modelem.

Nejlepší je použít role odstavců s nestrukturovanými dokumenty, které vám pomůžou pochopit rozložení extrahovaného obsahu pro bohatší sémantickou analýzu. Podporují se následující role odstavců.

Předpovězená role	Popis	Podporované typy souborů
title	Hlavní nadpisy na stránce	PDF, Obrázek, DOCX, PPTX, XLSX, HTML
sectionHeading	Jedna nebo více podnadpisů na stránce	PDF, Obrázek, DOCX, XLSX, HTML
footnote	Text v dolní části stránky	PDF, obrázek
pageHeader	Text poblíž horního okraje stránky	PDF, Obrázek, DOCX
pageFooter	Text poblíž dolního okraje stránky	PDF, Obrázek, DOCX, PPTX, HTML
pageNumber	Číslo stránky	PDF, obrázek

{
    "paragraphs": [
                {
                    "spans": [],
                    "boundingRegions": [],
                    "role": "title",
                    "content": "NEWS TODAY"
                },
                {
                    "spans": [],
                    "boundingRegions": [],
                    "role": "sectionHeading",
                    "content": "Mirjam Nilsson"
                }
    ]
}

Text, řádky a slova

Model rozložení dokumentu v nástroji Document Intelligence extrahuje tisk a rukou psaný text jako lines a words. Kolekce styles obsahuje všechny ručně psané styly čar, pokud jsou zjištěny, spolu s rozsahy, které odkazují na přidružený text. Tato funkce se vztahuje na podporované ručně psané jazyky.

Pro Microsoft Word, Excel, PowerPoint a HTML, model rozložení Document Intelligence v4.0 2024-11-30 (GA) extrahuje veškerý vložený text tak, jak je. Texty se extrahují jako slova a odstavce. Vložené obrázky nejsou podporované.

Ukázkový kód

# Analyze lines.
if page.lines:
    for line_idx, line in enumerate(page.lines):
    words = get_words(page, line)
    print(
        f"...Line # {line_idx} has word count {len(words)} and text '{line.content}' "
        f"within bounding polygon '{line.polygon}'"
    )

    # Analyze words.
    for word in words:
        print(f"......Word '{word.content}' has a confidence of {word.confidence}")

Zobrazit ukázky na GitHubu.

Výstup

"words": [
    {
        "content": "While",
        "polygon": [],
        "confidence": 0.997,
        "span": {}
    },
],
"lines": [
    {
        "content": "While healthcare is still in the early stages of its Al journey, we",
        "polygon": [],
        "spans": [],
    }
]

Ručně psaný styl pro řádky textu

Odpověď zahrnuje, jestli je každý řádek textu v rukou psaném stylu nebo ne, spolu s skóre spolehlivosti. Další informace najdete v tématu Podpora ručně psaného jazyka. Následující příklad ukazuje příklad fragmentu kódu JSON.

"styles": [
{
    "confidence": 0.95,
    "spans": [
    {
        "offset": 509,
        "length": 24
    }
    "isHandwritten": true
    ]
}

Pokud povolíte funkci doplňku font/style, získáte také výsledek písma a stylu jako součást objektu styles .

Značky výběru

Model rozložení také extrahuje značky výběru z dokumentů. Extrahované značky výběru se zobrazí v kolekci pages pro každou stránku. Zahrnují ohraničující polygon, confidencea výběr state (selected/unselected). Textová reprezentace (tj :selected: . a :unselected) je také zahrnuta jako počáteční index (offset) a length odkazuje na vlastnost nejvyšší úrovně content , která obsahuje celý text z dokumentu.

Ukázkový kód

# Analyze selection marks.
if page.selection_marks:
    for selection_mark in page.selection_marks:
        print(
            f"Selection mark is '{selection_mark.state}' within bounding polygon "
            f"'{selection_mark.polygon}' and has a confidence of {selection_mark.confidence}"
        )

Zobrazit ukázky na GitHubu.

Výstup

{
    "selectionMarks": [
        {
            "state": "unselected",
            "polygon": [],
            "confidence": 0.995,
            "span": {
                "offset": 1421,
                "length": 12
            }
        }
    ]
}

Tabulky

Extrakce tabulek je klíčovým požadavkem pro zpracování dokumentů, které obsahují velké objemy dat, které jsou obvykle formátované jako tabulky. Model rozložení extrahuje tabulky v pageResults části výstupu JSON. Extrahované informace o tabulce zahrnují počet sloupců a řádků, rozsah řádků a rozsah sloupců.

Každá buňka s ohraničujícím mnohoúhelníkem je výstupem společně s informací, jestli je oblast rozpoznána jako columnHeader nebo ne. Model podporuje extrakci tabulek, které jsou otočené. Každá buňka tabulky obsahuje index řádků a sloupců a ohraničující souřadnice mnohoúhelníku. Pro text buňky model vypíše span informace, které obsahují počáteční index (offset). Model také vypíše length obsah nejvyšší úrovně, který obsahuje celý text z dokumentu.

Tady je několik faktorů, které je potřeba vzít v úvahu při použití funkce extrakce balíků Document Intelligence:

• Jsou data, která chcete extrahovat jako tabulku, a je struktura tabulky smysluplná?
• Dají se data vejít do dvojrozměrné mřížky, pokud data nejsou ve formátu tabulky?
• Pokrývají vaše tabulky více stránek? Pokud ano, abyste nemuseli všechny stránky označovat, rozdělte soubor PDF na stránky před odesláním do funkce Document Intelligence. Po analýze zpracujte stránky do jedné tabulky.
• Pokud vytváříte vlastní modely, podívejte se na tabulková pole . Dynamické tabulky mají pro každý sloupec proměnlivý počet řádků. Pevné tabulky mají konstantní počet řádků pro každý sloupec.

Poznámka

Analýza tabulky není podporovaná, pokud je vstupní soubor XLSX. K datu 30. 11. 2024 (GA) ohraničující regiony pro obrázky a tabulky pokrývají pouze základní obsah a vylučují přidružené titulky a poznámky pod čarou.

Ukázkový kód

if result.tables:
    for table_idx, table in enumerate(result.tables):
        print(f"Table # {table_idx} has {table.row_count} rows and " f"{table.column_count} columns")
        if table.bounding_regions:
            for region in table.bounding_regions:
                print(f"Table # {table_idx} location on page: {region.page_number} is {region.polygon}")
        # Analyze cells.
        for cell in table.cells:
            print(f"...Cell[{cell.row_index}][{cell.column_index}] has text '{cell.content}'")
            if cell.bounding_regions:
                for region in cell.bounding_regions:
                print(f"...content on page {region.page_number} is within bounding polygon '{region.polygon}'")

Zobrazit ukázky na GitHubu.

Výstup

{
    "tables": [
        {
            "rowCount": 9,
            "columnCount": 4,
            "cells": [
                {
                    "kind": "columnHeader",
                    "rowIndex": 0,
                    "columnIndex": 0,
                    "columnSpan": 4,
                    "content": "(In millions, except earnings per share)",
                    "boundingRegions": [],
                    "spans": []
                    },
            ]
        }
    ]
}

Výstupní odpověď na formát Markdownu

Rozhraní API rozložení může text vyvést ve formátu Markdown. outputContentFormat=markdown Použijte k určení výstupního formátu v Markdownu. Obsah Markdownu je výstupem v rámci oddílu content .

Poznámka

U verze 4.0 2024-11-30 (GA) se reprezentace tabulek změní na tabulky HTML, aby bylo možné vykreslovat položky, jako jsou sloučené buňky a záhlaví s více řádků. Další související změnou je použití znaků ☒ zaškrtávacího políčka Unicode a ☐ pro značky výběru místo :selected: a :unselected:. Tato aktualizace znamená, že obsah výběrových polí obsahuje :selected:, i když jejich rozsahy odkazují na znaky Unicode v rozsahu nejvyšší úrovně. Úplnou definici elementů Markdownu najdete ve výstupním formátu Markdownu.

Ukázkový kód

document_intelligence_client = DocumentIntelligenceClient(endpoint=endpoint, credential=AzureKeyCredential(key))
poller = document_intelligence_client.begin_analyze_document(
    "prebuilt-layout",
    AnalyzeDocumentRequest(url_source=url),
    output_content_format=ContentFormat.MARKDOWN,
)

Zobrazit ukázky na GitHubu.

Výstup

PageHeader="This is the header of the document."

This is title
===
# 1\. Text
Latin refers to an ancient Italic language originating in the region of Latium in ancient Rome.
# 2\. Page Objects
## 2.1 Table
Here's a sample table below, designed to be simple for easy understand and quick reference.
| Name | Corp | Remark |
| - | - | - |
| Foo | | |
| Bar | Microsoft | Dummy |
Table 1: This is a dummy table
## 2.2. Figure
<figure>
<figcaption>

Figure 1: Here is a figure with text
</figcaption>

![](figures/0)
FigureContent="500 450 400 400 350 250 200 200 200- Feb"
</figure>

# 3\. Others
Al Document Intelligence is an Al service that applies advanced machine learning to extract text, key-value pairs, tables, and structures from documents automatically and accurately:
    :selected:
clear
    :selected:
precise
    :unselected:
vague
    :selected:
coherent
    :unselected:
Incomprehensible
Turn documents into usable data and shift your focus to acting on information rather than compiling it. Start with prebuilt models or create custom models tailored to your documents both on premises and in the cloud with the Al Document Intelligence studio or SDK.
Learn how to accelerate your business processes by automating text extraction with Al Document Intelligence. This webinar features hands-on demos for key use cases such as document processing, knowledge mining, and industry-specific Al model customization.
PageFooter="This is the footer of the document."
PageFooter="1 | Page"

Čísla

Obrázky (grafy a obrázky) v dokumentech hrají zásadní roli při doplňování a vylepšování textového obsahu. Poskytují vizuální reprezentace, které pomáhají porozumět složitým informacím. Objekt figures zjištěný modelem rozložení má klíčové vlastnosti, jako jsou:

• boundingRegions: Prostorová umístění obrázku na stránkách dokumentu, včetně čísla stránky a mnohoúhelníku, které znázorňují hranice obrázku.
• spans: Textové úseky související s obrázkem, které určí jejich posuny a délky v textu dokumentu. Toto připojení pomáhá při přidružování obrázku k příslušnému textovému kontextu.
• elements: Identifikátory textových prvků nebo odstavců v dokumentu, které souvisejí nebo popisují obrázek.
• caption: Popis, pokud existuje.

Je-li output=figures zadán během počáteční operace analýzy, služba generuje oříznuté obrázky pro všechny zjištěné objekty, ke kterým lze přistupovat prostřednictvím /analyeResults/{resultId}/figures/{figureId}. Hodnota FigureId je ID zahrnuté v každém objektu obrázku podle nezdokumentované konvence {pageNumber}.{figureIndex}, kde se figureIndex resetuje na každé stránce.

V případě verze 4.0 2024-11-30 (GA) pokrývají ohraničující oblasti pro obrázky a tabulky pouze základní obsah a vyloučí přidružené titulky a poznámky pod čarou.

Ukázkový kód

# Analyze figures.
if result.figures:
    for figures_idx,figures in enumerate(result.figures):
        print(f"Figure # {figures_idx} has the following spans:{figures.spans}")
        for region in figures.bounding_regions:
            print(f"Figure # {figures_idx} location on page:{region.page_number} is within bounding polygon '{region.polygon}'")

Zobrazit ukázky na GitHubu.

Výstup

{
    "figures": [
        {
        "id": "{figureId}",
        "boundingRegions": [],
        "spans": [],
        "elements": [
            "/paragraphs/15",
            ...
        ],
        "caption": {
            "content": "Here is a figure with some text",
            "boundingRegions": [],
            "spans": [],
            "elements": [
            "/paragraphs/15"
            ]
        }
        }
    ]
}

Oddíly

Hierarchická analýza struktury dokumentů je klíčová při uspořádání, pochopení a zpracování rozsáhlých dokumentů. Tento přístup je nezbytný pro sémantické segmentace dlouhých dokumentů, aby se zlepšilo porozumění, a usnadnila navigace a zlepšilo vyhledávání informací. Nástup technologie generace s doplněním načítání (RAG) v AI pro generování dokumentů zdůrazňuje význam hierarchické analýzy struktury dokumentu.

Model rozložení podporuje oddíly a dílčí oddíly ve výstupu, které identifikují vztah oddílů a objektů v jednotlivých oddílech. Hierarchická struktura je udržována v elements pro každou část. Výstupní odpověď na formát Markdownu můžete použít k snadnému získání oddílů a pododdílů v Markdownu.

Ukázkový kód

document_intelligence_client = DocumentIntelligenceClient(endpoint=endpoint, credential=AzureKeyCredential(key))
poller = document_intelligence_client.begin_analyze_document(
    "prebuilt-layout",
    AnalyzeDocumentRequest(url_source=url),
    output_content_format=ContentFormat.MARKDOWN,
)

Zobrazit ukázky na GitHubu.

Výstup

{
    "sections": [
        {
        "spans": [],
        "elements": [
            "/paragraphs/0",
            "/sections/1",
            "/sections/2",
            "/sections/5"
        ]
        },
...
}

Související obsah

• Naučte se zpracovávat vlastní formuláře a dokumenty pomocí nástroje Document Intelligence Studio.
• Dokončete rychlý start s funkcí Document Intelligence a vytvořte aplikaci pro zpracování dokumentů ve zvoleném vývojovém jazyce.

• Defind další ukázky na GitHub.