Layoutmodell för dokumentinformation

Viktigt!

• Versioner av den offentliga förhandsversionen av Document Intelligence ger tidig åtkomst till funktioner som är i aktiv utveckling. Funktioner, metoder och processer kan ändras, före allmän tillgänglighet (GA), baserat på användarfeedback.
• Den offentliga förhandsversionen av Dokumentinformationsklientbiblioteken är som standard REST API version 2024-07-31-preview.
• Den offentliga förhandsversionen 2024-07-31-preview är för närvarande endast tillgänglig i följande Azure-regioner. Observera att modellen för anpassad generativ (extrahering av dokumentfält) i AI Studio endast är tillgänglig i regionen USA, norra centrala:
  • USA, östra
  • USA, västra 2
  • Europa, västra
  • USA, norra centrala

Det här innehållet gäller för: v4.0 (förhandsversion) | Tidigare versioner: v3.1 (GA) v3.0 (GA) v2.1 (GA)

Layoutmodellen för dokumentinformation är ett avancerat maskininlärningsbaserat dokumentanalys-API som är tillgängligt i document intelligence-molnet. Det gör att du kan ta dokument i olika format och returnera strukturerade datarepresentationer av dokumenten. Den kombinerar en förbättrad version av våra kraftfulla OCR-funktioner (Optisk teckenigenkänning) med djupinlärningsmodeller för att extrahera text, tabeller, urvalsmarkeringar och dokumentstruktur.

Analys av dokumentlayout (v4)

Layoutanalys av dokumentstruktur är en process för att analysera ett dokument för att extrahera intressanta regioner och deras relationer. Målet är att extrahera text och strukturella element från sidan för att skapa bättre semantiska förståelsemodeller. Det finns två typer av roller i en dokumentlayout:

• Geometriska roller: Text, tabeller, siffror och urvalsmarkeringar är exempel på geometriska roller.
• Logiska roller: Rubriker, rubriker och sidfötter är exempel på logiska roller i texter.

Följande bild visar de typiska komponenterna i en bild av en exempelsida.

Utvecklingsalternativ (v4)

Document Intelligence v4.0 (2024-07-31-preview) stöder följande verktyg, program och bibliotek:

Funktion	Resurser	Model ID
Layoutmodell	• Document Intelligence Studio • REST API • C# SDK • Python SDK • Java SDK • JavaScript SDK	fördefinierad layout

Indatakrav (v4)

• Filformat som stöds:

  Modell	PDF	Bild: JPEG/JPG, PNG, BMP, , TIFFHEIF	Microsoft Office: Word (DOCX), Excel (XLSX), PowerPoint (PPTX), HTML
  Lästa	✔	✔	✔
  Layout	✔	✔	✔ (2024-07-31-preview, 2024-02-29-preview, 2023-10-31-preview)
  Allmänt dokument	✔	✔
  Inbyggda	✔	✔
  Anpassad extrahering	✔	✔
  Anpassad klassificering	✔	✔	✔ (2024-07-31-preview, 2024-02-29-preview)

• För bästa resultat anger du ett tydligt foto eller en genomsökning av hög kvalitet per dokument.

• För PDF och TIFF kan upp till 2 000 sidor bearbetas (med en prenumeration på den kostnadsfria nivån bearbetas endast de två första sidorna).

• Filstorleken för att analysera dokument är 500 MB för betald (S0) nivå och 4 MB för den kostnadsfria nivån (F0).

• Bilddimensioner måste vara mellan 50 bildpunkter x 50 bildpunkter och 10 000 bildpunkter x 10 000 bildpunkter.

• Om dina PDF-filer är låsta med lösenord måste du ta bort låset innan du skickar filerna.

• Den minsta höjden på texten som ska extraheras är 12 bildpunkter för en bild på 1 024 x 768 bildpunkter. Den här dimensionen motsvarar om 8 punkttext vid 150 punkter per tum (DPI).

• För anpassad modellträning är det maximala antalet sidor för träningsdata 500 för den anpassade mallmodellen och 50 000 för den anpassade neurala modellen.

  • För anpassad extraheringsmodellträning är den totala storleken på träningsdata 50 MB för mallmodellen och 1 GB för den neurala modellen.

  • För anpassad klassificeringsmodellträning är 1 den totala storleken på träningsdata GB med högst 10 000 sidor. För förhandsversionen 2024-07-31 och senare är 2 den totala storleken på träningsdata GB med högst 10 000 sidor.

Kom igång med layoutmodell

Se hur data, inklusive text, tabeller, tabellrubriker, markeringsmarkeringar och strukturinformation extraheras från dokument med hjälp av dokumentinformation. Du behöver följande resurser:

• En Azure-prenumeration – du kan skapa en kostnadsfritt.

• En instans av dokumentinformation i Azure Portal. Du kan använda den kostnadsfria prisnivån (F0) för att prova tjänsten. När resursen har distribuerats väljer du Gå till resurs för att hämta din nyckel och slutpunkt.

  

Kommentar

Document Intelligence Studio är tillgängligt med v3.0 API:er och senare versioner.

Exempeldokument som bearbetas med Document Intelligence Studio

1. På startsidan för Document Intelligence Studio väljer du Layout.

2. Du kan analysera exempeldokumentet eller ladda upp dina egna filer.

3. Välj knappen Kör analys och konfigurera vid behov alternativen Analysera:

   

   Prova Document Intelligence Studio.

Språk och språk som stöds (ocr)

Se sidan Språkstöd – modeller för dokumentanalys för en fullständig lista över språk som stöds.

Extrahering av data (v4)

Layoutmodellen extraherar text, markeringsmarkeringar, tabeller, stycken och stycketyper (roles) från dina dokument.

Kommentar

Versioner 2024-02-29-preview, 2023-10-31-previewoch senare stöder Microsoft Office (DOCX-, XLSX-, PPTX- och HTML-filer). Följande funktioner stöds inte:

• Det finns ingen vinkel, bredd/höjd och enhet för varje sidobjekt.
• För varje objekt som identifieras finns det ingen avgränsande polygon eller avgränsningsregion.
• Sidintervall (pages) stöds inte som en parameter.
• Inget lines objekt.

Sidor

Sidsamlingen är en lista över sidor i dokumentet. Varje sida representeras sekventiellt i dokumentet och .. /innehåller orienteringsvinkeln som anger om sidan roteras och bredden och höjden (dimensioner i bildpunkter). Sidenheterna i modellutdata beräknas enligt följande:

Filformat	Beräknad sidenhet	Totalt antal sidor
Bilder (JPEG/JPG, PNG, BMP, HEIF)	Varje bild = 1 sidenhet	Totalt antal bilder
PDF	Varje sida i PDF = 1 sidenhet	Totalt antal sidor i PDF-filen
TIFF	Varje bild i enheten TIFF = 1 sida	Totalt antal bilder i TIFF
Word (DOCX)	Upp till 3 000 tecken = en sidenhet, inbäddade eller länkade bilder stöds inte	Totalt antal sidor på upp till 3 000 tecken vardera
Excel (XLSX)	Varje kalkylblad = 1 sidenhet, inbäddade eller länkade bilder stöds inte	Totalt antal kalkylblad
PowerPoint (PPTX)	Varje bild = 1 sidenhet, inbäddade eller länkade bilder stöds inte	Totalt antal bilder
HTML	Upp till 3 000 tecken = en sidenhet, inbäddade eller länkade bilder stöds inte	Totalt antal sidor på upp till 3 000 tecken vardera

Exempelkod

# Analyze pages.
for page in result.pages:
print(f"----Analyzing layout from page #{page.page_number}----")
print(f"Page has width: {page.width} and height: {page.height}, measured with unit: {page.unit}")

Visa exempel på GitHub.

Output

"pages": [
    {
        "pageNumber": 1,
        "angle": 0,
        "width": 915,
        "height": 1190,
        "unit": "pixel",
        "words": [],
        "lines": [],
        "spans": []
    }
]

Extrahera markerade sidor från dokument

För stora dokument med flera sidor använder du pages frågeparametern för att ange specifika sidnummer eller sidintervall för textextrahering.

Punkterna

Layoutmodellen extraherar alla identifierade textblock i paragraphs samlingen som ett objekt på översta nivån under analyzeResults. Varje post i den här samlingen representerar ett textblock och .. /innehåller den extraherade texten somcontentoch avgränsningskoordinaterna polygon . Informationen span pekar på textfragmentet i den översta egenskapen content som innehåller den fullständiga texten från dokumentet.

"paragraphs": [
    {
        "spans": [],
        "boundingRegions": [],
        "content": "While healthcare is still in the early stages of its Al journey, we are seeing pharmaceutical and other life sciences organizations making major investments in Al and related technologies.\" TOM LAWRY | National Director for Al, Health and Life Sciences | Microsoft"
    }
]

Styckeroller

Den nya maskininlärningsbaserade identifieringen av sidobjekt extraherar logiska roller som rubriker, avsnittsrubriker, sidhuvuden, sidfötter med mera. Layoutmodellen för dokumentinformation tilldelar vissa textblock i paragraphs samlingen med sin särskilda roll eller typ som förutsägs av modellen. Det är bäst att använda styckeroller med ostrukturerade dokument för att förstå layouten för det extraherade innehållet för en mer omfattande semantisk analys. Följande styckeroller stöds:

Förutsagd roll	Beskrivning	Filtyper som stöds
title	Huvudrubrikerna på sidan	pdf, image, docx, pptx, xlsx, html
sectionHeading	Ett eller flera underrubriker på sidan	pdf, image, docx, xlsx, html
footnote	Text längst ned på sidan	pdf, bild
pageHeader	Text nära sidans övre kant	pdf, image, docx
pageFooter	Text nära sidans nederkant	pdf, image, docx, pptx, html
pageNumber	Sidnummer	pdf, bild

{
    "paragraphs": [
                {
                    "spans": [],
                    "boundingRegions": [],
                    "role": "title",
                    "content": "NEWS TODAY"
                },
                {
                    "spans": [],
                    "boundingRegions": [],
                    "role": "sectionHeading",
                    "content": "Mirjam Nilsson"
                }
    ]
}

Text, rader och ord

Dokumentlayoutmodellen i Dokumentinformation extraherar utskrifts- och handskriven formatmallstext som lines och words. Samlingen styles .. /innehåller alla handskrivna formatmallar för rader om de identifieras tillsammans med intervallen som pekar på den associerade texten. Den här funktionen gäller för handskrivna språk som stöds.

För Microsoft Word, Excel, PowerPoint och HTML extraherar dokumentinformationsversionerna 2024-02-29-preview och 2023-10-31-preview layoutmodellen all inbäddad text som den är. Texter extraheras som ord och stycken. Inbäddade bilder stöds inte.

Exempelkod

# Analyze lines.
if page.lines:
    for line_idx, line in enumerate(page.lines):
    words = get_words(page, line)
    print(
        f"...Line # {line_idx} has word count {len(words)} and text '{line.content}' "
        f"within bounding polygon '{line.polygon}'"
    )

    # Analyze words.
    for word in words:
        print(f"......Word '{word.content}' has a confidence of {word.confidence}")

Visa exempel på GitHub.

Output

"words": [
    {
        "content": "While",
        "polygon": [],
        "confidence": 0.997,
        "span": {}
    },
],
"lines": [
    {
        "content": "While healthcare is still in the early stages of its Al journey, we",
        "polygon": [],
        "spans": [],
    }
]

Handskriven stil för textrader

Svaret .. /inkluderar klassificering av om varje textrad har handskriftsstil eller inte, tillsammans med en konfidenspoäng. Mer information. Se Stöd för handskrivna språk. I följande exempel visas ett exempel på JSON-kodfragment.

"styles": [
{
    "confidence": 0.95,
    "spans": [
    {
        "offset": 509,
        "length": 24
    }
    "isHandwritten": true
    ]
}

Om du aktiverar funktionen för teckensnitt/formattillägg får du även teckensnitts-/formatmallsresultatet styles som en del av objektet.

Markeringsmarkeringar

Layoutmodellen extraherar också markeringsmarkeringar från dokument. Extraherade markeringsmarkeringar visas i pages samlingen för varje sida. De inkluderar avgränsningen polygon, confidenceoch markeringen state (selected/unselected). Textrepresentationen (d.v.s :selected: . och :unselected) ingår också som startindex (offset) och length som refererar till egenskapen på den översta nivån content som innehåller den fullständiga texten från dokumentet.

Exempelkod

# Analyze selection marks.
if page.selection_marks:
    for selection_mark in page.selection_marks:
        print(
            f"Selection mark is '{selection_mark.state}' within bounding polygon "
            f"'{selection_mark.polygon}' and has a confidence of {selection_mark.confidence}"
        )

Visa exempel på GitHub.

Output

{
    "selectionMarks": [
        {
            "state": "unselected",
            "polygon": [],
            "confidence": 0.995,
            "span": {
                "offset": 1421,
                "length": 12
            }
        }
    ]
}

Tabeller

Att extrahera tabeller är ett viktigt krav för att bearbeta dokument som innehåller stora mängder data som vanligtvis formateras som tabeller. Layoutmodellen extraherar tabeller i pageResults avsnittet i JSON-utdata. Extraherad tabellinformation .. /innehåller antalet kolumner och rader, radintervall och kolumnintervall. Varje cell med sin avgränsningspolygon matas ut tillsammans med information om området identifieras som en columnHeader eller inte. Modellen stöder extrahering av tabeller som roteras. Varje tabellcell innehåller rad- och kolumnindex och avgränsningspolygonkoordinater. För celltexten matar modellen ut informationen span som innehåller startindexet (offset). Modellen matar också ut length innehållet på den översta nivån som innehåller den fullständiga texten från dokumentet.

Här följer några faktorer att tänka på när du använder funktionen för extrahering av dokumentinformationsbalar:

• Är de data som du vill extrahera presenterade som en tabell och är tabellstrukturen meningsfull?

• Kan data få plats i ett tvådimensionellt rutnät om data inte är i tabellformat?

• Sträcker sig tabellerna över flera sidor? Om så är fallet, för att undvika att behöva märka alla sidor, delar du upp PDF-filen i sidor innan du skickar den till Dokumentinformation. Efter analysen bearbetar du sidorna till en enda tabell.

• Se Tabellfält om du skapar anpassade modeller. Dynamiska tabeller har ett variabelt antal rader för varje kolumn. Fasta tabeller har ett konstant antal rader för varje kolumn.

Kommentar

• Tabellanalys stöds inte om indatafilen är XLSX.
• Från och med 2024-07-31-preview täcker avgränsningsregionerna för siffror och tabeller endast kärninnehållet och exkluderar tillhörande bildtexter och fotnoter.

Exempelkod

if result.tables:
    for table_idx, table in enumerate(result.tables):
        print(f"Table # {table_idx} has {table.row_count} rows and " f"{table.column_count} columns")
        if table.bounding_regions:
            for region in table.bounding_regions:
                print(f"Table # {table_idx} location on page: {region.page_number} is {region.polygon}")
        # Analyze cells.
        for cell in table.cells:
            print(f"...Cell[{cell.row_index}][{cell.column_index}] has text '{cell.content}'")
            if cell.bounding_regions:
                for region in cell.bounding_regions:
                print(f"...content on page {region.page_number} is within bounding polygon '{region.polygon}'")

Visa exempel på GitHub.

Output

{
    "tables": [
        {
            "rowCount": 9,
            "columnCount": 4,
            "cells": [
                {
                    "kind": "columnHeader",
                    "rowIndex": 0,
                    "columnIndex": 0,
                    "columnSpan": 4,
                    "content": "(In millions, except earnings per share)",
                    "boundingRegions": [],
                    "spans": []
                    },
            ]
        }
    ]
}

Utdata till markdown-format

Layout-API:et kan mata ut den extraherade texten i markdown-format. outputContentFormat=markdown Använd för att ange utdataformatet i markdown. Markdown-innehållet är utdata som en del av avsnittet content .

Kommentar

Från och med 2024-07-31-preview ändras representationen av tabeller till HTML-tabeller för att möjliggöra återgivning av sammanfogade celler, rubriker med flera rader osv. En annan relaterad ändring är att använda unicode-kryssrutor ☒ och ☐ för markeringsmarkeringar i stället för :selected: och :unselected:. Observera att det innebär att innehållet i markeringsmarkeringsfälten innehåller :selected: även om deras intervall refererar till Unicode-tecken i det översta intervallet.

Exempelkod

document_intelligence_client = DocumentIntelligenceClient(endpoint=endpoint, credential=AzureKeyCredential(key))
poller = document_intelligence_client.begin_analyze_document(
    "prebuilt-layout",
    AnalyzeDocumentRequest(url_source=url),
    output_content_format=ContentFormat.MARKDOWN,
)

Visa exempel på GitHub.

Output

PageHeader="This is the header of the document." 

This is title
===
# 1\. Text
Latin refers to an ancient Italic language originating in the region of Latium in ancient Rome.
# 2\. Page Objects
## 2.1 Table
Here's a sample table below, designed to be simple for easy understand and quick reference.
| Name | Corp | Remark |
| - | - | - |
| Foo | | |
| Bar | Microsoft | Dummy |
Table 1: This is a dummy table
## 2.2. Figure
<figure>
<figcaption>

Figure 1: Here is a figure with text
</figcaption>

![](figures/0)
FigureContent="500 450 400 400 350 250 200 200 200- Feb" 
</figure>

# 3\. Others
Al Document Intelligence is an Al service that applies advanced machine learning to extract text, key-value pairs, tables, and structures from documents automatically and accurately:
    :selected:
clear
    :selected:
precise
    :unselected:
vague
    :selected:
coherent
    :unselected:
Incomprehensible
Turn documents into usable data and shift your focus to acting on information rather than compiling it. Start with prebuilt models or create custom models tailored to your documents both on premises and in the cloud with the Al Document Intelligence studio or SDK.
Learn how to accelerate your business processes by automating text extraction with Al Document Intelligence. This webinar features hands-on demos for key use cases such as document processing, knowledge mining, and industry-specific Al model customization.
PageFooter="This is the footer of the document." 
PageFooter="1 | Page" 

Siffror

Siffror (diagram, bilder) i dokument spelar en avgörande roll när det gäller att komplettera och förbättra textinnehållet, vilket ger visuella representationer som underlättar förståelsen av komplex information. Figurobjektet som identifieras av layoutmodellen har nyckelegenskaper som boundingRegions (figurens rumsliga platser på dokumentsidorna, inklusive sidnumret och polygonkoordinaterna som beskriver figurens gräns), spans (beskriver textintervallen som är relaterade till figuren och anger deras förskjutningar och längder i dokumentets text. Den här anslutningen hjälper till att associera figuren med dess relevanta textkontext), elements (identifierarna för textelement eller stycken i dokumentet som är relaterade till eller beskriver figuren) och caption om det finns några.

När output=figures anges under den inledande analysåtgärden genererar tjänsten beskurna bilder för alla identifierade siffror som kan nås via /analyeResults/{resultId}/figures/{figureId}. FigureId ingår i varje figurobjekt, enligt en odokumenterad konvention om {pageNumber}.{figureIndex} var figureIndex återställs till en per sida.

Kommentar

Från och med 2024-07-31-preview täcker avgränsningsregionerna för siffror och tabeller endast kärninnehållet och exkluderar tillhörande bildtexter och fotnoter.

Exempelkod

# Analyze figures.
if result.figures:
    for figures_idx,figures in enumerate(result.figures):
        print(f"Figure # {figures_idx} has the following spans:{figures.spans}")
        for region in figures.bounding_regions:
            print(f"Figure # {figures_idx} location on page:{region.page_number} is within bounding polygon '{region.polygon}'")

Visa exempel på GitHub.

Output

{
    "figures": [
        {
        "id": "{figureId}",
        "boundingRegions": [],
        "spans": [],
        "elements": [
            "/paragraphs/15",
            ...
        ],
        "caption": {
            "content": "Here is a figure with some text",
            "boundingRegions": [],
            "spans": [],
            "elements": [
            "/paragraphs/15"
            ]
        }
        }
    ]
}

Avsnitt

Hierarkisk dokumentstrukturanalys är avgörande för att organisera, förstå och bearbeta omfattande dokument. Den här metoden är viktig för att semantiskt segmentera långa dokument för att öka förståelsen, underlätta navigeringen och förbättra informationshämtningen. Tillkomsten av RAG (Retrieval Augmented Generation) i dokumentgenerativ AI understryker betydelsen av hierarkisk dokumentstrukturanalys. Layoutmodellen stöder avsnitt och underavsnitt i utdata, som identifierar relationen mellan avsnitt och objekt i varje avsnitt. Den hierarkiska strukturen underhålls i elements varje avsnitt. Du kan använda utdata till markdown-format för att enkelt hämta avsnitten och underavsnitten i markdown.

Exempelkod

document_intelligence_client = DocumentIntelligenceClient(endpoint=endpoint, credential=AzureKeyCredential(key))
poller = document_intelligence_client.begin_analyze_document(
    "prebuilt-layout",
    AnalyzeDocumentRequest(url_source=url),
    output_content_format=ContentFormat.MARKDOWN,
)

Visa exempel på GitHub.

Output

{
    "sections": [
        {
        "spans": [],
        "elements": [
            "/paragraphs/0",
            "/sections/1",
            "/sections/2",
            "/sections/5"
        ]
        },
...
}

Layoutmodellen för dokumentinformation är ett avancerat maskininlärningsbaserat dokumentanalys-API som är tillgängligt i document intelligence-molnet. Det gör att du kan ta dokument i olika format och returnera strukturerade datarepresentationer av dokumenten. Den kombinerar en förbättrad version av våra kraftfulla OCR-funktioner (Optisk teckenigenkänning) med djupinlärningsmodeller för att extrahera text, tabeller, urvalsmarkeringar och dokumentstruktur.

Analys av dokumentlayout

Layoutanalys av dokumentstruktur är en process för att analysera ett dokument för att extrahera intressanta regioner och deras relationer. Målet är att extrahera text och strukturella element från sidan för att skapa bättre semantiska förståelsemodeller. Det finns två typer av roller i en dokumentlayout:

• Geometriska roller: Text, tabeller, siffror och urvalsmarkeringar är exempel på geometriska roller.
• Logiska roller: Rubriker, rubriker och sidfötter är exempel på logiska roller i texter.

Följande bild visar de typiska komponenterna i en bild av en exempelsida.

Utvecklingsalternativ

Indatakrav

Kom igång med layoutmodell

Se hur data, inklusive text, tabeller, tabellrubriker, markeringsmarkeringar och strukturinformation extraheras från dokument med hjälp av dokumentinformation. Du behöver följande resurser:

• En Azure-prenumeration – du kan skapa en kostnadsfritt.

• En instans av dokumentinformation i Azure Portal. Du kan använda den kostnadsfria prisnivån (F0) för att prova tjänsten. När resursen har distribuerats väljer du Gå till resurs för att hämta din nyckel och slutpunkt.

Språk och nationella inställningar som stöds

Se sidan Språkstöd – modeller för dokumentanalys för en fullständig lista över språk som stöds.

Nästa steg

• Lär dig hur du bearbetar dina egna formulär och dokument med Document Intelligence Studio.

• Slutför en snabbstart för dokumentinformation och kom igång med att skapa en app för dokumentbearbetning på valfritt utvecklingsspråk.

• Hitta fler exempel på GitHub.