Belge Yönetim Bilgileri düzen modeli nedir?

Bu içerik şunlar için geçerlidir:v4.0 (GA) | Önceki sürümler:v3.1 (GA)v3.0 (GA)v2.1 (GA)

Foundry Tools'ta Azure Document Intelligence düzen modeli, makine öğrenmesini temel alan gelişmiş bir belge analizi API'sidir. Model, Belge Zekası bulutunda kullanılabilir. Belgeleri çeşitli biçimlerde almak ve belgelerin yapılandırılmış veri gösterimlerini döndürmek için kullanabilirsiniz. Model, metinleri, tabloları, seçim işaretlerini ve belge yapısını ayıklamak için güçlü optik karakter tanıma (OCR) özelliklerinin gelişmiş bir sürümünü derin öğrenme modelleri ile birleştirir.

Belge yapısı düzen analizi

Belge yapısı düzen analizi, ilgilendiğiniz bölgeleri ve aralarındaki ilişkileri ayıklamak için bir belgeyi analiz etme işlemidir. Amaç, daha iyi anlamsal anlayış modelleri oluşturmak için sayfadan metin ve yapısal öğeleri ayıklamaktır. Belge düzeninde iki tür rol vardır:

• Geometrik roller: Metin, tablolar, şekiller ve seçim işaretleri geometrik rollere örnektir.
• Mantıksal roller: Başlıklar, başlıklar ve alt bilgiler, metinlerin mantıksal rollerine örnektir.

Aşağıdaki çizimde örnek bir sayfanın görüntüsündeki tipik bileşenler gösterilmektedir.

Dağıtım seçenekleri

Belge Yönetim Bilgileri v4.0: 2024-11-30 (GA), aşağıdaki araçları, uygulamaları ve kitaplıkları destekler.

Özellik	Kaynaklar	Model Kimliği
Düzen modeli	• Document Intelligence Studio • REST API • C# SDK • Python SDK • Java SDK • JavaScript SDK	prebuilt-layout

Desteklenen diller

Desteklenen dillerin tam listesi için bkz . Dil desteği: Belge çözümleme modelleri.

Desteklenen dosya türleri

Document Intelligence v4.0: 2024-11-30 (GA) düzen modeli aşağıdaki dosya biçimlerini destekler:

Örnek	PDF	Resim: JPEG/JPG, PNG, BMP, TIFF, HEIF	Office: Word (DOCX), Excel (XLS), PowerPoint (PPTX), HTML
Tasarım Düzeni	✔	✔	✔

Giriş gereksinimleri

• Fotoğraflar ve taramalar: En iyi sonuçlar için belge başına tek bir net fotoğraf veya yüksek kaliteli tarama sağlayın.
• PDF'ler ve TIFF'ler: PDF'ler ve TIFF'ler için en fazla 2.000 sayfa işlenebilir. (Ücretsiz katman aboneliğiyle yalnızca ilk iki sayfa işlenir.)
• Parola kilitleri: PDF'leriniz parola kilitliyse, göndermeden önce kilidi kaldırmanız gerekir.
• Dosya boyutu: Belgeleri analiz etmek için dosya boyutu ücretli (S0) katmanı için 500 MB ve ücretsiz (F0) katmanı için 4 MB'tır.
• Görüntü boyutları: Görüntü boyutları 50 piksel x 50 piksel ile 10.000 piksel x 10.000 piksel arasında olmalıdır.
• Metin yüksekliği: Ayıklanacak metnin en düşük yüksekliği 1024 x 768 piksel görüntü için 12 pikseldir. Bu boyut, inç başına 150 nokta olan yaklaşık 8 noktalı metne karşılık gelir.
• Özel model eğitimi: Eğitim verileri için en fazla sayfa sayısı, özel şablon modeli için 500 ve özel sinir modeli için 50.000'dir.
• Özel ayıklama modeli eğitimi: Eğitim verilerinin toplam boyutu şablon modeli için 50 MB ve sinir modeli için 1 GB'tır.
• Özel sınıflandırma modeli eğitimi: Eğitim verilerinin toplam boyutu en fazla 10.000 sayfa ile 1 GB'tır. 2024-11-30 (GA) için eğitim verilerinin toplam boyutu en fazla 10.000 sayfa ile 2 GB'tır.
• Office dosya türleri (DOCX, XLSX, PPTX): En fazla dize uzunluğu sınırı 8 milyon karakterdir.

Model kullanımı, kotalar ve hizmet sınırları hakkında daha fazla bilgi için bkz. Hizmet sınırları.

Düzen modelini kullanmaya başlama

Metin, tablo, tablo üst bilgileri, seçim işaretleri ve yapı bilgileri gibi verilerin Belge Yönetim Bilgileri kullanılarak belgelerden nasıl ayıklandığına bakın. Aşağıdaki kaynaklara ihtiyacınız vardır:

• Bir Azure aboneliği. Ücretsiz bir tane oluşturabilirsiniz.

• Azure portalında bir Belge Zekası örneği. Hizmeti denemek için ücretsiz fiyatlandırma katmanını (F0) kullanabilirsiniz. Kaynağınız dağıtıldıktan sonra anahtarınızı ve uç noktanızı almak için Kaynağa git'i seçin.

  

Anahtarınızı ve uç noktanızı aldıktan sonra, Belge Zekası uygulamalarınızı derlemek ve dağıtmak için aşağıdaki geliştirme seçeneklerini kullanın.

REST API

• Belge Yönetim Bilgileri REST API'si
• Kullanmaya başlama: Document Intelligence Studio

İstemci kitaplıkları

• C# SDK'sı
• Python SDK'sı
• Java SDK'sı
• JavaScript

Belge Makine Zekası Stüdyosu

• Belge Makine Zekası Stüdyosu
• Kullanmaya başlama: Document Intelligence Studio

Veri ayıklama

Düzen modeli, belgelerinizdeki yapısal öğeleri ayıklar. Bu makalenin geri kalanında, bunları belge girişinizden ayıklama yönergeleriyle birlikte aşağıdaki yapısal öğeler açıklanmıştır:

• Sayfa
• Paragraf
• Metin, satır ve sözcükler
• Seçim işaretleri
• Tablo
• Markdown'a çıkış yanıtı
• Rakam
• Bölüm

Örnek düzen belge analizini Document Intelligence Studio'da çalıştırın. Ardından sonuçlar sekmesine gidin ve tam JSON çıkışına erişin.

Sayfalar

Koleksiyon pages , belgedeki sayfaların listesidir. Her sayfa belge içinde sıralı olarak temsil edilir ve sayfanın döndürülmüş olup olmadığını gösteren yönlendirme açısını ve genişlik ile yüksekliği (piksel cinsinden boyutlar) içerir. Model çıkışındaki sayfa birimleri aşağıdaki tabloda gösterildiği gibi hesaplanır.

Dosya biçimi	Hesaplanan sayfa birimi	Toplam sayfa sayısı
Görüntüler (JPEG/JPG, PNG, BMP, HEIF)	Her resim = 1 sayfa birimi.	Toplam resim sayısı
PDF	PDF = 1 sayfa birimindeki her sayfa.	PDF'deki toplam sayfa sayısı
TIFF	TIFF = 1 sayfa birimindeki her görüntü.	TIFF'deki toplam görüntü sayısı
Word (DOCX)	En fazla 3.000 karakter = 1 sayfa birimi. Eklenmiş veya bağlantılı görüntüler desteklenmez.	Her biri en fazla 3.000 karakterden oluşan toplam sayfa sayısı
Excel (XLSX)	Her çalışma sayfası = 1 sayfa birimi. Eklenmiş veya bağlantılı görüntüler desteklenmez.	Toplam çalışma sayfası
PowerPoint (PPTX)	Her slayt = 1 sayfa birimi. Eklenmiş veya bağlantılı görüntüler desteklenmez.	Toplam slayt sayısı
HTML	En fazla 3.000 karakter = 1 sayfa birimi. Eklenmiş veya bağlantılı görüntüler desteklenmez.	Her biri en fazla 3.000 karakterden oluşan toplam sayfa sayısı

Örnek kod

# Analyze pages.
for page in result.pages:
print(f"----Analyzing layout from page #{page.page_number}----")
print(f"Page has width: {page.width} and height: {page.height}, measured with unit: {page.unit}")

GitHub'da örnekleri görüntüleyin.

Çıktı

"pages": [
    {
        "pageNumber": 1,
        "angle": 0,
        "width": 915,
        "height": 1190,
        "unit": "pixel",
        "words": [],
        "lines": [],
        "spans": []
    }
]

Seçili sayfaları ayıklama

Çok sayfalı büyük belgeler için, belirli sayfa numaralarını veya metin ayıklama için sayfa aralıklarını belirtmek üzere sorgu parametresini kullanın pages .

Paragraflar

Düzen modeli, koleksiyondaki paragraphs tanımlanan tüm metin bloklarını altında analyzeResultsen üst düzey nesne olarak ayıklar. Bu koleksiyondaki her girdi bir metin bloğunu temsil eder ve ayıklanan metni ve sınırlayıcı content koordinatları içerirpolygon. Bilgiler, spans belgenin tam metnini içeren üst düzey content özellik içindeki metin parçasını gösterir.

"paragraphs": [
    {
        "spans": [],
        "boundingRegions": [],
        "content": "While healthcare is still in the early stages of its Al journey, we are seeing pharmaceutical and other life sciences organizations making major investments in Al and related technologies.\" TOM LAWRY | National Director for Al, Health and Life Sciences | Microsoft"
    }
]

Paragraf rolleri

Makine öğrenmesini temel alan yeni sayfa nesnesi algılama, başlıklar, bölüm başlıkları, sayfa üst bilgileri, sayfa alt bilgileri ve daha fazlası gibi mantıksal rolleri ayıklar. Belge Yönetim Bilgileri düzen modeli, koleksiyondaki paragraphs belirli metin bloklarını model tarafından tahmin edilen özelleştirilmiş rolü veya türüyle atar.

Daha zengin bir anlam analizi için ayıklanan içeriğin düzenini anlamanıza yardımcı olması için yapılandırılmamış belgelerle paragraf rollerini kullanmak en iyisidir. Aşağıdaki paragraf rolleri desteklenir.

Tahmin edilen rol	Description	Desteklenen dosya türleri
title	Sayfadaki ana başlıklar	PDF, Resim, DOCX, PPTX, XLSX, HTML
sectionHeading	Sayfadaki bir veya daha fazla alt başlık	PDF, Resim, DOCX, XLSX, HTML
footnote	Sayfanın alt kısmındaki metin	PDF, Resim
pageHeader	Sayfanın üst kenarına yakın metin	PDF, Görüntü, DOCX
pageFooter	Sayfanın alt kenarına yakın metin	PDF, Resim, DOCX, PPTX, HTML
pageNumber	Sayfa numarası	PDF, Resim

{
    "paragraphs": [
                {
                    "spans": [],
                    "boundingRegions": [],
                    "role": "title",
                    "content": "NEWS TODAY"
                },
                {
                    "spans": [],
                    "boundingRegions": [],
                    "role": "sectionHeading",
                    "content": "Mirjam Nilsson"
                }
    ]
}

Metin, satır ve sözcükler

Belge Yönetim Bilgileri'ndeki belge düzeni modeli, yazdırma ve el yazısı stilindeki metinleri ve linesolarak words ayıklar. Koleksiyon, styles algılanırsa satırlar için el yazısı stilini ve ilişkili metne işaret eden aralıkları içerir. Bu özellik desteklenen el yazısı diller için geçerlidir.

Microsoft Word, Excel, PowerPoint ve HTML için, Belge Zekası v4.0 2024-11-30 (GA) düzen modeli tüm eklenmiş metni olduğu gibi ayıklar. Metinler sözcük ve paragraf olarak ayıklanır. Eklenmiş görüntüler desteklenmez.

Örnek kod

# Analyze lines.
if page.lines:
    for line_idx, line in enumerate(page.lines):
    words = get_words(page, line)
    print(
        f"...Line # {line_idx} has word count {len(words)} and text '{line.content}' "
        f"within bounding polygon '{line.polygon}'"
    )

    # Analyze words.
    for word in words:
        print(f"......Word '{word.content}' has a confidence of {word.confidence}")

GitHub'da örnekleri görüntüleyin.

Çıktı

"words": [
    {
        "content": "While",
        "polygon": [],
        "confidence": 0.997,
        "span": {}
    },
],
"lines": [
    {
        "content": "While healthcare is still in the early stages of its Al journey, we",
        "polygon": [],
        "spans": [],
    }
]

Metin satırları için el yazısı stili

Yanıt, her metin satırının el yazısı stilinde olup olmadığını ve güvenilirlik puanını içerir. Daha fazla bilgi için bkz. El yazısı dil desteği. Aşağıdaki örnekte örnek bir JSON kod parçacığı gösterilmektedir.

"styles": [
{
    "confidence": 0.95,
    "spans": [
    {
        "offset": 509,
        "length": 24
    }
    "isHandwritten": true
    ]
}

Yazı tipi/stil eklentisi özelliğini etkinleştirirseniz, nesnenin styles bir parçası olarak yazı tipi/stil sonucunu da alırsınız.

Seçim işaretleri

Düzen modeli, belgelerden seçim işaretlerini de ayıklar. Her sayfa için ayıklanan seçim işaretleri pages koleksiyonu içinde görünür. Sınırlayıcı polygon, confidence ve seçim state (selected/unselected) içeriyor. Metin gösterimi (yani :selected: ve :unselected) başlangıç dizini (offset) olarak da eklenir ve length belgenin tam metnini içeren üst düzey content özelliğe başvurur.

Örnek kod

# Analyze selection marks.
if page.selection_marks:
    for selection_mark in page.selection_marks:
        print(
            f"Selection mark is '{selection_mark.state}' within bounding polygon "
            f"'{selection_mark.polygon}' and has a confidence of {selection_mark.confidence}"
        )

GitHub'da örnekleri görüntüleyin.

Çıktı

{
    "selectionMarks": [
        {
            "state": "unselected",
            "polygon": [],
            "confidence": 0.995,
            "span": {
                "offset": 1421,
                "length": 12
            }
        }
    ]
}

Tablolar

Tabloları ayıklamak, genellikle tablo olarak biçimlendirilmiş büyük hacimli veriler içeren belgeleri işlemek için önemli bir gereksinimdir. Düzen modeli, JSON çıkışının pageResults bölümündeki tabloları ayıklar. Ayıklanan tablo bilgileri sütun ve satır sayısını, satır aralığını ve sütun aralığını içerir.

Sınırlayıcı çokgeni olan her hücre, alanın olarak columnHeader tanınıp tanınmadığı bilgisinin yanı sıra çıkıştır. Model, döndürülmüş tabloları ayıklamayı destekler. Her tablo hücresi satır ve sütun dizinini ve sınırlayıcı çokgen koordinatlarını içerir. Hücre metni için, model başlangıç dizinini span (offset) içeren bilgileri verir. Model, belgedeki tam metni içeren üst düzey içeriğin içinde length çıktısını da üretir.

Belge Zekası balya ayıklama özelliğini kullanırken göz önünde bulundurmanız gereken birkaç faktör şunlardır:

• Ayıklamak istediğiniz veriler tablo olarak sunuluyor mu ve tablo yapısı anlamlı mı?
• Veri tablo biçiminde değilse iki boyutlu bir ızgaraya sığabilir mi?
• Tablolarınız birden çok sayfaya yayılsın mı? Bu durumda, tüm sayfaları etiketlemek zorunda kalmamak için, BELGE Zekası'na göndermeden önce PDF'yi sayfalara bölün. Analizden sonra sayfaları tek bir tabloya işleyin.
• Özel modeller oluşturuyorsanız bkz. Tablosal alanlar . Dinamik tabloların her sütun için değişken sayıda satırı vardır. Sabit tabloların her sütun için sabit sayıda satırı vardır.

Uyarı

Giriş dosyası XLSX ise tablo analizi desteklenmez. 2024-11-30 (GA) için şekiller ve tablolar için sınırlayıcı bölgeler yalnızca temel içeriği kapsar ve ilişkili açıklamalı alt yazıları ve dipnotları dışlar.

Örnek kod

if result.tables:
    for table_idx, table in enumerate(result.tables):
        print(f"Table # {table_idx} has {table.row_count} rows and " f"{table.column_count} columns")
        if table.bounding_regions:
            for region in table.bounding_regions:
                print(f"Table # {table_idx} location on page: {region.page_number} is {region.polygon}")
        # Analyze cells.
        for cell in table.cells:
            print(f"...Cell[{cell.row_index}][{cell.column_index}] has text '{cell.content}'")
            if cell.bounding_regions:
                for region in cell.bounding_regions:
                print(f"...content on page {region.page_number} is within bounding polygon '{region.polygon}'")

GitHub'da örnekleri görüntüleyin.

Çıktı

{
    "tables": [
        {
            "rowCount": 9,
            "columnCount": 4,
            "cells": [
                {
                    "kind": "columnHeader",
                    "rowIndex": 0,
                    "columnIndex": 0,
                    "columnSpan": 4,
                    "content": "(In millions, except earnings per share)",
                    "boundingRegions": [],
                    "spans": []
                    },
            ]
        }
    ]
}

Markdown biçimine çıkış yanıtı

Düzen API'si, ayıklanan metnin çıkışını Markdown biçiminde verebilir. Markdown'da çıkış biçimini belirtmek için öğesini outputContentFormat=markdown kullanın. Markdown içeriği bölümün bir parçası olarak çıktılanır content .

Uyarı

v4.0 2024-11-30 (GA) için tabloların gösterimi, birleştirilmiş hücreler ve çok yerli üst bilgiler gibi öğelerin işlenmesini sağlamak için HTML tabloları olarak değiştirilir. İlgili bir diğer değişiklik de Ve yerine :selected::unselected: Unicode onay kutusu karakterlerini ☒ ve ☐ seçim işaretlerini kullanmaktır. Bu güncelleştirme, aralıkları üst düzey yayılma alanındaki Unicode karakterlerine başvuruda bulunmakla birlikte seçim işareti alanlarının içeriğinin içerdiği :selected: anlamına gelir. Markdown öğelerinin tam tanımı için bkz. Markdown çıkış biçimi.

Örnek kod

document_intelligence_client = DocumentIntelligenceClient(endpoint=endpoint, credential=AzureKeyCredential(key))
poller = document_intelligence_client.begin_analyze_document(
    "prebuilt-layout",
    AnalyzeDocumentRequest(url_source=url),
    output_content_format=ContentFormat.MARKDOWN,
)

GitHub'da örnekleri görüntüleyin.

Çıktı

PageHeader="This is the header of the document."

This is title
===
# 1\. Text
Latin refers to an ancient Italic language originating in the region of Latium in ancient Rome.
# 2\. Page Objects
## 2.1 Table
Here's a sample table below, designed to be simple for easy understand and quick reference.
| Name | Corp | Remark |
| - | - | - |
| Foo | | |
| Bar | Microsoft | Dummy |
Table 1: This is a dummy table
## 2.2. Figure
<figure>
<figcaption>

Figure 1: Here is a figure with text
</figcaption>

![](figures/0)
FigureContent="500 450 400 400 350 250 200 200 200- Feb"
</figure>

# 3\. Others
Al Document Intelligence is an Al service that applies advanced machine learning to extract text, key-value pairs, tables, and structures from documents automatically and accurately:
    :selected:
clear
    :selected:
precise
    :unselected:
vague
    :selected:
coherent
    :unselected:
Incomprehensible
Turn documents into usable data and shift your focus to acting on information rather than compiling it. Start with prebuilt models or create custom models tailored to your documents both on premises and in the cloud with the Al Document Intelligence studio or SDK.
Learn how to accelerate your business processes by automating text extraction with Al Document Intelligence. This webinar features hands-on demos for key use cases such as document processing, knowledge mining, and industry-specific Al model customization.
PageFooter="This is the footer of the document."
PageFooter="1 | Page"

Şekiller

Belgelerdeki şekiller (grafikler ve resimler), metin içeriğinin tamamlanmasında ve geliştirilmesinde önemli bir rol oynar. Karmaşık bilgilerin anlaşılmasına yardımcı olan görsel gösterimler sağlar. Düzen figures modeli tarafından algılanan nesnenin aşağıdaki gibi önemli özellikleri vardır:

• boundingRegions: Sayfa numarası ve şeklin sınırının ana hatlarını oluşturan çokgen koordinatları da dahil olmak üzere, belge sayfalarında şeklin uzamsal konumları.
• spans: Metin, belgenin metni içindeki uzaklıklarını ve uzunluklarını belirten şekille ilişkilidir. Bu bağlantı, şekli ilgili metin bağlamıyla ilişkilendirmeye yardımcı olur.
• elements: Belgedeki şekille ilgili veya açıklamalı metin öğelerinin veya paragrafların tanımlayıcıları.
• caption: Varsa açıklama.

output=figures İlk analiz işlemi sırasında belirtildiğinde, hizmet aracılığıyla /analyeResults/{resultId}/figures/{figureId}erişilebilen tüm algılanan şekiller için kırpılmış görüntüler oluşturur. FigureId Değer, sayfa başına bir taneye sıfırlandığı belgelenmemiş bir kuralı {pageNumber}.{figureIndex}figureIndex izleyerek her şekil nesnesine dahil edilen kimliktir.

v4.0 2024-11-30 (GA) için, şekiller ve tablolar için sınırlayıcı bölgeler yalnızca temel içeriği kapsar ve ilişkili açıklamalı alt yazıyı ve dipnotları hariç tutar.

Örnek kod

# Analyze figures.
if result.figures:
    for figures_idx,figures in enumerate(result.figures):
        print(f"Figure # {figures_idx} has the following spans:{figures.spans}")
        for region in figures.bounding_regions:
            print(f"Figure # {figures_idx} location on page:{region.page_number} is within bounding polygon '{region.polygon}'")

GitHub'da örnekleri görüntüleyin.

Çıktı

{
    "figures": [
        {
        "id": "{figureId}",
        "boundingRegions": [],
        "spans": [],
        "elements": [
            "/paragraphs/15",
            ...
        ],
        "caption": {
            "content": "Here is a figure with some text",
            "boundingRegions": [],
            "spans": [],
            "elements": [
            "/paragraphs/15"
            ]
        }
        }
    ]
}

Bölümler

Hiyerarşik belge yapısı analizi, kapsamlı belgelerin düzenlenmesi, anlaşılması ve işlenmesinde çok önemlidir. Bu yaklaşım, kavramayı artırmak, gezinmeyi kolaylaştırmak ve bilgi alımını geliştirmek için uzun belgeleri sembolik olarak segmentlere ayırmak için çok önemlidir. Belge oluşturucu yapay zekada alma artırılmış nesil (RAG) ortaya çıkması, hiyerarşik belge yapısı analizinin öneminin altını çizer.

Düzen modeli, çıktıdaki bölümleri ve alt bölümleri destekler ve bu da her bölümdeki bölümlerin ve nesnelerin ilişkisini tanımlar. Hiyerarşik yapı her bölüm için içinde elements tutulur. Markdown'daki bölümleri ve alt bölümleri kolayca almak için Markdown biçimine yönelik çıktı yanıtını kullanabilirsiniz.

Örnek kod

document_intelligence_client = DocumentIntelligenceClient(endpoint=endpoint, credential=AzureKeyCredential(key))
poller = document_intelligence_client.begin_analyze_document(
    "prebuilt-layout",
    AnalyzeDocumentRequest(url_source=url),
    output_content_format=ContentFormat.MARKDOWN,
)

GitHub'da örnekleri görüntüleyin.

Çıktı

{
    "sections": [
        {
        "spans": [],
        "elements": [
            "/paragraphs/0",
            "/sections/1",
            "/sections/2",
            "/sections/5"
        ]
        },
...
}

İlgili içerik

• Document Intelligence Studio ile kendi formlarınızı ve belgelerinizi işlemeyi öğrenin.
• Belge Zekası hızlı başlangıcını tamamlayın ve seçtiğiniz geliştirme dilinde bir belge işleme uygulaması oluşturun.

• GitHub'da daha fazla örnek bulun.