Belge Yönetim Bilgileri düzen modeli

Önemli

• Document Intelligence genel önizleme sürümleri, etkin geliştirme aşamasında olan özelliklere erken erişim sağlar.
• Genel Kullanılabilirlik (GA) öncesinde kullanıcı geri bildirimlerine göre özellikler, yaklaşımlar ve süreçler değişebilir.
• Belge Zekası istemci kitaplıklarının genel önizleme sürümü varsayılan olarak REST API sürüm 2024-02-29-preview'dır.
• Genel önizleme sürümü 2024-02-29-preview şu anda yalnızca aşağıdaki Azure bölgelerinde kullanılabilir:
• Doğu ABD
• Batı ABD2
• Batı Avrupa

Bu içerik şunlar için geçerlidir:v4.0 (önizleme) | Önceki sürümler:v3.1 (GA)v3.0 (GA)v2.1 (GA)

Belge Zekası düzen modeli, Belge Zekası bulutunda kullanılabilen gelişmiş bir makine öğrenmesi tabanlı belge analizi API'sidir. Belgeleri çeşitli biçimlerde almanıza ve belgelerin yapılandırılmış veri gösterimlerini döndürmenize olanak tanır. Metinleri, tabloları, seçim işaretlerini ve belge yapısını ayıklamak için güçlü Optik Karakter Tanıma (OCR) özelliklerimizin gelişmiş bir sürümünü derin öğrenme modelleriyle birleştirir.

Belge düzeni analizi

Belge yapısı düzen analizi, ilgilendiğiniz bölgeleri ve aralarındaki ilişkileri ayıklamak için bir belgeyi analiz etme işlemidir. Amaç, daha iyi anlamsal anlayış modelleri oluşturmak için sayfadan metin ve yapısal öğeleri ayıklamaktır. Belge düzeninde iki tür rol vardır:

• Geometrik roller: Metin, tablolar, şekiller ve seçim işaretleri geometrik rollere örnektir.
• Mantıksal roller: Başlıklar, başlıklar ve alt bilgiler, metinlerin mantıksal rollerine örnektir.

Aşağıdaki çizimde örnek bir sayfanın görüntüsündeki tipik bileşenler gösterilmektedir.

Dağıtım seçenekleri

Document Intelligence v4.0 (2024-02-29-preview, 2023-10-31-preview) aşağıdaki araçları, uygulamaları ve kitaplıkları destekler:

Özellik	Kaynaklar	Model Kimliği
Düzen modeli	• Document Intelligence Studio • REST API • C# SDK • Python SDK • Java SDK • JavaScript SDK	önceden oluşturulmuş düzen

Giriş gereksinimleri

• En iyi sonuçları elde için belge başına tek bir net fotoğraf veya yüksek kaliteli tarama sağlayın.

• Desteklenen dosya biçimleri:

  Model	PDF	Resim: JPEG/JPG, PNG, BMP, TIFF, HEIF	Microsoft Office: Word (DOCX), Excel (XLSX), PowerPoint (PPTX) ve HTML
  Okundu	✔	✔	✔
  Düzen	✔	✔	✔ (2024-02-29-preview, 2023-10-31-preview)
  Genel Belge	✔	✔
  Önceden oluşturulmuş	✔	✔
  Özel ayıklama	✔	✔
  Özel sınıflandırma	✔	✔	✔ (2024-02-29-preview)

• PDF ve TIFF için en fazla 2000 sayfa işlenebilir (ücretsiz katman aboneliğiyle yalnızca ilk iki sayfa işlenir).

• Belgeleri analiz etmek için dosya boyutu ücretli (S0) katman için 500 MB ve ücretsiz (F0) katmanı için 4 MB'tır.

• Görüntü boyutları 50 x 50 piksel ile 10.000 piksel x 10.000 piksel arasında olmalıdır.

• PDF’leriniz parola korumalıysa göndermeden önce kilidi kaldırmanız gerekir.

• Ayıklanacak metnin en düşük yüksekliği 1024 x 768 piksel görüntü için 12 pikseldir. Bu boyut, inç başına 150 nokta (DPI) olan yaklaşık 8noktalı metne karşılık gelir.

• Özel model eğitimi için eğitim verileri için en fazla sayfa sayısı özel şablon modeli için 500, özel sinir modeli için 50.000'dir.

  • Özel ayıklama modeli eğitimi için eğitim verilerinin toplam boyutu şablon modeli için 50 MB ve sinir modeli için 1G-MB'tır.

  • Özel sınıflandırma modeli eğitimi için eğitim verilerinin toplam boyutu en fazla 10.000 sayfadır 1GB .

Düzen modelini kullanmaya başlama

Metin, tablo, tablo üst bilgileri, seçim işaretleri ve yapı bilgileri gibi verilerin Belge Yönetim Bilgileri kullanılarak belgelerden nasıl ayıklandığına bakın. Aşağıdaki kaynaklara ihtiyacınız vardır:

• Azure aboneliği: Ücretsiz olarak bir abonelik oluşturabilirsiniz.

• Azure portalında bir Belge Zekası örneği. Hizmeti denemek için ücretsiz fiyatlandırma katmanını (F0) kullanabilirsiniz. Kaynağınız dağıtıldıktan sonra anahtarınızı ve uç noktanızı almak için Kaynağa git'i seçin.

Not

Document Intelligence Studio, v3.0 API'leri ve sonraki sürümlerle kullanılabilir.

Document Intelligence Studio ile işlenen örnek belge

1. Document Intelligence Studio giriş sayfasında Düzen'i seçin.

2. Örnek belgeyi analiz edebilir veya kendi dosyalarınızı karşıya yükleyebilirsiniz.

3. Analizi çalıştır düğmesini seçin ve gerekirse Çözümle seçeneklerini yapılandırın:

   

   Document Intelligence Studio'yu deneyin.

Desteklenen diller ve yerel ayarlar

Desteklenen dillerin tam listesi için Dil Desteği— belge çözümleme modelleri sayfamıza bakın.

Veri ayıklama

Düzen modeli belgelerinizden metinleri, seçim işaretlerini, tabloları, paragrafları ve paragraf türlerini (roles) ayıklar.

Not

, 2023-10-31-previewve sonraki sürümleri 2024-02-29-previewMicrosoft office (DOCX, XLSX, PPTX) ve HTML dosyalarını destekler. Aşağıdaki özellikler desteklenmez:

• Her sayfa nesnesiyle açı, genişlik/yükseklik ve birim yoktur.
• Algılanan her nesne için sınırlayıcı çokgen veya sınırlayıcı bölge yoktur.
• Sayfa aralığı (pages) parametre olarak desteklenmez.
• Nesne yok lines .

Sayfalar

Sayfalar koleksiyonu, belgedeki sayfaların listesidir. Her sayfa belge içinde sıralı olarak temsil edilir ve sayfanın döndürülmüş olup olmadığını ve genişlik ile yüksekliği (piksel cinsinden boyutlar) gösteren yönlendirme açısını içerir. Model çıkışındaki sayfa birimleri gösterildiği gibi hesaplanır:

Dosya biçimi	Hesaplanan sayfa birimi	Toplam sayfa sayısı
Görüntüler (JPEG/JPG, PNG, BMP, HEIF)	Her resim = 1 sayfa birimi	Toplam resim sayısı
PDF	PDF ' deki her sayfa = 1 sayfa birimi	PDF'deki toplam sayfa sayısı
TIFF	TIFF = 1 sayfa birimindeki her resim	TIFF'deki toplam görüntü sayısı
Word (DOCX)	En fazla 3.000 karakter = 1 sayfa birimi, eklenmiş veya bağlantılı görüntüler desteklenmez	Her biri en fazla 3.000 karakterden oluşan toplam sayfa sayısı
Excel (XLSX)	Her çalışma sayfası = 1 sayfa birimi, eklenmiş veya bağlı görüntüler desteklenmez	Toplam çalışma sayfası
PowerPoint (PPTX)	Her slayt = 1 sayfalık birim, eklenmiş veya bağlı görüntüler desteklenmez	Toplam slayt sayısı
HTML	En fazla 3.000 karakter = 1 sayfa birimi, eklenmiş veya bağlantılı görüntüler desteklenmez	Her biri en fazla 3.000 karakterden oluşan toplam sayfa sayısı

"pages": [
    {
        "pageNumber": 1,
        "angle": 0,
        "width": 915,
        "height": 1190,
        "unit": "pixel",
        "words": [],
        "lines": [],
        "spans": []
    }
]

Seçili sayfaları belgelerden ayıklama

Çok sayfalı büyük belgeler için, belirli sayfa numaralarını veya metin ayıklama için sayfa aralıklarını belirtmek üzere sorgu parametresini kullanın pages .

Paragraf

Düzen modeli, koleksiyondaki paragraphs tanımlanan tüm metin bloklarını altında analyzeResultsen üst düzey nesne olarak ayıklar. Bu koleksiyondaki her girdi bir metin bloğunu temsil eder ve ayıklanan metni ve sınırlayıcı polygon koordinatları içerircontent. Bilgiler, span belgenin tam metnini içeren en üst düzey content özellik içindeki metin parçasına işaret eder.

"paragraphs": [
    {
        "spans": [],
        "boundingRegions": [],
        "content": "While healthcare is still in the early stages of its Al journey, we are seeing pharmaceutical and other life sciences organizations making major investments in Al and related technologies.\" TOM LAWRY | National Director for Al, Health and Life Sciences | Microsoft"
    }
]

Paragraf rolleri

Yeni makine öğrenmesi tabanlı sayfa nesnesi algılama, başlıklar, bölüm başlıkları, sayfa üst bilgileri, sayfa alt bilgileri ve daha fazlası gibi mantıksal rolleri ayıklar. Belge Yönetim Bilgileri Düzeni modeli, koleksiyondaki paragraphs belirli metin bloklarını model tarafından tahmin edilen özelleştirilmiş rolü veya türüyle atar. Daha zengin bir anlam analizi için ayıklanan içeriğin düzenini anlamanıza yardımcı olması için yapılandırılmamış belgelerle birlikte en iyi şekilde kullanılırlar. Aşağıdaki paragraf rolleri desteklenir:

Tahmin edilen rol	Açıklama	Desteklenen dosya türleri
title	Sayfadaki ana başlıklar	pdf, image, docx, pptx, xlsx, html
sectionHeading	Sayfadaki bir veya daha fazla alt başlık	pdf, image, docx, xlsx, html
footnote	Sayfanın alt kısmındaki metin	pdf, resim
pageHeader	Sayfanın üst kenarına yakın metin	pdf, resim, docx
pageFooter	Sayfanın alt kenarına yakın metin	pdf, image, docx, pptx, html
pageNumber	Sayfa numarası	pdf, resim

{
    "paragraphs": [
                {
                    "spans": [],
                    "boundingRegions": [],
                    "role": "title",
                    "content": "NEWS TODAY"
                },
                {
                    "spans": [],
                    "boundingRegions": [],
                    "role": "sectionHeading",
                    "content": "Mirjam Nilsson"
                }
    ]
}

Metin, satır ve sözcükler

Belge Yönetim Bilgileri'ndeki belge düzeni modeli, yazdırma ve el yazısı stil metinlerini ve wordsolarak lines ayıklar. Koleksiyon, styles algılanırsa satırlar için el yazısı stilini ve ilişkili metne işaret eden aralıkları içerir. Bu özellik desteklenen el yazısı diller için geçerlidir.

Microsoft Word, Excel, PowerPoint ve HTML için, Belge Zekası sürüm 2024-02-29-preview ve 2023-10-31-preview Düzen modeli tüm eklenmiş metni olduğu gibi ayıklar. Metinler sözcük ve paragraf olarak ayıklanır. Eklenmiş görüntüler desteklenmez.

"words": [
    {
        "content": "While",
        "polygon": [],
        "confidence": 0.997,
        "span": {}
    },
],
"lines": [
    {
        "content": "While healthcare is still in the early stages of its Al journey, we",
        "polygon": [],
        "spans": [],
    }
]

Metin satırları için el yazısı stili

Yanıt, her metin satırının el yazısı stilinde olup olmadığını ve güvenilirlik puanını sınıflandırmayı içerir. Daha fazla bilgi için. Bkz. El yazısı dil desteği. Aşağıdaki örnekte örnek bir JSON kod parçacığı gösterilmektedir.

"styles": [
{
    "confidence": 0.95,
    "spans": [
    {
        "offset": 509,
        "length": 24
    }
    "isHandwritten": true
    ]
}

Yazı tipi/stil eklentisi özelliğini etkinleştirirseniz, nesnenin bir parçası styles olarak yazı tipi/stil sonucunu da alırsınız.

Seçim işaretleri

Düzen modeli, belgelerden seçim işaretlerini de ayıklar. Ayıklanan seçim işaretleri her sayfa için koleksiyon içinde pages görünür. Sınırlayıcı polygon, confidenceve seçimini state (selected/unselected) içerir. Metin gösterimi (yani :selected: ve :unselected) başlangıç dizini (offset) olarak da eklenir ve length belgenin tam metnini içeren en üst düzey content özelliğe başvurur.

{
    "selectionMarks": [
        {
            "state": "unselected",
            "polygon": [],
            "confidence": 0.995,
            "span": {
                "offset": 1421,
                "length": 12
            }
        }
    ]
}

Tablolar

Tabloları ayıklamak, genellikle tablo olarak biçimlendirilmiş büyük hacimli verileri içeren belgeleri işlemek için önemli bir gereksinimdir. Düzen modeli, JSON çıkışının pageResults bölümündeki tabloları ayıklar. Ayıklanan tablo bilgileri sütun ve satır sayısını, satır aralığını ve sütun aralığını içerir. Sınırlayıcı çokgeni olan her hücre, alanın bir columnHeader olarak tanınıp tanınmadığı bilgisinin yanı sıra çıkıştır. Model, döndürülen tabloları ayıklamayı destekler. Her tablo hücresi satır ve sütun dizinini ve sınırlayıcı çokgen koordinatlarını içerir. Hücre metni için model, başlangıç dizinini span (offset ) içeren bilgileri verir. Model, belgedeki tam metni içeren en üst düzey içeriğin içinde çıkışını da length verir.

Not

Giriş dosyası XLSX ise tablo desteklenmez.

{
    "tables": [
        {
            "rowCount": 9,
            "columnCount": 4,
            "cells": [
                {
                    "kind": "columnHeader",
                    "rowIndex": 0,
                    "columnIndex": 0,
                    "columnSpan": 4,
                    "content": "(In millions, except earnings per share)",
                    "boundingRegions": [],
                    "spans": []
                    },
            ]
        }
    ]
}

Markdown biçiminde çıktı

Düzen API'si, ayıklanan metnin çıkışını markdown biçiminde verebilir. Markdown'da çıkış biçimini belirtmek için öğesini outputContentFormat=markdown kullanın. Markdown içeriği, bölümün bir parçası olarak çıktılanır content .

"analyzeResult": {
"apiVersion": "2024-02-29-preview",
"modelId": "prebuilt-layout",
"contentFormat": "markdown",
"content": "# CONTOSO LTD...",
}

Rakam

Belgelerdeki şekiller (grafikler, resimler) metin içeriğinin tamamlanması ve geliştirilmesinde önemli bir rol oynar ve karmaşık bilgilerin anlaşılmasına yardımcı olan görsel gösterimler sağlar. Düzen modeli tarafından algılanan şekiller nesnesinin temel özellikleri boundingRegions vardır (belge sayfalarındaki şeklin uzamsal konumları, sayfa numarası ve şeklin sınırını özetleyen çokgen koordinatlar dahil), spans (şekille ilgili metin aralıklarının ayrıntıları, belgenin metni içindeki uzaklıklarını ve uzunluklarını belirtme. Bu bağlantı, şeklin ilgili metin bağlamıyla, elements (belgedeki şekille ilgili veya açıklamalı metin öğelerinin veya paragrafların tanımlayıcıları) ve caption varsa ilişkilendirmeye yardımcı olur.

{
    "figures": [
      {
        "boundingRegions": [],
        "spans": [],
        "elements": [
          "/paragraphs/15",
          ...
        ],
        "caption": {
          "content": "Here is a figure with some text",
          "boundingRegions": [],
          "spans": [],
          "elements": [
            "/paragraphs/15"
          ]
        }
      }
    ]
}

Bölümler

Hiyerarşik belge yapısı analizi, kapsamlı belgelerin düzenlenmesi, anlaşılması ve işlenmesinde çok önemlidir. Bu yaklaşım, kavramayı artırmak, gezinmeyi kolaylaştırmak ve bilgi alımını geliştirmek için uzun belgeleri sembolik olarak segmentlere ayırmak için çok önemlidir. Belge oluşturucu yapay zekada Alma Artırılmış Neslinin (RAG) gelişi, hiyerarşik belge yapısı analizinin öneminin altını çizer. Düzen modeli, çıkıştaki bölümleri ve alt bölümleri destekler ve bu da her bölümdeki bölümlerin ve nesnenin ilişkisini tanımlar. Hiyerarşik yapı her bölümde korunur elements . Markdown'da bölümleri ve alt bölümleri kolayca almak için markdown biçiminin çıktısını kullanabilirsiniz.

{
    "sections": [
      {
        "spans": [],
        "elements": [
          "/paragraphs/0",
          "/sections/1",
          "/sections/2",
          "/sections/5"
        ]
      },
...
}

Sonraki adımlar

• Document Intelligence Studio ile kendi formlarınızı ve belgelerinizi işlemeyi öğrenin.

• Belge Zekası hızlı başlangıcını tamamlayın ve seçtiğiniz geliştirme dilinde bir belge işleme uygulaması oluşturmaya başlayın.