ما هو نموذج تخطيط ذكاء المستندات؟

ينطبق هذا المحتوى على:v4.0 (GA) | الإصدارات السابقة:v3.1 (GA)v3.0 (GA)v2.1 (GA)

نموذج تخطيط ذكاء المستندات في أدوات الصاهر في Azure هو واجهة برمجة تطبيقات متقدمة لتحليل المستندات تعتمد على التعلم الآلي. يتوفر النموذج في سحابة Document Intelligence. يمكنك استخدامه لأخذ مستندات بتنسيقات مختلفة وإرجاع تمثيلات البيانات المنظمة للمستندات. يجمع النموذج بين إصدار محسن من إمكانات التعرف الضوئي على الأحرف (OCR) القوية مع نماذج التعلم العميق لاستخراج النص والجداول وعلامات التحديد وبنية المستند.

تحليل تخطيط بنية المستند

تحليل تخطيط هيكل المستند هو عملية تحليل المستند لاستخراج مناطق الاهتمام وعلاقاتها المتبادلة. الهدف هو استخراج النص والعناصر الهيكلية من الصفحة لبناء نماذج فهم دلالي أفضل. يوجد نوعان من الأدوار في تخطيط المستند:

• الأدوار الهندسية: النص والجداول والأشكال وعلامات التحديد هي أمثلة على الأدوار الهندسية.
• الأدوار المنطقية: العناوين والعناوين والتذييلات هي أمثلة للأدوار المنطقية للنصوص.

يوضح الرسم التوضيحي التالي المكونات النموذجية في صورة لصفحة عينة.

خيارات التطوير

يدعم ذكاء المستندات الإصدار 4.0: 2024-11-30 (GA) الأدوات والتطبيقات والمكتبات التالية.

ميزة	الموارد	معرف النموذج
نموذج التخطيط	• استوديو ذكاء المستندات • واجهة برمجة تطبيقات REST • C # SDK • Python SDK • Java SDK • JavaScript SDK	prebuilt-layout

اللغات المدعومة

للحصول على قائمة كاملة باللغات المدعومة، راجع دعم اللغة: نماذج تحليل المستندات.

أنواع الملفات المعتمدة

يدعم نموذج تخطيط ذكاء المستندات الإصدار 4.0: 2024-11-30 (GA) تنسيقات الملفات التالية:

نموذج	PDF	الصورة: JPEG / JPG ، PNG ، BMP ، TIFF ، HEIF	المكتب: Word (DOCX) ، Excel (XLS) ، PowerPoint (PPTX) ، HTML
تخطيط	✔	✔	✔

متطلبات الإدخال

• الصور الفوتوغرافية والمسح الضوئي: للحصول على أفضل النتائج، قم بتوفير صورة واحدة واضحة أو مسح ضوئي عالي الجودة لكل مستند.
• ملفات PDF وملفات TIFF: بالنسبة لملفات PDF وملفات TIFF، يمكن معالجة ما يصل إلى 2,000 صفحة. (مع اشتراك من الطبقة الحرة، تتم معالجة أول صفحتين فقط.)
• أقفال كلمة المرور: إذا كانت ملفات PDF مقفلة بكلمة مرور، فيجب عليك إزالة القفل قبل الإرسال.
• حجم الملف: حجم الملف لتحليل المستندات هو 500 ميجابايت للطبقة المدفوعة (S0) و 4 ميغابايت للطبقة المجانية (F0).
• أبعاد الصورة: يجب أن تتراوح أبعاد الصورة بين 50 بكسل × 50 بكسل و10,000 بكسل × 10,000 بكسل.
• ارتفاع النص: الحد الأدنى لارتفاع النص المراد استخراجه هو 12 بكسل لصورة 1024 × 768 بكسل. يتوافق هذا البعد مع حوالي نص مكون من 8 نقاط بمعدل 150 نقطة في البوصة.
• تدريب النموذج المخصص: الحد الأقصى لعدد الصفحات لبيانات التدريب هو 500 لنموذج القالب المخصص و 50,000 للنموذج العصبي المخصص.
• تدريب نموذج الاستخراج المخصص: الحجم الإجمالي لبيانات التدريب هو 50 ميجابايت لنموذج القالب و 1 غيغابايت للنموذج العصبي.
• تدريب نموذج التصنيف المخصص: الحجم الإجمالي لبيانات التدريب هو 1 جيجابايت بحد أقصى 10,000 صفحة. بالنسبة إلى 2024-11-30 (GA) ، يبلغ الحجم الإجمالي لبيانات التدريب 2 جيجابايت بحد أقصى 10,000 صفحة.
• أنواع ملفات Office (DOCX ، XLSX ، PPTX)): الحد الأقصى لطول السلسلة هو 8 ملايين حرف.

لمزيد من المعلومات حول استخدام النموذج والحصص النسبية وحدود الخدمة، راجع حدود الخدمة.

بدء استخدام نموذج التخطيط

تعرف على كيفية استخراج البيانات، بما في ذلك النص والجداول ورؤوس الجداول وعلامات التحديد ومعلومات البنية، من المستندات باستخدام ذكاء المستندات. تحتاج إلى الموارد التالية:

• اشتراك Azure. يمكنك إنشاء حساب مجانا.

• مثيل Document Intelligence في مدخل Microsoft Azure. يمكنك استخدام مستوى التسعير المجاني (F0) لتجربة الخدمة. بعد نشر المورد، حدد Go to resource للحصول على المفتاح ونقطة النهاية.

  

بعد استرداد المفتاح ونقطة النهاية، استخدم خيارات التطوير التالية لإنشاء تطبيقات التحليل الذكي للمستندات ونشرها.

واجهة برمجة التطبيقات REST

• واجهة برمجة تطبيقات REST لذكاء المستند
• البدء: استوديو ذكاء المستندات

مكتبات العميل

• C # SDK
• حزمة تطوير التطوير الخاصة لبايثون
• مجموعة تطوير جافا
• JavaScript

استوديو ذكاء المستندات

• استوديو ذكاء المستندات
• البدء: استوديو ذكاء المستندات

استخراج البيانات

يستخرج نموذج التخطيط العناصر الهيكلية من مستنداتك. يتم وصف العناصر الهيكلية التالية في بقية هذه المقالة جنبا إلى جنب مع إرشادات حول كيفية استخراجها من إدخال المستند الخاص بك:

• الصفحات
• الفقرات
• النص والخطوط والكلمات
• علامات الاختيار
• المناضد
• استجابة الإخراج لتخفيض السعر
• الارقام
• مقاطع

قم بتشغيل نموذج تحليل مستند التخطيط داخل Document Intelligence Studio. ثم انتقل إلى علامة تبويب النتائج وقم بالوصول إلى إخراج JSON الكامل.

الصفحات

المجموعة pages عبارة عن قائمة بالصفحات داخل المستند. يتم تمثيل كل صفحة بالتتابع داخل المستند وتتضمن زاوية الاتجاه، والتي تشير إلى ما إذا كانت الصفحة قد تم تدويرها والعرض والارتفاع (الأبعاد بالبكسل). يتم حساب وحدات الصفحة في إخراج النموذج كما هو موضح في الجدول التالي.

تنسيق الملف	وحدة الصفحات المحسوبة	إجمالي الصفحات
الصور (JPEG/JPG، PNG، BMP، HEIF)	كل صورة = 1 وحدة صفحة.	إجمالي الصور
PDF	كل صفحة في ملف PDF = وحدة صفحة واحدة.	إجمالي الصفحات في ملف PDF
TIFF	كل صورة في TIFF = وحدة صفحة واحدة.	إجمالي الصور في TIFF
كلمة (DOCX)	ما يصل إلى 3,000 حرف = وحدة صفحة واحدة. الصور المضمنة أو المرتبطة غير مدعومة.	إجمالي الصفحات التي يصل عددها إلى 3000 حرف لكل منها
إكسل (XLSX)	كل ورقة عمل = 1 وحدة صفحة. الصور المضمنة أو المرتبطة غير مدعومة.	إجمالي أوراق العمل
باور بوينت (PPTX)	كل شريحة = 1 وحدة صفحة. الصور المضمنة أو المرتبطة غير مدعومة.	إجمالي الشرائح
HTML	ما يصل إلى 3,000 حرف = وحدة صفحة واحدة. الصور المضمنة أو المرتبطة غير مدعومة.	إجمالي الصفحات التي يصل عددها إلى 3000 حرف لكل منها

نموذج التعليمات البرمجية

# Analyze pages.
for page in result.pages:
print(f"----Analyzing layout from page #{page.page_number}----")
print(f"Page has width: {page.width} and height: {page.height}, measured with unit: {page.unit}")

عرض العينات على GitHub.

"pages": [
    {
        "pageNumber": 1,
        "angle": 0,
        "width": 915,
        "height": 1190,
        "unit": "pixel",
        "words": [],
        "lines": [],
        "spans": []
    }
]

استخراج الصفحات المحددة

بالنسبة للمستندات الكبيرة متعددة الصفحات، استخدم معلمة pages الاستعلام للإشارة إلى أرقام صفحات معينة أو نطاقات صفحات لاستخراج النص.

الفقرات

يستخرج نموذج التخطيط جميع كتل النص المحددة في paragraphs المجموعة ككائن من المستوى الأعلى ضمن analyzeResults. يمثل كل إدخال في هذه المجموعة كتلة نصية ويتضمن النص المستخرج والإحداثيات content المحيطة polygon . تشير spans المعلومات إلى جزء النص داخل خاصية المستوى content الأعلى التي تحتوي على النص الكامل من المستند.

"paragraphs": [
    {
        "spans": [],
        "boundingRegions": [],
        "content": "While healthcare is still in the early stages of its Al journey, we are seeing pharmaceutical and other life sciences organizations making major investments in Al and related technologies.\" TOM LAWRY | National Director for Al, Health and Life Sciences | Microsoft"
    }
]

أدوار الفقرة

يستخرج اكتشاف كائن الصفحة الجديد المستند إلى التعلم الآلي الأدوار المنطقية مثل العناوين وعناوين الأقسام ورؤوس الصفحات وتذييلات الصفحات والمزيد. يقوم نموذج تخطيط "ذكاء المستندات" بتعيين كتل نصية معينة في المجموعة paragraphs مع دورها المتخصص أو نوعها الذي تنبأ به النموذج.

من الأفضل استخدام أدوار الفقرات مع المستندات غير المنظمة للمساعدة في فهم تخطيط المحتوى المستخرج لتحليل دلالي أكثر ثراء. يتم دعم أدوار الفقرة التالية.

الدور المتوقع	Description	أنواع الملفات المعتمدة
title	العناوين الرئيسية على الصفحة	PDF ، صورة ، DOCX ، PPTX ، XLSX ، HTML
sectionHeading	عنوان فرعي واحد أو أكثر على الصفحة	PDF ، صورة ، DOCX ، XLSX ، HTML
footnote	نص بالقرب من أسفل الصفحة	PDF, صورة
pageHeader	نص بالقرب من الحافة العلوية للصفحة	PDF, صورة, DOCX
pageFooter	نص بالقرب من الحافة السفلية للصفحة	PDF ، صورة ، DOCX ، PPTX ، HTML
pageNumber	رقم الصفحة	PDF, صورة

{
    "paragraphs": [
                {
                    "spans": [],
                    "boundingRegions": [],
                    "role": "title",
                    "content": "NEWS TODAY"
                },
                {
                    "spans": [],
                    "boundingRegions": [],
                    "role": "sectionHeading",
                    "content": "Mirjam Nilsson"
                }
    ]
}

النص والخطوط والكلمات

يستخرج نموذج تخطيط المستند في ذكاء المستندات النص المطبوع والمكتوب بخط اليد ك lines و words. تتضمن المجموعة styles أي نمط مكتوب بخط اليد للسطور ، إذا تم اكتشافه ، جنبا إلى جنب مع الامتدادات التي تشير إلى النص المقترن. تنطبق هذه الميزة على اللغات المعتمدة المكتوبة بخط اليد.

بالنسبة إلى Microsoft Word وExcel وPowerPoint وHTML، يستخرج نموذج تخطيط Document Intelligence v4.0 2024-11-30 (GA) كل النص المضمن كما هو. يتم استخراج النصوص ككلمات وفقرات. الصور المضمنة غير مدعومة.

نموذج التعليمات البرمجية

# Analyze lines.
if page.lines:
    for line_idx, line in enumerate(page.lines):
    words = get_words(page, line)
    print(
        f"...Line # {line_idx} has word count {len(words)} and text '{line.content}' "
        f"within bounding polygon '{line.polygon}'"
    )

    # Analyze words.
    for word in words:
        print(f"......Word '{word.content}' has a confidence of {word.confidence}")

عرض العينات على GitHub.

"words": [
    {
        "content": "While",
        "polygon": [],
        "confidence": 0.997,
        "span": {}
    },
],
"lines": [
    {
        "content": "While healthcare is still in the early stages of its Al journey, we",
        "polygon": [],
        "spans": [],
    }
]

نمط مكتوب بخط اليد لخطوط النص

تتضمن الاستجابة ما إذا كان كل سطر نصي بأسلوب مكتوب بخط اليد أم لا ، إلى جانب درجة الثقة. لمزيد من المعلومات، راجع دعم اللغة المكتوبة بخط اليد. يوضح المثال التالي مثالا لمقتطف JSON.

"styles": [
{
    "confidence": 0.95,
    "spans": [
    {
        "offset": 509,
        "length": 24
    }
    "isHandwritten": true
    ]
}

إذا قمت بتمكين إمكانية الوظيفة الإضافية للخط/النمط، فستحصل أيضا على نتيجة الخط/النمط كجزء من الكائن styles .

علامات التحديد

يستخرج نموذج التخطيط أيضا علامات التحديد من المستندات. تظهر علامات التحديد المستخرجة pages داخل المجموعة لكل صفحة. وهي تتضمن الحدود polygonو confidenceو والتحديد state (selected/unselected). يتم تضمين تمثيل النص (أي :selected: و :unselected) أيضا كفهرس البداية (offset) ويشير length إلى خاصية المستوى content الأعلى التي تحتوي على النص الكامل من المستند.

نموذج التعليمات البرمجية

# Analyze selection marks.
if page.selection_marks:
    for selection_mark in page.selection_marks:
        print(
            f"Selection mark is '{selection_mark.state}' within bounding polygon "
            f"'{selection_mark.polygon}' and has a confidence of {selection_mark.confidence}"
        )

عرض العينات على GitHub.

{
    "selectionMarks": [
        {
            "state": "unselected",
            "polygon": [],
            "confidence": 0.995,
            "span": {
                "offset": 1421,
                "length": 12
            }
        }
    ]
}

المناضد

يعد استخراج الجداول مطلبا أساسيا لمعالجة المستندات التي تحتوي على كميات كبيرة من البيانات التي يتم تنسيقها عادة كجداول. يستخرج نموذج التخطيط الجداول في pageResults قسم إخراج JSON. تتضمن معلومات الجدول المستخرجة عدد الأعمدة والصفوف وامتداد الصف وامتداد الأعمدة.

يتم إخراج كل خلية بمضلعها المحيط جنبا إلى جنب مع معلومات ما إذا كانت المنطقة معترف بها أم columnHeader لا. يدعم النموذج استخراج الجداول التي يتم تدويرها. تحتوي كل خلية جدول على فهرس الصفوف والأعمدة وإحداثيات المضلع المحيط. بالنسبة لنص الخلية، يقوم span النموذج بإخراج المعلومات التي تحتوي على فهرس البداية (offset). يقوم النموذج أيضا إخراج length داخل محتوى المستوى الأعلى الذي يحتوي على النص الكامل من المستند.

فيما يلي بعض العوامل التي يجب مراعاتها عند استخدام إمكانية استخراج بالة "ذكاء المستندات":

• هل البيانات التي تريد استخراجها مقدمة كجدول، هل بنية الجدول ذات معنى؟
• هل يمكن احتواء البيانات في شبكة ثنائية الأبعاد إذا لم تكن البيانات بتنسيق جدول؟
• هل تمتد الجداول على صفحات متعددة؟ إذا كان الأمر كذلك، لتجنب الاضطرار إلى تسمية جميع الصفحات، قم بتقسيم ملف PDF إلى صفحات قبل إرساله إلى ذكاء المستندات. بعد التحليل، قم بمعالجة الصفحات إلى جدول واحد بعد ذلك.
• راجع الحقول الجدولية إذا قمت بإنشاء نماذج مخصصة. تحتوي الجداول الديناميكية على عدد متغير من الصفوف لكل عمود. تحتوي الجداول الثابتة على عدد ثابت من الصفوف لكل عمود.

ملاحظة

تحليل الجدول غير مدعوم إذا كان ملف الإدخال XLSX. بالنسبة إلى 2024-11-30 (GA)، تغطي المناطق المحيطة بالأشكال والجداول المحتوى الأساسي فقط وتستبعد التسمية التوضيحية والحواشي السفلية المرتبطة.

نموذج التعليمات البرمجية

if result.tables:
    for table_idx, table in enumerate(result.tables):
        print(f"Table # {table_idx} has {table.row_count} rows and " f"{table.column_count} columns")
        if table.bounding_regions:
            for region in table.bounding_regions:
                print(f"Table # {table_idx} location on page: {region.page_number} is {region.polygon}")
        # Analyze cells.
        for cell in table.cells:
            print(f"...Cell[{cell.row_index}][{cell.column_index}] has text '{cell.content}'")
            if cell.bounding_regions:
                for region in cell.bounding_regions:
                print(f"...content on page {region.page_number} is within bounding polygon '{region.polygon}'")

عرض العينات على GitHub.

{
    "tables": [
        {
            "rowCount": 9,
            "columnCount": 4,
            "cells": [
                {
                    "kind": "columnHeader",
                    "rowIndex": 0,
                    "columnIndex": 0,
                    "columnSpan": 4,
                    "content": "(In millions, except earnings per share)",
                    "boundingRegions": [],
                    "spans": []
                    },
            ]
        }
    ]
}

استجابة الإخراج لتنسيق Markdown

يمكن لواجهة برمجة تطبيقات التخطيط إخراج النص المستخرج بتنسيق Markdown. استخدم لتحديد outputContentFormat=markdown تنسيق الإخراج في Markdown. يتم إخراج محتوى Markdown كجزء من content القسم.

ملاحظة

بالنسبة للإصدار 4.0 2024-11-30 (GA) ، يتم تغيير تمثيل الجداول إلى جداول HTML لتمكين عرض العناصر مثل الخلايا المدمجة ورؤوس الصفوف المتعددة. تغيير آخر ذي صلة هو استخدام أحرف ☒ خانة الاختيار Unicode وعلامات ☐ التحديد بدلا من :selected: و :unselected:. يعني هذا التحديث أن محتوى حقول علامة التحديد يحتوي على :selected: الرغم من أن امتداداتها تشير إلى أحرف Unicode في نطاق المستوى الأعلى. للحصول على تعريف كامل لعناصر Markdown، راجع تنسيق إخراج Markdown.

نموذج التعليمات البرمجية

document_intelligence_client = DocumentIntelligenceClient(endpoint=endpoint, credential=AzureKeyCredential(key))
poller = document_intelligence_client.begin_analyze_document(
    "prebuilt-layout",
    AnalyzeDocumentRequest(url_source=url),
    output_content_format=ContentFormat.MARKDOWN,
)

عرض العينات على GitHub.

PageHeader="This is the header of the document."

This is title
===
# 1\. Text
Latin refers to an ancient Italic language originating in the region of Latium in ancient Rome.
# 2\. Page Objects
## 2.1 Table
Here's a sample table below, designed to be simple for easy understand and quick reference.
| Name | Corp | Remark |
| - | - | - |
| Foo | | |
| Bar | Microsoft | Dummy |
Table 1: This is a dummy table
## 2.2. Figure
<figure>
<figcaption>

Figure 1: Here is a figure with text
</figcaption>

![](figures/0)
FigureContent="500 450 400 400 350 250 200 200 200- Feb"
</figure>

# 3\. Others
Al Document Intelligence is an Al service that applies advanced machine learning to extract text, key-value pairs, tables, and structures from documents automatically and accurately:
    :selected:
clear
    :selected:
precise
    :unselected:
vague
    :selected:
coherent
    :unselected:
Incomprehensible
Turn documents into usable data and shift your focus to acting on information rather than compiling it. Start with prebuilt models or create custom models tailored to your documents both on premises and in the cloud with the Al Document Intelligence studio or SDK.
Learn how to accelerate your business processes by automating text extraction with Al Document Intelligence. This webinar features hands-on demos for key use cases such as document processing, knowledge mining, and industry-specific Al model customization.
PageFooter="This is the footer of the document."
PageFooter="1 | Page"

الارقام

تلعب الأشكال (الرسوم البيانية والصور) في الوثائق دورا حاسما في استكمال المحتوى النصي وتحسينه. أنها توفر تمثيلات مرئية تساعد في فهم المعلومات المعقدة. يحتوي الكائن figures الذي تم اكتشافه بواسطة نموذج التخطيط على خصائص رئيسية مثل:

• boundingRegionsالمواقع المكانية للشكل على صفحات المستند، بما في ذلك رقم الصفحة وإحداثيات المضلع التي تحدد حدود الشكل.:
• spansيمتد النص المرتبط بالشكل الذي يحدد إزاحات وأطوال داخل نص المستند.: يساعد هذا الارتباط في ربط الشكل بسياقه النصي ذي الصلة.
• elementsمعرفات العناصر النصية أو الفقرات داخل المستند المرتبطة بالشكل أو تصفه.:
• captionالوصف إن وجد.:

عند output=figures تحديده أثناء عملية التحليل الأولية، تقوم الخدمة بإنشاء صور مقصوصة لجميع الأشكال المكتشفة التي يمكن الوصول إليها عبر /analyeResults/{resultId}/figures/{figureId}. القيمة FigureId هي المعرف المضمن في كل كائن شكل، باتباع اصطلاح غير موثق لمكان {pageNumber}.{figureIndex} إعادة figureIndex التعيين إلى واحد لكل صفحة.

بالنسبة للإصدار 4.0 2024-11-30 (GA)، تغطي المناطق المحيطة بالأشكال والجداول المحتوى الأساسي فقط وتستبعد التسمية التوضيحية والحواشي السفلية المقترنة.

نموذج التعليمات البرمجية

# Analyze figures.
if result.figures:
    for figures_idx,figures in enumerate(result.figures):
        print(f"Figure # {figures_idx} has the following spans:{figures.spans}")
        for region in figures.bounding_regions:
            print(f"Figure # {figures_idx} location on page:{region.page_number} is within bounding polygon '{region.polygon}'")

عرض العينات على GitHub.

{
    "figures": [
        {
        "id": "{figureId}",
        "boundingRegions": [],
        "spans": [],
        "elements": [
            "/paragraphs/15",
            ...
        ],
        "caption": {
            "content": "Here is a figure with some text",
            "boundingRegions": [],
            "spans": [],
            "elements": [
            "/paragraphs/15"
            ]
        }
        }
    ]
}

الأقسام

يعد تحليل بنية المستندات الهرمية محوريا في تنظيم المستندات الشاملة وإدراكها ومعالجتها. يعد هذا النهج حيويا لتقسيم الوثائق الطويلة دلاليا لتعزيز الفهم وتسهيل التنقل وتحسين استرداد المعلومات. يؤكد ظهور التوليد المعزز بالاسترجاع (RAG) في الذكاء الاصطناعي لتوليد المستندات على أهمية تحليل هيكل المستندات الهرمي.

يدعم نموذج التخطيط الأقسام والأقسام الفرعية في الإخراج ، والذي يحدد علاقة الأقسام والكائنات داخل كل قسم. يتم الحفاظ على الهيكل الهرمي لكل elements قسم. يمكنك استخدام استجابة الإخراج لتنسيق Markdown للحصول بسهولة على الأقسام والأقسام الفرعية في Markdown.

نموذج التعليمات البرمجية

document_intelligence_client = DocumentIntelligenceClient(endpoint=endpoint, credential=AzureKeyCredential(key))
poller = document_intelligence_client.begin_analyze_document(
    "prebuilt-layout",
    AnalyzeDocumentRequest(url_source=url),
    output_content_format=ContentFormat.MARKDOWN,
)

عرض العينات على GitHub.

{
    "sections": [
        {
        "spans": [],
        "elements": [
            "/paragraphs/0",
            "/sections/1",
            "/sections/2",
            "/sections/5"
        ]
        },
...
}

محتوى ذو صلة

• تعرف على كيفية معالجة النماذج والمستندات الخاصة بك باستخدام Document Intelligence Studio.
• قم بإنهاء التشغيل السريع لذكاء المستندات، وقم بإنشاء تطبيق معالجة المستندات بلغة التطوير التي تختارها.

• ابحث عن المزيد من العينات على GitHub.