نموذج عصبي مخصص لذكاء المستند

هام

• توفر إصدارات المعاينة العامة ل Document Intelligence وصولا مبكرا إلى الميزات قيد التطوير النشط.
• قد تتغير الميزات والنهج والعمليات، قبل التوفر العام (GA)، استنادا إلى ملاحظات المستخدم.
• إصدار المعاينة العامة لمكتبات عميل Document Intelligence افتراضيا إلى إصدار REST API 2024-02-29-preview.
• يتوفر إصدار المعاينة العامة 2024-02-29-preview حاليا فقط في مناطق Azure التالية:
• شرق الولايات المتحدة
• غرب الولايات المتحدة 2
• غرب أوروبا

ينطبق هذا المحتوى على:v4.0 (معاينة) | الإصدارات السابقة:v3.1 (GA)v3.0 (GA)

نماذج المستندات العصبية المخصصة أو النماذج العصبية هي نوع نموذج مدروس بعمق يجمع بين ميزات التخطيط واللغة لاستخراج الحقول المسماة بدقة من المستندات. يتم تدريب النموذج العصبي المخصص الأساسي على أنواع مستندات مختلفة تجعل من المناسب تدريبه على استخراج الحقول من المستندات المنظمة وشبه المنظمة وغير المنظمة. تتوفر نماذج عصبية مخصصة في النماذج v3.0 والإصدارات الأحدث يسرد الجدول أدناه أنواع المستندات الشائعة لكل فئة:

المستندات	الأمثلة
منظّمة البنية	الاستطلاعات، الاستبيانات
شبه مهيكلة	الفواتير، أوامر الشراء
غير منظّمة البنية	العقود، الرسائل

تشترك النماذج العصبية المخصصة في نفس تنسيق التسمية والاستراتيجية مثل نماذج القوالب المخصصة. النماذج العصبية المخصصة تدعم حاليًا مجموعة فرعية فقط من أنواع الحقول التي تدعمها نماذج القوالب المخصصة.

إمكانات النموذج

هام

بدءا من إصدار 2024-02-29-preview API، تضيف النماذج العصبية المخصصة دعما للحول المتراكبة وثقة خلية الجدول.

تدعم النماذج العصبية المخصصة حاليا فقط أزواج قيم المفاتيح وعلامات التحديد والحقول المنظمة (الجداول)، وتتضمن الإصدارات المستقبلية دعم التواقيع.

حقول النموذج	علامات التحديد	الحقول الجدولية	التوقيع	المنطقة	الحقول المتراكبة
مدعوم	مدعوم	مدعوم	غير مدعوم	مدعومة 1	مدعومة 2

¹ تستخدم تسميات المنطقة في النماذج العصبية المخصصة النتائج من واجهة برمجة تطبيقات التخطيط للمنطقة المحددة. تختلف هذه الميزة عن نماذج القوالب حيث يتم إنشاء نص في وقت التدريب، إذا لم تكن هناك قيمة. ² يتم دعم الحقول المتراكبة بدءا من إصدار 2024-02-29-previewREST API . تحتوي الحقول المتداخلة على بعض الحدود. لمزيد من المعلومات، راجعالحقول المتراكبة.

إنشاء وضع

تدعم عملية نموذج مخصص البناء القوالب والنماذج العصبية المخصصة. كانت الإصدارات السابقة من REST API ومكتبات العميل تدعم فقط وضع إنشاء واحد يعرف الآن باسم وضع القالب.

تدعم النماذج العصبية المستندات التي تحتوي على نفس المعلومات، ولكن بنيات الصفحات المختلفة. تتضمن أمثلة هذه المستندات نماذج W2 للولايات المتحدة، والتي تشترك في نفس المعلومات، ولكن يمكن أن تختلف من حيث المظهر عبر الشركات. لمزيد من المعلومات، راجعوضع إنشاء النموذج المخصص.

اللغات والإعدادات المحلية المدعومة

راجع صفحة دعم اللغة - النماذج المخصصة للحصول على قائمة كاملة باللغات المدعومة.

الحقول المتراكبة

مع إصدار إصدارات واجهة برمجة التطبيقات 2024-02-29-preview والإصدارات الأحدث، ستدعم النماذج العصبية المخصصة الحقول المتداخلة:

لاستخدام الحقول المتراكبة، يجب أن تحتوي مجموعة البيانات على عينة واحدة على الأقل مع التداخل المتوقع. لتسمية تداخل، استخدم تسمية المنطقة لتعيين كل نطاق من امتدادات المحتوى (مع التداخل) لكل حقل. ستفشل تسمية تداخل مع تحديد الحقل (تمييز قيمة) في الاستوديو لأن تسمية المنطقة هي أداة التسمية المعتمدة الوحيدة للإشارة إلى تداخلات الحقول. يتضمن دعم التداخل ما يلي:

• تداخل كامل. يتم تسمية نفس مجموعة الرموز المميزة لحقولين مختلفين.
• تداخل جزئي. تنتمي بعض الرموز المميزة إلى كلا الحقلين، ولكن هناك رموز مميزة تشكل جزءا فقط من حقل واحد أو آخر.

تحتوي الحقول المتداخلة على بعض الحدود:

• يمكن تسمية أي رمز مميز أو كلمة على أنها حقلين فقط.
• لا يمكن أن تمتد الحقول المتراكبة في جدول إلى صفوف الجدول.
• لا يمكن التعرف على الحقول المتراكبة إلا إذا احتوى نموذج واحد على الأقل في مجموعة البيانات على تسميات متداخلة لتلك الحقول.

لاستخدام الحقول المتراكبة، قم بتسمية مجموعة البيانات الخاصة بك مع التداخلات وتدريب النموذج باستخدام إصدار واجهة برمجة التطبيقات أو إصدار 2024-02-29-preview أحدث.

الحقول الجدولية تضيف الثقة في الجدول والصف والخلية

باستخدام إصدار واجهة برمجة التطبيقات 2022-06-30-معاينة والإصدارات الأحدث، ستدعم النماذج العصبية المخصصة الحقول الجدولية (الجداول):

• ستقبل النماذج المدربة باستخدام إصدار واجهة برمجة التطبيقات 2022-08-31 أو إصدار أحدث تسميات الحقول الجدولية.
• المستندات التي تم تحليلها باستخدام نماذج عصبية مخصصة ستنتج باستخدام إصدار واجهة برمجة التطبيقات 2022-06-30-preview أو أحدث حقولا جدولية مجمعة عبر الجداول.
• يمكن العثور على النتائج في صفيف analyzeResult الكائن documents الذي يتم إرجاعه بعد عملية تحليل.

الحقول الجدولية تدعم الجداول عبر الصفحات بشكل افتراضي:

• لتسمية جدول يمتد عبر صفحات متعددة، يمكنك تسمية كل صف من الجدول عبر الصفحات المختلفة في جدول واحد.
• تأكد، كأفضل ممارسة، أن مجموعة البيانات تحتوي على بعض القوالب من التباينات المتوقعة. على سبيل المثال، يمكنك تضمين عينات حيث يوجد الجدول بالكامل في صفحة واحدة، وحيث تمتد الجداول عبر صفحتين أو أكثر.

الحقول الجدولية مفيدة أيضًا عند استخراج معلومات مكررة داخل مستند لم يتم التعرف عليه كجدول. يمكن، على سبيل المثال، تسمية جزء مكرر من تجارب العمل في الاستئناف واستخراجه كحقل جدولي.

توفر الحقول الجدولية ثقة في الجدول والصف والخلية بدءا من 2024-02-29-preview واجهة برمجة التطبيقات:

• تضيف الجداول الثابتة أو الديناميكية دعم الثقة للعناصر التالية:

  • ثقة الجدول، مقياس مدى دقة التعرف على الجدول بأكمله.
  • ثقة الصف، مقياس للتعرف على صف فردي.
  • ثقة الخلية، مقياس للتعرف على خلية فردية.

• النهج الموصى به هو مراجعة الدقة بطريقة من أعلى لأسفل بدءا من الجدول أولا، متبوعا بالصف ثم الخلية.

راجع درجات الثقة والدقة لمعرفة المزيد حول الجدول والصف وثقة الخلية.

المناطق المدعومة

اعتبارا من 18 أكتوبر 2022، لن يتوفر تدريب النموذج العصبي المخصص ل Document Intelligence إلا في مناطق Azure التالية حتى إشعار آخر:

• شرق أستراليا
• جنوب البرازيل
• وسط كندا
• وسط الهند‬
• Central US
• شرق آسيا
• شرق الولايات المتحدة
• منطقة شرق الولايات المتحدة 2
• وسط فرنسا
• شرق اليابان
• South Central US
• جنوب شرق آسيا
• جنوب المملكة المتحدة
• أوروبا الغربية
• غرب الولايات المتحدة2
• US Gov – أريزونا
• ولاية فرجينيا الأمريكية

تلميح

يمكنك نسخ نموذج مدرب في إحدى المناطق المحددة المدرجة في أي منطقة أخرى واستخدامه وفقا لذلك.

استخدم واجهة برمجة تطبيقات REST أو Document Intelligence Studio لنسخ نموذج إلى منطقة أخرى.

متطلبات الإدخال

• للحصول على أفضل النتائج، قم بتوفير صورة واحدة واضحة أو مسح ضوئي عالي الجودة لكل مستند.

• تنسيقات الملفات المعتمدة:

  النموذج	PDF	الصورة: jpeg/jpg، png، bmp، tiff، heif	Microsoft Office: Word (docx) وExcel (xlsx) وPowerPoint (pptx) وHTML
  قراءة	✔	✔	✔
  Layout	✔	✔	✔ (معاينة 2024-02-29 أو معاينة 2023-10-31 أو أحدث)
  مستند عام	✔	✔
  منشأ مسبقًا	✔	✔
  عصبي مخصص.	✔	✔

  ✱ ملفات Microsoft Office غير مدعومة حاليًا للنماذج أو الإصدارات الأخرى.

• بالنسبة إلى PDF وTIFF، يمكن معالجة ما يصل إلى 2000 صفحة (مع اشتراك الطبقة المجانية، تتم معالجة أول صفحتين فقط).

• حجم الملف لتحليل المستندات هو 500 ميغابايت للطبقة المدفوعة (S0) و4 ميغابايت للمستوى المجاني (F0).

• يجب أن تتراوح أبعاد الصورة بين 50 × 50 بكسل و 10000 بكسل × 10000 بكسل.

• إذا كانت ملفات PDF الخاصة بك مؤمنة بكلمة مرور، فيجب عليك إزالة القفل قبل الإرسال.

• الحد الأدنى لارتفاع النص المراد استخراجه هو 12 بكسل لصورة 1024 × 768 بكسل. يتوافق هذا البعد مع نص نقطة تقريبا 8عند 150 نقطة في البوصة.

• بالنسبة للتدريب على النموذج المخصص، الحد الأقصى لعدد صفحات بيانات التدريب هو 500 لنموذج القالب المخصص و50000 للنموذج العصبي المخصص.

• لتدريب نموذج الاستخراج المخصص، يبلغ الحجم الإجمالي لبيانات التدريب 50 ميغابايت لنموذج القالب و1G-MB للنموذج العصبي.

• بالنسبة لتدريب نموذج التصنيف المخصص، يكون الحجم الإجمالي لبيانات 1GB التدريب بحد أقصى 10000 صفحة.

أفضل الممارسات

النماذج العصبية المخصصة تختلف عن نماذج القوالب المخصصة بعدة طرق مختلفة. يعتمد القالب المخصص أو النموذج على قالب مرئي متناسق لاستخراج البيانات المسماة. تدعم النماذج العصبية المخصصة المستندات المنظمة وشبه المنظمة وغير المنظمة لاستخراج الحقول. عند الاختيار بين نوعي النموذج، ابدأ بنموذج عصبي واختبره لتحديد ما إذا كان يدعم احتياجاتك الوظيفية.

التعامل مع التباينات

يمكن تعميم النماذج العصبية المخصصة عبر تنسيقات مختلفة من نوع مستند واحد. كأفضل ممارسة، أنشئ نموذج واحد لجميع الاختلافات من نوع المستند. أضف ما لا يقل عن خمس عينات مسماة لكل من التباينات المختلفة إلى مجموعة بيانات التدريب.

تسمية الحقول

عند تسمية البيانات، يؤدي تسمية الحقل ذي الصلة بالقيمة إلى تحسين دقة أزواج قيم المفاتيح المستخرجة. على سبيل المثال، بالنسبة لقيمة حقل تحتوي على معرف المورد، ضع في اعتبارك تسمية الحقل supplier_id. أسماء الحقول يجب أن تكون بلغة المستند.

تسمية القيم المتجاورة

يجب أن تكون الرموز المميزة للقيمة/كلمات حقل واحد إما:

• في تسلسل متتالي بترتيب القراءة الطبيعي، دون التداخل مع الحقول الأخرى
• في منطقة لا تغطي أي حقول أخرى

بيانات تمثيلية

ينبغي أن تكون القيم في حالات التدريب متنوعة وتمثيلية. على سبيل المثال، إذا كان الحقل يسمى date، فيجب أن تكون قيم هذا الحقل تاريخا. يمكن أن تؤثر القيمة الاصطناعية مثل سلسلة عشوائية على أداء النموذج.

القيود الحالية

• لا يتعرف النموذج العصبي المخصص على القيم المقسمة عبر حدود الصفحة.
• يتم تجاهل أنواع الحقول العصبية المخصصة غير المدعومة إذا تم استخدام مجموعة بيانات مسماة لنماذج القالب المخصصة لتدريب نموذج عصبي مخصص.
• تقتصر النماذج العصبية المخصصة على 20 عملية بناء شهريا. إذا كنت بحاجة إلى زيادة الحد، افتح طلب دعم. لمزيد من المعلومات، راجع الحصص النسبية وحدود خدمة معلومات المستند.

تدريب نموذج

تتوفر نماذج عصبية مخصصة في النماذج v3.0 والإحدث.

Dokumenttype	واجهة برمجة تطبيقات REST	SDK	نماذج التسمية والاختبار
مستند مخصص	Document Intelligence 3.1	Document Intelligence SDK	Document Intelligence Studio

تدعم عملية الإصدار لتدريب النموذج خاصية buildMode جديدة، ولتدريب نموذج محايد مخصص، قم بتعيين buildMode إلى neural.

https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-02-29-preview

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

الخطوات التالية

تعلم كيفية إنشاء نماذج مخصصة:

إنشاء نموذجمخصص إنشاء نماذج مخصصة