نماذج مخصصة لذكاء المستند

هام

• توفر إصدارات المعاينة العامة ل Document Intelligence وصولا مبكرا إلى الميزات قيد التطوير النشط.
• قد تتغير الميزات والنهج والعمليات، قبل التوفر العام (GA)، استنادا إلى ملاحظات المستخدم.
• إصدار المعاينة العامة لمكتبات عميل Document Intelligence افتراضيا إلى إصدار REST API 2024-02-29-preview.
• يتوفر إصدار المعاينة العامة 2024-02-29-preview حاليا فقط في مناطق Azure التالية:
• شرق الولايات المتحدة
• غرب الولايات المتحدة 2
• غرب أوروبا

ينطبق هذا المحتوى على:v4.0 (معاينة) | الإصدارات السابقة:v3.1 (GA)v3.0 (GA)v2.1 (GA)

يستخدم Document Intelligence تقنية التعلم الآلي المتقدمة لتحديد المستندات، واكتشاف المعلومات واستخراجها من النماذج والمستندات، وإرجاع البيانات المستخرجة في إخراج JSON منظم. باستخدام Document Intelligence، يمكنك استخدام نماذج تحليل المستندات أو النماذج المخصصة المستقلة المضمنة مسبقا/المدربة مسبقا أو النماذج المخصصة المستقلة المدربة.

تتضمن النماذج المخصصة الآن نماذج تصنيف مخصصة للسيناريوهات التي تحتاج فيها إلى تحديد نوع المستند قبل استدعاء نموذج الاستخراج. تتوفر نماذج المصنفات بدءا من 2023-07-31 (GA) واجهة برمجة التطبيقات. يمكن إقران نموذج التصنيف بنموذج استخراج مخصص لتحليل واستخراج الحقول من النماذج والمستندات الخاصة بعملك لإنشاء حل لمعالجة المستندات. يمكن دمج نماذج الاستخراج المخصصة المستقلة لإنشاء نماذج مكونة.

أنواع نماذج المستندات المخصصة

يمكن أن تكون نماذج المستندات المخصصة واحدة من نوعين، قالب مخصص أو نموذج مخصص ونماذج مستندات عصبية أو مخصصة مخصصة. عملية التسمية والتدريب لكلا النموذجين متطابقة، ولكن تختلف النماذج كما يلي:

نماذج استخراج مخصصة

لإنشاء نموذج استخراج مخصص، قم بتسمية مجموعة بيانات من المستندات بالقيم التي تريد استخراجها وتدريب النموذج على مجموعة البيانات المسماة. تحتاج فقط إلى خمسة أمثلة من نفس نوع النموذج أو المستند للبدء.

النماذج العصبية المخصصة

هام

بدءا من الإصدار 4.0 — 2024-02-29-preview API، تدعم النماذج العصبية المخصصة الآن الحقول المتداخلة والثقة في الجدول والصف ومستوى الخلية.

يستخدم نموذج العصبية المخصص (المستند المخصص) نماذج التعلم العميق والنموذج الأساسي المدرب على مجموعة كبيرة من المستندات. ثم يتم ضبط هذا النموذج أو تكييفه مع بياناتك عند تدريب النموذج باستخدام مجموعة بيانات مسماة. تدعم النماذج العصبية المخصصة المستندات المنظمة وشبه المنظمة وغير المنظمة لاستخراج الحقول. تدعم النماذج العصبية المخصصة حالياً المستندات باللغة الإنجليزية. عند الاختيار بين نوعي النموذج، ابدأ بنموذج عصبي لتحديد ما إذا كان يلبي احتياجاتك الوظيفية. راجع النماذج العصبية لمعرفة المزيد حول نماذج المستندات المخصصة.

نماذج قالب مخصصة

يعتمد القالب المخصص أو نموذج النموذج المخصص على قالب مرئي متناسق لاستخراج البيانات المسماة. تؤثر التباينات في البنية المرئية لمستنداتك على دقة النموذج الخاص بك. النماذج المنظمة مثل الاستبيانات أو التطبيقات هي أمثلة على قوالب مرئية متسقة.

تتكون مجموعة التدريب الخاصة بك من مستندات منظمة حيث يكون التنسيق والتخطيط ثابتين وثابتين من مثيل مستند إلى آخر. تدعم نماذج القوالب المخصصة أزواج قيم المفاتيح وعلامات التحديد والجداول وحقول التوقيع والمناطق. نماذج القوالب ويمكن تدريبها على المستندات بأي من اللغات المدعومة. لمزيد من المعلومات، راجعنماذج القوالب المخصصة.

إذا كانت لغة المستندات وسيناريوهات الاستخراج تدعم النماذج العصبية المخصصة، نوصي باستخدام نماذج عصبية مخصصة عبر نماذج القوالب للحصول على دقة أعلى.

تلميح

للتأكد من أن مستندات التدريب الخاصة بك تقدم قالب مرئي متناسق، أزل جميع البيانات التي أدخلها المستخدم من كل نموذج في المجموعة. إذا كانت النماذج الفارغة متطابقة في المظهر، فإنها تمثل قالب مرئي متناسق.

لمزيد من المعلومات، راجعتفسير وتحسين الدقة والثقة للنماذج المخصصة.

متطلبات الإدخال

• للحصول على أفضل النتائج، قم بتوفير صورة واحدة واضحة أو مسح ضوئي عالي الجودة لكل مستند.

• تنسيقات الملفات المعتمدة:

  النموذج	PDF	الصورة: jpeg/jpg، png، bmp، tiff، heif	Microsoft Office: Word (docx) وExcel (xlsx) وPowerPoint (pptx)
  قراءة	✔	✔	✔
  Layout	✔	✔	✔ (معاينة 2024-02-29، معاينة 2023-10-31، والإحدث)
  مستند عام	✔	✔
  منشأ مسبقًا	✔	✔
  استخراج مخصص	✔	✔
  تصنيف مخصص	✔	✔	✔

  ✱ ملفات Microsoft Office غير مدعومة حاليًا للنماذج أو الإصدارات الأخرى.

• بالنسبة إلى PDF وTIFF، يمكن معالجة ما يصل إلى 2000 صفحة (مع اشتراك الطبقة المجانية، تتم معالجة أول صفحتين فقط).

• حجم الملف لتحليل المستندات هو 500 ميغابايت للطبقة المدفوعة (S0) و4 ميغابايت للمستوى المجاني (F0).

• يجب أن تتراوح أبعاد الصورة بين 50 × 50 بكسل و 10000 بكسل × 10000 بكسل.

• إذا كانت ملفات PDF الخاصة بك مؤمنة بكلمة مرور، فيجب عليك إزالة القفل قبل الإرسال.

• الحد الأدنى لارتفاع النص المراد استخراجه هو 12 بكسل لصورة 1024 × 768 بكسل. يتوافق هذا البعد مع نص نقطة تقريبا 8عند 150 نقطة في البوصة.

• بالنسبة للتدريب على النموذج المخصص، الحد الأقصى لعدد صفحات بيانات التدريب هو 500 لنموذج القالب المخصص و50000 للنموذج العصبي المخصص.

• لتدريب نموذج الاستخراج المخصص، يبلغ الحجم الإجمالي لبيانات التدريب 50 ميغابايت لنموذج القالب و1G-MB للنموذج العصبي.

• بالنسبة لتدريب نموذج التصنيف المخصص، يكون الحجم الإجمالي لبيانات 1GB التدريب بحد أقصى 10000 صفحة.

إنشاء وضع

تضيف عملية إنشاء نموذج مخصص دعما للقالب والنماذج العصبية المخصصة. كانت الإصدارات السابقة من REST API ومكتبات العميل تدعم فقط وضع إنشاء واحد يعرف الآن باسم وضع القالب.

• تقبل نماذج القوالب فقط المستندات التي لها نفس بنية الصفحة الأساسية - مظهر مرئي موحد - أو نفس الموضع النسبي للعناصر داخل المستند.

• تدعم النماذج العصبية المستندات التي تحتوي على نفس المعلومات، ولكن بنيات الصفحات المختلفة. تتضمن أمثلة هذه المستندات نماذج W2 للولايات المتحدة، والتي تشترك في نفس المعلومات، ولكنها تختلف من حيث المظهر عبر الشركات. تدعم النماذج العصبية حالياً النص باللغة الإنجليزية فقط.

يوفر هذا الجدول ارتباطات إلى مراجع SDK للغة الكمبيوتر وضع الإنشاء وعينات التعليمات البرمجية على GitHub:

لغة البرمجة	مرجع SDK	Code sample
C#/.NET	بنية DocumentBuildMode	Sample_BuildCustomModelAsync.cs
Java	فئة DocumentBuildMode	BuildModel.java
JavaScript	نوع DocumentBuildMode	buildModel.js
Python	قائمة تعداد DocumentBuildMode	sample_build_model.py

مقارنة ميزات النموذج

يقارن الجدول التالي القالب المخصص والميزات العصبية المخصصة:

ميزة	القالب المخصص (نموذج)	عصبي مخصص (مستند)
بنية المستند	القالب والنموذج ومنظم البنية	منظم البنية وشبه منظم البنية وغير منظم البنية
وقت التدريب	1 إلى 5 دقائق	20 دقيقة إلى ساعة واحدة
استخراج البيانات	أزواج قيم المفاتيح والجداول وعلامات التحديد والإحداثيات والتوقيعات	أزواج قيم المفاتيح وعلامات التحديد والجداول
الحقول المتراكبة	غير مدعوم	مدعوم
تباينات المستند	يتطلب نموذجاً لكل تباين	يستخدم نموذجاً واحداً لجميع التباينات
الدعم اللغوي	دعم اللغات المتعددة	الإنجليزية، مع دعم المعاينة لدعم اللغة الإسبانية والفرنسية والألمانية والإيطالية والهولندية

نموذج تصنيف مخصص

تصنيف المستندات هو سيناريو جديد يدعمه Document Intelligence مع 2023-07-31 واجهة برمجة التطبيقات (v3.1 GA). تدعم واجهة برمجة تطبيقات مصنف المستند سيناريوهات التصنيف والتقسيم. تدريب نموذج تصنيف لتحديد أنواع المستندات المختلفة التي يدعمها التطبيق الخاص بك. يمكن أن يحتوي ملف الإدخال لنموذج التصنيف على مستندات متعددة ويصنف كل مستند ضمن نطاق صفحة مقترن. لمعرفة المزيد، راجعنماذج التصنيف المخصصة.

إشعار

البدء بتصنيف 2024-02-29-preview مستندات إصدار واجهة برمجة التطبيقات يدعم الآن أنواع مستندات Office للتصنيف. يقدم إصدار واجهة برمجة التطبيقات هذا أيضا تدريبا تزايديا لنموذج التصنيف.

أدوات النموذج المخصص

تدعم نماذج Document Intelligence v3.1 والإحدث الأدوات والتطبيقات والمكتبات والبرامج والمكتبات التالية:

ميزة	الموارد	معرف النموذج
نموذج مخصص	• Document Intelligence Studio • REST API • C# SDK • Python SDK	custom-model-id

إنشاء نموذج مخصص

استخراج البيانات من مستنداتك المحددة أو الفريدة باستخدام نماذج مخصصة. تحتاج إلى الموارد التالية:

• اشتراك Azure. يمكنك إنشاء حسابًا مجانيًا.

• مثيل Document Intelligence في مدخل Microsoft Azure. يمكنك استخدام طبقة التسعير المجانيةF0 () لتجربة الخدمة. بعد نشر المورد، حدد انتقال إلى المورد للحصول على المفتاح ونقطة النهاية.

  

Document Intelligence Studio

إشعار

يتوفر Document Intelligence Studio مع واجهات برمجة التطبيقات v3.1 وv3.0.

1. في الصفحة الرئيسية ل Document Intelligence Studio ، حدد Custom extraction models.

2. ضمن مشاريعي، حدد إنشاء مشروع.

3. أكمل حقول تفاصيل المشروع.

4. كوّن مورد الخدمة عن طريق إضافة حساب التخزين وحاوية كائن ثنائي كبير الحجم من أجل تعيين مصدر بيانات التدريب الخاص بك.

5. راجع مشروعك وأنشئه.

6. أضف نماذج المستندات الخاصة بك لتسمية النموذج المخصص الخاص بك وبناءه واختباره.

جرب Document Intelligence Studio

للحصول على معاينة مفصلة لإنشاء أول نموذج استخراج مخصص، راجعكيفية إنشاء نموذج استخراج مخصص.

ملخص استخراج النموذج المخصص

يقارن هذا الجدول مناطق استخراج البيانات المدعومة:

النموذج	حقول النموذج	علامات التحديد	الحقول منظمة البينة (الجداول)	التوقيع	تسمية المنطقة	الحقول المتراكبة
القالب المخصص	✔	✔	✔	✔	✔	غير متوفر
عصبي مخصص.	✔	✔	✔	غير متوفر	*	✔ (2024-02-29-preview)

رموز الجدول:
✔ —مدعوم
**n/a—غير متوفر حاليا;
*-يتصرف بشكل مختلف اعتمادا على النموذج. مع نماذج القالب، يتم إنشاء البيانات الاصطناعية في وقت التدريب. باستخدام النماذج العصبية، يتم تحديد إنهاء النص الذي تم التعرف عليه في المنطقة.

تلميح

عند الاختيار بين نوعي النموذج، ابدأ بنموذج عصبي مخصص إذا كان يلبي احتياجاتك الوظيفية. راجع العصبي المخصص لمعرفة المزيد حول النماذج العصبية المخصصة.

خيارات تطوير النموذج المخصصة

يصف الجدول التالي الميزات المتوفرة مع الأدوات المقترنة ومكتبات العميل. كأفضل ممارسة، تأكد من استخدام الأدوات المتوافقة المذكورة هنا.

نوع المستند	واجهة برمجة تطبيقات REST	SDK	نماذج التسمية والاختبار
قالب مخصص v 4.0 v3.1 v3.0	Document Intelligence 3.1	Document Intelligence SDK	Document Intelligence Studio
V4.0 v3.1 v3.0 مخصص عصبي	Document Intelligence 3.1	Document Intelligence SDK	Document Intelligence Studio
نموذج مخصص v2.1	Document Intelligence 2.1 GA API	Document Intelligence SDK	أداة تسمية عينة

إشعار

ستتم بعض التحسينات على نماذج القوالب المخصصة المدربة مع واجهة برمجة التطبيقات 3.0 في واجهة برمجة التطبيقات 2.1 الناشئة عن التحسينات التي تم إدخالها على محرك التعرف البصري على الحروف. لا يزال من الممكن استخدام مجموعات البيانات المستخدَمة لتدريب نموذج قالب مخصص باستخدام واجهة برمجة التطبيقات 2.1 لتدريب نموذج جديد باستخدام واجهة برمجة التطبيقات 3.0.

• للحصول على أفضل النتائج، قم بتوفير صورة واحدة واضحة أو مسح ضوئي عالي الجودة لكل مستند.

• تنسيقات الملفات المدعومة: JPEG/JPG وPNG وBMP وTIFF وPDF (مضمنة في النص أو ممسوحة ضوئياً). تعد ملفات PDF المضمنة في النص هي الأفضل للتخلص من احتمال حدوث خطأ في استخراج الأحرف والموقع.

• بالنسبة لملفات PDF وTIFF، يمكن معالجة ما يصل إلى 2000 صفحة. باستخدام اشتراك الطبقة المجانية، تتم معالجة أول صفحتين فقط.

• يجب أن يكون حجم الملف أقل من 500 ميغابايت للطبقة المدفوعة (S0) و4 ميغابايت للمستوى المجاني (F0).

• يجب أن تتراوح أبعاد الصورة بين 50 × 50 بكسل و10,000 x 10,000 بكسل.

• تصل أبعاد ملف PDF إلى 17×17 بوصة، بما يتوافق مع حجم الورق الحجم القانوني أو A3، أو أصغر.

• الحجم الإجمالي لبيانات التدريب 500 صفحة أو أقل.

• إذا كانت ملفات PDF الخاصة بك مؤمنة بكلمة مرور، فيجب عليك إزالة القفل قبل الإرسال.

  تلميح

  بيانات التدريب:

  • استخدم مستندات PDF المستندة إلى نص بدلاً من المستندات المستندة إلى الصورة، إن أمكن. تتم معالجة مستندات PDFs الممسوحة ضوئيًا كصور.
  • يرجى توفير مثيل واحد فقط من النموذج لكل مستند.
  • بالنسبة للنماذج المملوءة، استخدم الأمثلة التي تحتوي على كافة حقولها التي تم ملؤها.
  • استخدام نماذج ذات قيم مختلفة في كل حقل.
  • إذا كانت صور النموذج ذات جودة أقل، فاستخدم مجموعة بيانات أكبر. على سبيل المثال، استخدم 10 إلى 15 صورة.

اللغات والإعدادات المحلية المدعومة

راجع صفحة دعم اللغة - النماذج المخصصة للحصول على قائمة كاملة باللغات المدعومة.

الخطوات التالية

• حاول معالجة النماذج والمستندات الخاصة بك باستخدام Document Intelligence Studio.

• أكمل التشغيل السريع ل Document Intelligence وابدأ في إنشاء تطبيق لمعالجة المستندات بلغة التطوير التي تختارها.