النماذج المخصصة للذكاء المستندي

ينطبق هذا المحتوى على:v4.0 (GA) | الإصدارات السابقة:v3.1 (GA)v3.0 (GA)v2.1 (GA)

يستخدم ذكاء المستندات تقنية التعلم الآلي المتقدمة لتحديد المستندات واكتشاف المعلومات واستخراجها من النماذج والمستندات وإرجاع البيانات المستخرجة في إخراج JSON منظم. باستخدام Document Intelligence ، يمكنك استخدام نماذج تحليل المستندات ، أو النماذج المخصصة المعدة مسبقا / المدربة مسبقا ، أو النماذج المخصصة المستقلة المدربة.

تتضمن النماذج المخصصة الآن نماذج تصنيف مخصصة للسيناريوهات التي تحتاج فيها إلى تحديد نوع المستند قبل استدعاء نموذج الاستخراج. تتوفر نماذج المصنف بدءا من 2023-07-31 (GA) واجهة برمجة التطبيقات. يمكن إقران نموذج التصنيف بنموذج استخراج مخصص لتحليل الحقول واستخراجها من النماذج والمستندات الخاصة بعملك. يمكن دمج نماذج الاستخراج المخصصة المستقلة لإنشاء نماذج مكونة.

أنواع نماذج المستندات المخصصة

يمكن أن تكون نماذج المستندات المخصصة واحدة من نوعين، قالب مخصص أو نموذج مخصص ونماذج مستندات عصبية أو مخصصة مخصصة. عملية وضع العلامات والتدريب لكلا الطرازين متطابقة ، لكن النماذج تختلف على النحو التالي:

نماذج الاستخراج المخصصة

لإنشاء نموذج استخراج مخصص، قم بتسمية مجموعة بيانات من المستندات بالقيم التي تريد استخراجها وقم بتدريب النموذج على مجموعة البيانات المسماة. ما عليك سوى خمسة أمثلة من نفس النموذج أو نوع المستند للبدء.

نموذج عصبي مخصص

مهم

تدعم واجهة برمجة تطبيقات ذكاء v4.0 2024-11-30 (GA) المستندات الحقول المتداخلة للنموذج العصبي المخصص واكتشاف التوقيعوالثقة على مستوى الجدول والصف والخلية.

يستخدم النموذج العصبي المخصص (المستند المخصص) نماذج التعلم العميق والنموذج الأساسي المدرب على مجموعة كبيرة من المستندات. ثم يتم ضبط هذا النموذج أو تكييفه مع بياناتك عند تدريب النموذج باستخدام مجموعة بيانات مسماة. تدعم النماذج العصبية المخصصة استخراج حقول البيانات الرئيسية من المستندات المنظمة وشبه المنظمة وغير المنظمة. عند الاختيار بين نوعي النماذج ، ابدأ بنموذج عصبي لتحديد ما إذا كان يلبي احتياجاتك الوظيفية. مع الإصدار 4.0 ، يدعم النموذج العصبي المخصص اكتشاف التوقيع والثقة في الجدول والحقول المتداخلة. راجع النماذج العصبية لمعرفة المزيد حول نماذج المستندات المخصصة.

نموذج القالب المخصص

يعتمد القالب المخصص أو نموذج النموذج المخصص على قالب مرئي متناسق لاستخراج البيانات المسماة. تؤثر الاختلافات في البنية المرئية لمستنداتك على دقة النموذج الخاص بك. تعد النماذج المنظمة مثل الاستبيانات أو التطبيقات أمثلة على القوالب المرئية المتسقة.

تتكون مجموعة التدريب الخاصة بك من مستندات منظمة حيث يكون التنسيق والتخطيط ثابتين وثابتين من مثيل مستند إلى آخر. تدعم نماذج القوالب المخصصة أزواج القيم الرئيسية وعلامات التحديد والجداول وحقول التوقيع والمناطق. نماذج القوالب ويمكن تدريبها على المستندات بأي من اللغات المدعومة. لمزيد من المعلومات، راجعنماذج القوالب المخصصة.

إذا كانت لغة المستندات وسيناريوهات الاستخراج تدعم النماذج العصبية المخصصة، فإننا نوصي باستخدام النماذج العصبية المخصصة على نماذج القوالب للحصول على دقة أعلى.

تلميح

للتأكد من أن مستندات التدريب الخاصة بك تقدم نموذجا مرئيا متسقا، قم بإزالة جميع البيانات التي أدخلها المستخدم من كل نموذج في المجموعة. إذا كانت النماذج الفارغة متطابقة في المظهر، فإنها تمثل قالبا مرئيا متسقا.

لمزيد من المعلومات، راجعتفسير الدقة والثقة للنماذج المخصصة وتحسينهما.

متطلبات الإدخال

• للحصول على أفضل النتائج، قدم صورة واحدة واضحة أو مسح ضوئي عالي الجودة لكل مستند.

• تنسيقات الملفات المدعومة:

  Model	PDF	الصورة: jpeg/jpg, png, bmp, tiff, heif	مايكروسوفت أوفيس: Word (docx) ، Excel (xlsx) ، PowerPoint (pptx)
  قراءة	✔	✔	✔
  التخطيط	✔	✔	✔
  وثيقة عامة	✔	✔
  Prebuilt	✔	✔
  استخراج مخصص	✔	✔
  التصنيف المخصص	✔	✔	✔

  ✱ ملفات Microsoft Office غير مدعومة حاليا للطرز أو الإصدارات الأخرى.

• بالنسبة إلى PDF وTIFF، يمكن معالجة ما يصل إلى 2000 صفحة (مع اشتراك الطبقة المجانية، تتم معالجة أول صفحتين فقط).

• حجم الملف لتحليل المستندات هو 500 MB للطبقة المدفوعة (S0) والطبقة 4 MB المجانية (F0).

• يجب أن تتراوح أبعاد الصورة بين 50 × 50 بكسل و 10,000 بكسل × 10,000 بكسل.

• إذا كانت ملفات PDF الخاصة بك مقفلة بكلمة مرور، فيجب عليك إزالة القفل قبل الإرسال.

• الحد الأدنى لارتفاع النص المراد استخراجه هو 12 بكسل لصورة 1024 × 768 بكسل. يتوافق هذا البعد مع نص حوالي 8-point عند 150 نقاط في البوصة.

• بالنسبة لتدريب النموذج المخصص، يكون الحد الأقصى لعدد الصفحات لبيانات التدريب هو 500 صفحة لنموذج القالب المخصص و50,000 للنموذج العصبي المخصص.

• بالنسبة للتدريب على نموذج الاستخراج المخصص ، يكون الحجم الإجمالي لبيانات 50 MB التدريب لنموذج القالب والنموذج 1 GB العصبي.

• بالنسبة للتدريب على نموذج التصنيف المخصص ، يكون 1 GB الحجم الإجمالي لبيانات التدريب بحد أقصى 10,000 صفحة.

بيانات التدريب المثلى

بيانات إدخال التدريب هي أساس أي نموذج للتعلم الآلي. يحدد جودة النموذج ودقته وأدائه. لذلك ، من الأهمية بمكان إنشاء أفضل بيانات إدخال التدريب الممكنة لمشروع ذكاء المستندات الخاص بك. عند استخدام النموذج المخصص للمعلومات المتعلقة بالمستندات، فإنك توفر بيانات التدريب الخاصة بك. فيما يلي بعض النصائح للمساعدة في تدريب نماذجك بشكل فعال:

• استخدم ملفات PDF المستندة إلى النص بدلا من ملفات PDF المستندة إلى الصور عندما يكون ذلك ممكنا. تتمثل إحدى طرق تحديد ملف PDF يستند إلى الصورة* في محاولة تحديد نص معين في المستند. إذا كان بإمكانك تحديد صورة النص بأكملها فقط، فسيكون المستند إلى الصورة وليس إلى النص.

• قم بتنظيم مستندات التدريب الخاصة بك باستخدام مجلد فرعي لكل تنسيق (JPEG / JPG أو PNG أو BMP أو PDF أو TIFF).

• استخدم النماذج التي تحتوي على جميع الحقول المتوفرة المكتملة.

• استخدم النماذج ذات القيم المختلفة في كل حقل.

• استخدم مجموعة بيانات أكبر (أكثر من خمسة مستندات تدريبية) إذا كانت صورك منخفضة الجودة.

• حدد ما إذا كنت بحاجة إلى استخدام نموذج واحد أو نماذج متعددة مكونة في نموذج واحد.

• ضع في اعتبارك تقسيم مجموعة البيانات الخاصة بك إلى مجلدات، حيث يكون كل مجلد نموذجا فريدا. تدريب نموذج واحد لكل مجلد، وقم بتكوين النماذج الناتجة في نقطة نهاية واحدة. يمكن أن تنخفض دقة النموذج عندما يكون لديك تنسيقات مختلفة يتم تحليلها باستخدام نموذج واحد.

• ضع في اعتبارك تقسيم مجموعة البيانات لتدريب نماذج متعددة إذا كان النموذج يحتوي على اختلافات في التنسيقات وفواصل الصفحات. تعتمد النماذج المخصصة على قالب مرئي متسق.

• تأكد من أن لديك مجموعة بيانات متوازنة من خلال حساب التنسيقات وأنواع المستندات والهيكل.

وضع البناء

build custom model تضيف العملية دعما للقالب والنماذج المخصصة العصبية. دعمت الإصدارات السابقة من واجهة برمجة تطبيقات REST ومكتبات العملاء وضع إنشاء واحد فقط يعرف الآن باسم وضع القالب .

• لا تقبل نماذج القوالب إلا المستندات التي لها نفس بنية الصفحة الأساسية - المظهر المرئي الموحد - أو نفس الموضع النسبي للعناصر داخل المستند.

• تدعم النماذج العصبية المستندات التي تحتوي على نفس المعلومات ، ولكن بنيات صفحات مختلفة. تتضمن أمثلة هذه المستندات نماذج W2 في الولايات المتحدة، والتي تشترك في نفس المعلومات، ولكنها تختلف في المظهر باختلاف الشركات.

يوفر هذا الجدول ارتباطات إلى مراجع SDK للغة البرمجة في وضع الإنشاء ونماذج التعليمات البرمجية على GitHub:

لغة البرمجة	مرجع SDK	نموذج التعليمات البرمجية
C#/.NET	بنية DocumentBuildMode	Sample_BuildCustomModelAsync
Java	فئة DocumentBuildMode	BuildDocumentModel
JavaScript	نوع DocumentBuildMode	buildModel.js
Python	DocumentBuildMode التعداد

مقارنة ميزات الطراز

يقارن الجدول التالي بين القالب المخصص والميزات العصبية المخصصة:

ميزة	قالب مخصص (نموذج)	عصبي مخصص (مستند)
بنية المستند	القالب والنموذج والهيكل	منظم وشبه منظم وغير منظم
وقت التدريب	من 1 إلى 5 دقائق	من 30 دقيقة إلى 12 ساعة*
استخراج البيانات	أزواج القيم الرئيسية والجداول وعلامات التحديد والإحداثيات والتوقيعات	أزواج القيم الرئيسية وعلامات التحديد والجداول
الحقول المتداخلة	غير مدعوم	مدعوم
اختلافات المستندات	يتطلب نموذجا لكل شكل	يستخدم نموذجا واحدا لجميع الأشكال
دعم اللغة	قالب مخصص لدعم اللغة	دعم اللغة العصبية المخصصة

* - وقت التدريب الافتراضي هو 30 دقيقة ، قم بتمكين التدريب المدفوع لتدريب عارضة أطول من 30 دقيقة. تحقق من مزيد من التفاصيل ضمن دعم التدريب للعصبية المخصصة

نموذج تصنيف مخصص

تصنيف المستندات هو سيناريو جديد يدعمه ذكاء المستندات باستخدام 2023-07-31 واجهة برمجة تطبيقات (v3.1 GA). تدعم واجهة برمجة تطبيقات مصنف المستند سيناريوهات التصنيف والتقسيم. تدريب نموذج تصنيف لتحديد الأنواع المختلفة من المستندات التي يدعمها تطبيقك. يمكن أن يحتوي ملف الإدخال لنموذج التصنيف على مستندات متعددة ويصنف كل مستند ضمن نطاق صفحة مقترن. لمعرفة المزيد، راجع نماذج التصنيف المخصصة.

إشعار

v4.0 2024-11-30 (GA) يدعم نموذج تصنيف المستندات أنواع مستندات Office للتصنيف. يقدم إصدار واجهة برمجة التطبيقات هذا أيضا تدريبا تدريجيا لنموذج التصنيف.

أدوات النموذج المخصص

تدعم الإصدار 3.1 من Document Intelligence والنماذج الأحدث الأدوات والتطبيقات والمكتبات والبرامج والمكتبات التالية:

ميزة	الموارد	معرف النموذج
نموذج مخصص	• استوديو ذكاء المستندات • واجهة برمجة تطبيقات REST • C # SDK • Python SDK	معرف الطراز المخصص

دورة حياة النموذج المخصص

تعتمد دورة حياة النموذج المخصص على إصدار واجهة برمجة التطبيقات المستخدم لتدريبه. إذا كان إصدار واجهة برمجة التطبيقات هو إصدار إتاحة عام (GA)، فإن النموذج المخصص له نفس دورة حياة هذا الإصدار. لا يتوفر النموذج المخصص للاستدلال عند إهمال إصدار واجهة برمجة التطبيقات. إذا كان إصدار واجهة برمجة التطبيقات هو إصدار معاينة، فإن النموذج المخصص له نفس دورة حياة إصدار المعاينة لواجهة برمجة التطبيقات.

إنشاء نموذج مخصص

استخراج البيانات من مستنداتك المحددة أو الفريدة باستخدام نماذج مخصصة. تحتاج إلى الموارد التالية:

• اشتراك Azure. يمكنك إنشاء حساب مجانا.

• مثيل Document Intelligence في مدخل Microsoft Azure. يمكنك استخدام مستوى التسعير المجاني (F0) لتجربة الخدمة. بعد نشر المورد، حدد Go to resource للحصول على المفتاح ونقطة النهاية.

  

استوديو ذكاء المستندات

إشعار

يتوفر Document Intelligence Studio مع واجهات برمجة التطبيقات v3.1 وv3.0.

1. في الصفحة الرئيسية ل Document Intelligence Studio ، حدد نماذج الاستخراج المخصصة.

2. ضمن مشاريعي، حدد إنشاء مشروع.

3. أكمل حقول تفاصيل المشروع.

4. قم بتكوين مورد الخدمة عن طريق إضافة حساب التخزينوحاوية Blobلتوصيل مصدر بيانات التدريب الخاص بك.

5. راجع وأنشئ مشروعك.

6. أضف نماذج المستندات الخاصة بك لتسمية النموذج المخصص وإنشائه واختباره.

جرب استوديو ذكاء المستندات

للحصول على إرشادات تفصيلية لإنشاء نموذج استخراج مخصص أول، راجعكيفية إنشاء نموذج استخراج مخصص.

ملخص استخراج النموذج المخصص

يقارن هذا الجدول مناطق استخراج البيانات المدعومة:

Model	حقول النموذج	علامات الاختيار	الحقول المنظمة (الجداول)	التوقيع	تصنيف المنطقة	الحقول المتداخلة
قالب مخصص	✔	✔	✔	✔	✔	غير متوفر
عصبي مخصص	✔	✔	✔	✔	*	✔

رموز الجدول:
✔ —مدعوم
** غير متاح حاليا ؛
* - يتصرف بشكل مختلف حسب الطراز. باستخدام نماذج القوالب ، يتم إنشاء البيانات التركيبية في وقت التدريب. باستخدام النماذج العصبية، يتم تحديد النص الموجود المعترف به في المنطقة.

تلميح

للاختيار بين نوعي النموذج، ابدأ بنموذج عصبي مخصص إذا كان يلبي احتياجاتك الوظيفية. راجع العصبية المخصصة لمعرفة المزيد حول النماذج العصبية المخصصة.

خيارات تطوير النموذج المخصص

يصف الجدول التالي الميزات المتوفرة مع الأدوات المقترنة ومكتبات العميل. كأفضل ممارسة، تأكد من استخدام الأدوات المتوافقة المدرجة هنا.

نوع المستند	واجهة برمجة تطبيقات REST	SDK	نماذج الملصقات والاختبار
قالب مخصص v4.0 v3.1 v3.0	ذكاء المستندات 3.1	حزمة تطوير البرامج (SDK) للذكاء المتعلق بالمستندات	استوديو ذكاء المستندات
الإصدار العصبي المخصص v4.0 v3.1 v3.0	ذكاء المستندات 3.1	حزمة تطوير البرامج (SDK) للذكاء المتعلق بالمستندات	استوديو ذكاء المستندات
نموذج مخصص v2.1	ذكاء المستندات 2.1 واجهة برمجة تطبيقات GA	حزمة تطوير البرامج (SDK) للذكاء المتعلق بالمستندات	أداة وضع العلامات على العينة

إشعار

تحتوي نماذج القوالب المخصصة المدربة باستخدام واجهة برمجة التطبيقات 3.0 على بعض التحسينات على واجهة برمجة التطبيقات 2.1 الناجمة عن التحسينات التي تم إجراؤها على محرك التعرف الضوئي على الحروف. لا يزال من الممكن استخدام مجموعات البيانات المستخدمة لتدريب نموذج قالب مخصص باستخدام واجهة برمجة التطبيقات 2.1 لتدريب نموذج جديد باستخدام واجهة برمجة التطبيقات 3.0.

• يجب توفير صورة واحدة واضحة أو مسح ضوئي عالي الجودة لكل مستند للحصول على أفضل النتائج.

• تنسيقات الملفات المدعومة هي JPEG / JPG و PNG و BMP و TIFF و PDF (نص مضمن أو ممسوح ضوئيا). تعد ملفات PDF المضمنة في النص هي الأفضل للتخلص من احتمال حدوث خطأ في استخراج الأحرف وموقعها.

• يمكن معالجة ملفات PDF و TIFF ، حتى 2,000 صفحة. من خلال اشتراك الطبقة المجانية، تتم معالجة أول صفحتين فقط.

• يجب أن يكون حجم الملف أقل من 500 ميجابايت للطبقة المدفوعة (S0) و 4 ميجابايت مجانا (F0).

• يجب أن تتراوح أبعاد الصورة بين 50 × 50 بكسل و 10,000 × 10,000 بكسل.

• أبعاد PDF تصل إلى 17 × 17 بوصة، بما يتوافق مع حجم الورق Legal أو A3، أو أصغر.

• الحجم الإجمالي لبيانات التدريب هو 500 صفحة أو أقل.

• يجب إزالة قفل كلمة المرور لملفات PDF المقفلة بكلمة مرور قبل الإرسال.

  تلميح

  بيانات التدريب:

  • استخدم مستندات PDF المستندة إلى النص بدلا من المستندات المستندة إلى الصور، إذا كان ذلك ممكنا. تتم معالجة ملفات PDF الممسوحة ضوئيا كصور.
  • قم بتوفير مثيل واحد فقط من النموذج لكل مستند.
  • بالنسبة للنماذج التي تم تعبئتها، استخدم الأمثلة التي تحتوي على جميع الحقول الخاصة بها.
  • استخدم نماذج ذات قيم مختلفة في كل حقل.
  • إذا كانت صور النموذج ذات جودة أقل ، فاستخدم مجموعة بيانات أكبر. على سبيل المثال، استخدم من 10 إلى 15 صورة.

اللغات واللغات المدعومة

راجع صفحة دعم اللغة - النماذج المخصصة للحصول على قائمة كاملة باللغات المدعومة.

الخطوات التالية

• حاول معالجة النماذج والمستندات الخاصة بك باستخدام Document Intelligence Studio.

• أكمل التشغيل السريع ل Document Intelligence وابدأ في إنشاء تطبيق لمعالجة المستندات بلغة التطوير التي تختارها.