تقدم هذه المقالة حلاً لاستخراج النص من الصور بحيث يمكن فهرستها واستردادها في SharePoint. باستخدام الذكاء الاصطناعي Builder وAzure الذكاء الاصطناعي Document Intelligence، يمكنك تكوين سير عمل Power Automate لاستخدام نموذج مدرب لاستخراج النص من صورة. بمجرد تكوين سير عمل، يمكنك البحث في المستندات بسرعة عن نص ذي معنى مضمن في الأشكال والعناصر.
بناء الأنظمة
قم بتنزيل ملف Visio لهذه البنية.
سير العمل
- يتم تدريب نموذج الكشف عن العناصر في AI Builder للتعرف على العناصر التي يحددها المستخدم.
- يدخل مستند جديد مكتبة مستندات SharePoint أو OneDrive أو Teams.
- يؤدي وصول المستند إلى تشغيل حدث Power Automate. هذا الحدث:
- تشغيل نموذج AI Builder. يقوم AI Builder بإرجاع ملف JSON يحتوي على إحداثيات البكسل لأي عناصر محددة.
- يرسل المستند إلى Document Intelligence لإجراء فحص كامل للتعرف البصري على الأحرف (OCR). يقوم Document Intelligence بإرجاع ملف JSON يحتوي على نص ممسوح ضوئيا وإحداثيات البكسل للنص.
- تشغيل دالة في Azure Functions. تحلل الدالة إحداثيات البكسل في ملفات إخراج الذكاء الاصطناعي Builder و Document Intelligence. إذا كانت العناصر المكتشفة تتقاطع مع نص ممسوح ضوئيًا، فترجع الدالة البيانات المتطابقة في ملف JSON.
- إدخال بيانات التعريف، أو النص من العناصر المكتشفة، إلى مكتبة مستندات.
- يتم التقاط بيانات التعريف في فهرس بحث SharePoint.
- يبحث المستخدمون عن بيانات التعريف باستخدام أجزاء ويب PnP Modern Search.
المكونات
- الذكاء الاصطناعي Builder هو قدرة Microsoft Power Platform. استخدام AI Builder لتدريب النماذج على التعرف على العناصر في الصور. يوفر AI Builder أيضا نماذج تم إنشاؤها مسبقًا للكشف عن العناصر.
- يستخدم Form Recognizer نماذج التعلم الآلي لاستخراج وتحليل حقول النماذج، والنصوص، والجداول من مستنداتك.
- Power Automate هو جزء من حلول Microsoft Power Platform بدون تعليمات برمجية أو حلول بديهية منخفضة التعليمات البرمجية. Power Automate هي خدمة سير عمل عبر الإنترنت تعمل على أتمتة الإجراءات عبر التطبيقات والخدمات.
- Azure Functions عبارة عن نظام أساسي للحوسبة بلا خادم يستند إلى الأحداث. يعمل Azure Functions عند الطلب وعلى نطاق واسع في السحابة.
- حل PnP Modern Search هو مجموعة من SharePoint في أجزاء ويب الحديثة من Microsoft 365. باستخدام هذه الأدوات، يمكنك إنشاء تجارب مستندة إلى البحث مرنة للغاية ومخصصة.
البدائل
- يمكن لخدمات Azure الذكاء الاصطناعي إجراء فحص OCR كامل للمستندات، مع تخزين بيانات التعريف الناتجة في SharePoint.
- SharePoint يمكنه تشغيل مسح OCR على المستندات وإضافة إخراج المحتوى إلى الفهرس للاسترداد. استخدم تقنيات البحث لاستهداف المعلومات الرئيسية في المستندات.
- إذا كنت ترغب في معالجة نسبة كبيرة من المستندات، ففكر في استخدام Azure Logic Apps لتكوين المكونات. تمنعك Azure Logic Apps من الوصول إلى حدود الاستهلاك في المستأجر الخاص بك، وهي فعالة من حيث التكلفة. لمزيد من المعلومات، راجع Azure Logic Apps.
تفاصيل السيناريو
غالبا ما تحتوي الرسومات التخطيطية والصناعية على عناصر تحتوي على نص. قد يكون مسح المستندات يدويًا بحثًا عن النص المناسب شاقًا ويستغرق وقتًا طويلًا.
حالات الاستخدام المحتملة
تشمل حالات الاستخدام ما يلي:
- رسومات تخطيطية هندسية معقدة تحتوي على أنواع مختلفة من العناصر. باستخدام هذا الحل، يمكنك البحث بسرعة عن مكونات معينة في رسم تخطيطي. يعد الوصول إلى النص المضمن في لعناصر مفيدًا للتحقيقات أو الكشف عن النقص أو البحث عن إشعارات الاستدعاء والفشل.
- الرسومات التخطيطية الصناعية التي تعرض المكونات في تجميع التصنيع. يحدد هذا الحل على الفور المضخات والصمامات والمفاتيح الآلية والمكونات الأخرى. يساعد تحديد المكونات في الصيانة الوقائية وعزل المكونات الخطرة وزيادة رؤية إدارة المخاطر في مؤسستك.
الاعتبارات
تنفذ هذه الاعتبارات ركائز Azure Well-Architected Framework، وهو عبارة عن مجموعة من المبادئ التوجيهية التي يمكن استخدامها لتحسين جودة حمل العمل. لمزيد من المعلومات، يرجى مراجعةMicrosoft Azure Well-Architected Framework.
ضع في اعتبارك هذه النقاط عند تحليل المستندات ومعالجتها:
- AI Builder لا يمكنه إلا التقاط الإحداثيات المربعة فقط عند استخدام نموذج مدرب. قد تضيف العناصر التي بها نص خارج حدودها، مثل المثلثات والدوائر، معلومات غير مرغوب فيها وغير ضرورية.
- يمكن أن تحتوي بيانات التعريف الناتجة من Azure Functions على أحرف إضافية إذا كان هناك نص خارج حدود العنصر.
- يمكن لعملية إنشاء AI Builder وضع علامة على أكثر من عنصر واحد. يحتوي ملف JSON الناتج من Azure Functions على جميع أنواع العناصر والنصوص. يستهلك التطبيق بيانات التعريف ويحتاج إلى تحليل النتائج ومعالجتها.
الموثوقيه
تضمن الموثوقية أن التطبيق الخاص بك يمكن أن يفي بالالتزامات التي تتعهد بها لعملائك. لمزيد من المعلومات، راجع قائمة اختيار مراجعة التصميم للموثوقية.
يقوم Azure بنسخ البيانات نسخًا متماثلًا لضمان القدرة على الصمود وقابلية وصول عالية. يحميك تكرار البيانات من الأحداث المخطط لها وغير المخطط لها، بما في ذلك حالات فشل الأجهزة العابرة وانقطاع الشبكة أو الطاقة والكوارث الطبيعية. اختر نسخ بياناتك نسخا متماثلا داخل نفس مركز البيانات، أو عبر مراكز البيانات المناطقية داخل نفس المنطقة، أو عبر مناطق منفصلة جغرافيا.
الأمان
ويوفر عامل الأمان ضمانات للحماية من الهجمات المتعمدة واستغلال البيانات والأنظمة القيمة الخاصة بك. لمزيد من المعلومات، راجع قائمة اختيار مراجعة التصميم للأمان.
استخدام ممارسات الأمان القياسية للمكونات التي تستخدمها، ولمكتبة مستندات SharePoint التي تقوم بتخزين بيانات التعريف فيها.
تم تصميم Document Intelligence مع مراعاة التوافق والخصوصية والأمان. يقوم بمصادقة الوصول باستخدام مفتاح API، وتشفير البيانات أثناء النقل والتخزين، وإرجاع النتائج باستخدام مفتاح API. لمزيد من المعلومات، راجع البيانات والخصوصية والأمان ل Document Intelligence.
يعتمد AI Builder على أمان البيئة وأدوار أمان Dataverse وامتيازاته لمنح حق الوصول إلى ميزات الذكاء الاصطناعي في Power Apps. يتم تعيين الامتيازات بشكل افتراضي في Dataverse. يمكن لمسؤولي النظام استخدام أدوار الأمان المضمنة الافتراضية دون الحاجة لمزيد من الإجراءات. لمزيد من المعلومات، راجع نظرة عامة على أمان.
تحسين التكلفة
يتعلق تحسين التكلفة بالبحث عن طرق لتقليل النفقات غير الضرورية وتحسين الكفاءة التشغيلية. لمزيد من المعلومات، راجع قائمة اختيار مراجعة التصميم لتحسين التكلفة.
- بالنسبة لـ Power Automate، تأكد من أن التراخيص التي قمت بشراءها وتعيينها كافية لحجم المستندات التي تعالجها. قم بتضمين موصل HTTP premium لاستدعاء Document Intelligence وAzure Functions.
- شراء أرصدة AI Builder استنادًا إلى استخدام النموذج المتوقع.
- لتقدير تكلفة منتجات وتكوينات Azure، استخدم حاسبة أسعار Azure.
كفاءة الأداء
كفاءة الأداء هي قدرة حمل العمل الخاص بك على التوسع لتلبية الطلبات التي يضعها المستخدمون عليه بطريقة فعالة. لمزيد من المعلومات، راجع قائمة اختيار مراجعة التصميم لكفاءة الأداء.
Azure Functions قابل للتطوير بدرجة كبيرة. يقدم هذا النظام الأساسي خططًا متعددة تتوسع تلقائيًا عند الحاجة عند تشغيل الأحداث. لمزيد من المعلومات، راجع تغيير الحجم حسب الأحداث.
Azure Functions له حد يبلغ 200 مثيل. إذا كنت بحاجة إلى توسيع نطاق يتجاوز هذا الحد، أضف مناطق متعددة أو خطط تطبيق.
نشر هذا السيناريو
لمزيد من المعلومات حول نشر هذا السيناريو، راجع مدونة مجتمع Power Automateواستخراج النص من العناصر في مستودع GitHub.
المساهمون
تحتفظ Microsoft بهذه المقالة. وهي مكتوبة في الأصل من قبل المساهمين التاليين.
الكاتب الرئيسي:
- ستيف بوسيليك | أخصائي أول
الخطوات التالية
- فهم أنواع المستندات التي ستكون مناسبة تمامًا لهذا الحل. تتضمن المستندات النموذجية الرسومات البيانية التخطيطية وعمليات التحكم في التصنيع والمخططات التي تحتوي على العديد من الأشكال التي تحتاج إلى عزل. لمزيد من المعلومات، راجع نماذج ذكاء المستند المخصصة.
- تعرف على القدرات التي يقدمها AI Builder. لمزيد من المعلومات، راجع نظرة عامة على AI Builder في Power Automate.
- حدد بنية معلومات يمكنها تلقي بيانات التعريف ومعالجتها. لمزيد من المعلومات، راجع مجموعة مهارات البحث المعرفي.
- للحصول على معلومات حول كيفية عمل الحل وما إذا كان مناسبًا لحالات الاستخدام الخاصة بك، راجع استخراج النص من العناصر.