استخدام الإثراء الذكاء الاصطناعي مع معالجة الصور والنصوص

Azure App Service
Azure Blob Storage
Azure الذكاء الاصطناعي Search
Azure Functions

أفكار الحل

تصف هذه المقالة فكرة الحل. يمكن لمهندس السحابة الخاص بك استخدام هذه الإرشادات للمساعدة في تصور المكونات الرئيسية لتنفيذ نموذجي لهذه البنية. استخدم هذه المقالة كنقطة بداية لتصميم حل جيد التصميم يتوافق مع المتطلبات المحددة لحمل العمل الخاص بك.

توضح هذه المقالة كيفية استخدام معالجة الصور ومعالجة اللغة الطبيعية والمهارات المخصصة لالتقاط البيانات الخاصة بالمجال. يمكنك استخدام هذه البيانات لإثراء النصوص ومستندات الصور. دمج Azure الذكاء الاصطناعي Search مع إثراء الذكاء الاصطناعي للمساعدة في تحديد المحتوى ذي الصلة واستكشافه على نطاق واسع. يستخدم هذا الحل إثراء الذكاء الاصطناعي لاستخراج المعنى من مجموعة بيانات سجلات اغتيال JFK (ملفات JFK) المركبة الأصلية وغير المنظمة.

بناء الأنظمة

رسم تخطيطي يوضح بنية الذكاء الاصطناعي Search لتحويل البيانات غير المنظمة إلى بيانات منظمة.

قم بتنزيل ملف Visio لهذه البنية.

تدفق البيانات

يتوافق تدفق البيانات التالي مع الرسم التخطيطي السابق. يصف تدفق البيانات كيفية مرور مجموعة بيانات ملفات JFK غير المنظمة عبر مسار مهارات البحث الذكاء الاصطناعي لإنتاج بيانات منظمة وقابلة للفهرسة.

  1. يتم استيعاب البيانات غير المنظمة في Azure Blob Storage، مثل المستندات والصور، في الذكاء الاصطناعي Search.

  2. لبدء عملية الفهرسة، تستخرج خطوة تكسير المستند الصور والنص من البيانات ثم تثري المحتوى. تعتمد خطوات الإثراء في هذه العملية على البيانات ونوع المهارات التي تحددها.

  3. توفر المهارات المضمنة المستندة إلى Azure الذكاء الاصطناعي Vision وAzure الذكاء الاصطناعي Language APIs إثراء الذكاء الاصطناعي مثل التعرف البصري على الحروف (OCR) للصور وتحليل الصور وترجمة النص والتعرف على الكيان والبحث عن النص الكامل.

  4. سيناريوهات دعم المهارات المخصصة التي تتطلب نماذج أو خدمات الذكاء الاصطناعي أكثر تعقيدا. تتضمن الأمثلة Azure الذكاء الاصطناعي Document Intelligence ونماذج Azure التعلم الآلي وAzure Functions.

  5. بعد اكتمال عملية الإثراء، يحفظ المفهرس المستندات المحسنة والمفهرسة في فهرس بحث. يمكن للبحث في النص الكامل ونماذج الاستعلام الأخرى استخدام هذا الفهرس.

  6. يمكن أن تعرض المستندات التي تم إثراؤها أيضا في مخزن المعرفة، والذي يمكن لتطبيقات انتقال البيانات من الخادم مثل تطبيقات التنقيب عن المعرفة أو تطبيقات علوم البيانات استخدامها.

  7. تصل الاستعلامات إلى المحتوى الذي تم إثرائه في فهرس البحث. يدعم الفهرس أدوات التحليل المخصصة واستعلامات البحث الغامضة وعوامل التصفية وملف تعريف تسجيل النقاط لضبط صلة البحث.

  8. يمكن للتطبيقات التي تتصل ب Blob Storage أو Azure Table Storage الوصول إلى مخزن المعرفة.

المكونات

يستخدم هذا الحل مكونات Azure التالية.

يقوم الذكاء الاصطناعي Search بفهرسة المحتوى وتشغيل تجربة المستخدم في هذا الحل. يمكنك استخدام الذكاء الاصطناعي Search لتطبيق مهارات الذكاء الاصطناعي التي تم إنشاؤها مسبقا على المحتوى. ويمكنك استخدام آلية القابلية للتوسعة لإضافة مهارات مخصصة، والتي توفر تحويلات إثراء محددة.

الرؤية في الذكاء الاصطناعي في Azure 

تستخدم الرؤية التعرف على النص لاستخراج المعلومات النصية من الصور والتعرف عليها. تستخدم واجهة برمجة تطبيقات Read أحدث نماذج التعرف على التعرف البصري على الحروف وتم تحسينها للمستندات الكبيرة والنصية الثقيلة والصور المبكية.

لم يتم تحسين واجهة برمجة تطبيقات التعرف البصري على الحروف القديمة للمستندات الكبيرة ولكنها تدعم المزيد من اللغات. يمكن أن تختلف دقة نتائج التعرف البصري على الحروف استنادا إلى جودة الفحص والصورة. يستخدم هذا الحل التعرف البصري على الحروف (OCR) لإنتاج البيانات بتنسيق hOCR.

اللغة

تستخدم اللغة قدرات تحليلات النص مثل التعرف على الكيان المسمى واستخراج العبارة الرئيسية لاستخراج المعلومات النصية من المستندات غير المنظمة.

تخزين Azure

Blob Storage هو تخزين كائن يستند إلى REST للبيانات التي يمكنك الوصول إليها من أي مكان في العالم من خلال HTTPS. يمكنك استخدام Blob Storage لعرض البيانات بشكل عام على العالم أو لتخزين بيانات التطبيق بشكل خاص. يعد Blob Storage مثاليا لكميات كبيرة من البيانات غير المنظمة مثل النص أو الرسومات.

يخزن Table Storage بيانات NoSQL عالية التوفر وقابلة للتطوير ومنظمة وشبه منظمة البنية في السحابة.

دالات Azure

الدالات هي خدمة حساب بلا خادم يمكنك استخدامها لتشغيل أجزاء صغيرة من التعليمات البرمجية التي يتم تشغيلها بواسطة الحدث دون الحاجة إلى توفير البنية الأساسية أو إدارتها بشكل صريح. يستخدم هذا الحل أسلوب Functions لتطبيق قائمة تشفير وكالة الاستخبارات المركزية (CIA) على ملفات JFK كمهارة مخصصة.

"Azure App Service"

ينشئ هذا الحل تطبيق ويب مستقلا في Azure App Service لاختبار الفهرس وإظهاره والبحث فيه واستكشاف الاتصالات في المستندات المحسنة والمفهرسة.

تفاصيل السيناريو

يمكن أن تتضمن مجموعات البيانات الكبيرة غير المنظمة الملاحظات المكتوبة بخط اليد والصور والرسومات التخطيطية والبيانات الأخرى غير المنظمة التي لا يمكن لحلول البحث القياسية تحليلها. تحتوي ملفات JFK على أكثر من 34,000 صفحة من الوثائق حول تحقيق وكالة الاستخبارات المركزية في اغتيال JFK عام 1963.

يمكنك استخدام الإثراء الذكاء الاصطناعي في الذكاء الاصطناعي Search لاستخراج وتحسين نص قابل للبحث وقابل للفهرسة من الصور والكائنات الثنائية كبيرة الحجم ومصادر البيانات الأخرى غير المنظمة مثل ملفات JFK. يستخدم الإثراء الذكاء الاصطناعي مجموعات مهارات التعلم الآلي المدربة مسبقا من واجهات برمجة تطبيقات الرؤية واللغة لخدمات Azure الذكاء الاصطناعي. يمكنك أيضا إنشاء مهارات مخصصة وإرفاقها لإضافة معالجة خاصة للبيانات الخاصة بالمجال مثل تشفير CIA. يمكن الذكاء الاصطناعي Search بعد ذلك فهرسة هذا السياق والبحث فيه.

يمكن تصنيف مهارات البحث الذكاء الاصطناعي في هذا الحل إلى المجموعات التالية:

  • معالجة الصور: يستخدم هذا الحل مهارات استخراج النص وتحليل الصور المضمنة، بما في ذلك الكشف عن الكائنات والوجه وإنشاء العلامة والتسمية التوضيحية وتحديد المشاهير والمعالم. تنشئ هذه المهارات تمثيلات نصية لمحتوى الصورة، والتي يمكنك البحث فيها باستخدام قدرات الاستعلام الذكاء الاصطناعي Search. تكسير المستند هو عملية استخراج محتوى نصي أو إنشائه من مصادر غير نصية.

  • معالجة اللغة الطبيعية: يستخدم هذا الحل مهارات مضمنة مثل التعرف على الكيان واكتشاف اللغة واستخراج العبارة الرئيسية التي تعين نصا غير منظم إلى حقول قابلة للبحث وقابلة للتصفية في فهرس.

  • المهارات المخصصة: يستخدم هذا الحل مهارات مخصصة توسع الذكاء الاصطناعي Search لتطبيق تحويلات إثراء معينة على المحتوى. يمكنك تحديد واجهة لمهارة مخصصة من خلال مهارة واجهة برمجة تطبيقات الويب المخصصة.

حالات الاستخدام المحتملة

يقدم نموذج مشروع JFK Files وعرض توضيحي عبر الإنترنت حالة استخدام بحث الذكاء الاصطناعي معينة. لا يقصد بفكرة الحل هذه أن تكون إطار عمل أو بنية قابلة للتطوير لجميع السيناريوهات. بدلا من ذلك، توفر فكرة الحل هذه إرشادات عامة ومثالا. يقوم مشروع التعليمات البرمجية والعرض التوضيحي بإنشاء موقع ويب عام وحاوية تخزين قابلة للقراءة بشكل عام للصور المستخرجة، لذلك يجب عدم استخدام هذا الحل مع البيانات غير العامة.

يمكنك أيضا استخدام هذه البنية من أجل:

  • زيادة قيمة وفائدة محتوى النص والصورة غير المنظمة في تطبيقات البحث وتطبيقات علوم البيانات.

  • استخدم المهارات المخصصة لدمج التعليمات البرمجية مفتوحة المصدر أو التعليمات البرمجية غير التابعة ل Microsoft أو التعليمات البرمجية ل Microsoft في البنية الأساسية لبرنامج ربط العمليات التجارية للفهرسة.

  • اجعل مستندات JPG أو PNG أو الصور النقطية الممسوحة ضوئياً قابلة للبحث في النص الكامل.

  • إنتاج نتائج أفضل من استخراج نص PDF القياسي لملفات PDF مع الصورة والنص المدمجين. قد لا يتم تحليل بعض تنسيقات PDF الأصلية والممسوحة ضوئيا بشكل صحيح في الذكاء الاصطناعي Search.

  • إنشاء معلومات جديدة من محتوى أولي ذي معنى بطبيعته أو سياق مخفي في مستندات كبيرة وغير منظمة أو مستندات شبه منظمة البنية.

المساهمون

تحتفظ Microsoft بهذه المقالة. تمت كتابته في الأصل من قبل المساهم التالي.

الكاتب الرئيسي:

لمشاهدة ملفات تعريف LinkedIn غير العامة، سجل الدخول إلى LinkedIn.

الخطوات التالية

تعرف على المزيد حول هذا الحل:

قراءة وثائق المنتج:

جرب مسار التعلم: