استيراد البيانات في Azure الذكاء الاصطناعي Search

  • مقالة

في Azure الذكاء الاصطناعي Search، يتم تنفيذ الاستعلامات عبر المحتوى المملوك للمستخدم الذي يتم تحميله في فهرس بحث. توضح هذه المقالة سيري العمل الأساسيين لملء فهرس: دفع بياناتك إلى الفهرس برمجيا، أو سحب البيانات باستخدام مفهرس بحث.

يقوم كلا النهجين بتحميل المستندات من مصدر بيانات خارجي. على الرغم من أنه يمكنك إنشاء فهرس فارغ، إلا أنه غير قابل للاستعلام حتى تقوم بإضافة المحتوى.

إشعار

إذا كان الإثراء الذكاء الاصطناعي أحد متطلبات الحل، فيجب عليك استخدام نموذج السحب (المفهرسات) لتحميل فهرس. يتم إرفاق مجموعات المهارات بمفهرس ولا تعمل بشكل مستقل.

دفع البيانات إلى فهرس

نموذج الدفع هو نهج يستخدم واجهات برمجة التطبيقات لتحميل المستندات إلى فهرس بحث موجود. يمكنك تحميل المستندات بشكل فردي أو على دفعات تصل إلى 1000 لكل دفعة، أو 16 ميغابايت لكل دفعة، أيهما يأتي أولا.

تشمل تلك المزايا:

  • لا توجد قيود على نوع مصدر البيانات. يجب أن تتكون الحمولة من مستندات JSON التي تعين مخطط الفهرس الخاص بك، ولكن يمكن الحصول على البيانات من أي مكان.

  • لا توجد قيود على تكرار التنفيذ. يمكنك دفع التغييرات إلى فهرس بقدر ما تريد. بالنسبة للتطبيقات ذات متطلبات زمن الانتقال المنخفض (على سبيل المثال، عندما يحتاج الفهرس إلى المزامنة مع تقلبات مخزون المنتج)، فإن نموذج الدفع هو خيارك الوحيد.

  • الاتصال والاسترداد الآمن للمستندات تحت سيطرتك بالكامل. في المقابل، تتم مصادقة اتصالات المفهرس باستخدام ميزات الأمان المتوفرة في Azure الذكاء الاصطناعي Search.

كيفية دفع البيانات إلى فهرس Azure الذكاء الاصطناعي Search

استخدم واجهات برمجة التطبيقات التالية لتحميل مستندات مفردة أو متعددة في فهرس:

لا يوجد دعم لدفع البيانات عبر مدخل Microsoft Azure.

للحصول على مقدمة إلى واجهات برمجة التطبيقات الدفع، راجع:

إجراءات الفهرسة: تحميل ودمج ودمجOrUpload وحذف

يمكنك التحكم في نوع إجراء الفهرسة على أساس كل مستند، مع تحديد ما إذا كان يجب تحميل المستند بالكامل أو دمجه مع محتوى المستند الموجود أو حذفه.

سواء كنت تستخدم واجهة برمجة تطبيقات REST أو Azure SDK، يتم دعم عمليات المستند التالية لاستيراد البيانات:

  • تحميل، على غرار "upsert" حيث يتم إدراج المستند إذا كان جديدا، ويتم تحديثه أو استبداله إذا كان موجودا. إذا كان المستند يفتقد القيم التي يتطلبها الفهرس، يتم تعيين قيمة حقل المستند إلى قيمة فارغة.

  • يقوم الدمج بتحديث مستند موجود بالفعل، ويفشل في العثور على مستند لا يمكن العثور عليه. يحل الدمج محل القيم الموجودة. لهذا السبب، تأكد من التحقق من حقول المجموعة التي تحتوي على قيم متعددة، مثل الحقول من النوع Collection(Edm.String). على سبيل المثال، إذا tags بدأ حقل بقيمة ["budget"] وقمت بتنفيذ دمج باستخدام ["economy", "pool"]، فإن القيمة النهائية للحقل tags هي ["economy", "pool"]. لن يكون ["budget", "economy", "pool"].

  • يعمل mergeOrUpload مثل الدمج إذا كان المستند موجودا، وتحميلهإذا كان المستند جديدا.

  • يؤدي الحذف إلى إزالة المستند بأكمله من الفهرس. إذا كنت تريد إزالة حقل فردي، فاستخدم الدمج بدلا من ذلك، مع تعيين الحقل المعني إلى فارغ.

سحب البيانات إلى فهرس

يستخدم نموذج السحب المفهرسات المتصلة بمصدر بيانات مدعوم، وتحميل البيانات تلقائيا إلى الفهرس الخاص بك. تتوفر المفهرسات من Microsoft لهذه الأنظمة الأساسية:

يمكنك استخدام موصلات تابعة لجهة خارجية، تم تطويرها وصيانتها من قبل شركاء Microsoft. لمزيد من المعلومات والارتباطات، راجع معرض مصادر البيانات.

تقوم المفهرسات بتوصيل فهرس بمصدر بيانات (عادة ما يكون جدولا أو طريقة عرض أو بنية مكافئة)، وتعيين حقول المصدر إلى حقول مكافئة في الفهرس. أثناء التنفيذ، يتم تحويل مجموعة الصفوف تلقائيا إلى JSON وتحميلها في الفهرس المحدد. تدعم جميع المفهرسات الجداول الزمنية بحيث يمكنك تحديد عدد مرات تحديث البيانات. توفر معظم المفهرسات تعقب التغيير إذا كان مصدر البيانات يدعمه. من خلال تعقب التغييرات والحذف إلى المستندات الموجودة بالإضافة إلى التعرف على المستندات الجديدة، يزيل المفهرسون الحاجة إلى إدارة البيانات في الفهرس بشكل نشط.

كيفية سحب البيانات إلى فهرس Azure الذكاء الاصطناعي Search

استخدم الأدوات وواجهات برمجة التطبيقات التالية للفهرسة المستندة إلى المفهرس:

يتم عرض وظيفة المفهرس في [مدخل Azure] وواجهة برمجة تطبيقات REST و.NET SDK.

تتمثل ميزة استخدام المدخل في أن Azure الذكاء الاصطناعي Search يمكنه عادة إنشاء مخطط فهرس افتراضي عن طريق قراءة بيانات التعريف لمجموعة البيانات المصدر.

التحقق من استيراد البيانات باستخدام مستكشف البحث

إحدى الطرق السريعة لإجراء فحص أولي على تحميل المستند هي استخدام مستكشف البحث في المدخل.

Screenshot of Search Explorer command in the Azure portal.

يتيح لك المستكشف الاستعلام عن فهرس دون الحاجة إلى كتابة أي تعليمة برمجية. تستند تجربة البحث إلى الإعدادات الافتراضية، مثل بناء الجملة البسيط ومعلمة استعلام searchMode الافتراضية. يتم إرجاع النتائج في JSON بحيث يمكنك فحص المستند بأكمله.

فيما يلي مثال استعلام يمكنك تشغيله في Search Explorer في طريقة عرض JSON. "HotelId" هو مفتاح المستند لمؤشر hotels-sample-index. يوفر عامل التصفية معرف المستند لمستند معين:

{
  "search": "*",
  "filter": "HotelId eq '50'"
}

إذا كنت تستخدم REST، فإن استعلام البحث هذا يحقق نفس الغرض.

(راجع أيضًا )