البحث عن المتجهات في Azure الذكاء الاصطناعي Search

البحث عن المتجهات هو نهج استرداد المعلومات الذي يدعم الفهرسة والاستعلام عبر التمثيلات الرقمية للمحتوى. نظرا لأن المحتوى رقمي وليس نصا عاديا، فإن المطابقة تعتمد على متجهات تشابه أكثر مع متجه الاستعلام. يتيح هذا النهج المطابقة عبر:

  • الشبه الدلالي أو المفاهيمي. على سبيل المثال، "" و"" متشابهان من الناحية المفاهيمية ولكنهما مختلفان لغويا.
  • محتوى متعدد اللغات، مثل "dog" باللغة الإنجليزية و"hund" باللغة الألمانية.
  • أنواع محتويات متعددة، مثل "" في نص عادي وصورة لكلب.

توفر هذه المقالة نظرة عامة على البحث عن المتجهات في Azure الذكاء الاصطناعي Search، بما في ذلك السيناريوهات المدعومة والتوافر والتكامل مع خدمات Azure الأخرى.

تلميح

هل تريد البدء على الفور؟ اتبع الخطوات التالية:

  1. قم بتوفير عمليات تضمين للفهرس الخاص بك أو إنشاء تضمينات في البنية الأساسية لبرنامج ربط العمليات التجارية للمفهرس.
  2. إنشاء فهرس متجه.
  3. تشغيل استعلامات المتجهات.

ما هي السيناريوهات التي يمكن أن تدعم البحث المتجه؟

يدعم البحث المتجه السيناريوهات التالية:

  • بحث التشابه. قم بترميز النص باستخدام نماذج التضمين أو النماذج مفتوحة المصدر، مثل تضمين OpenAI أو SBERT، على التوالي. ثم تقوم باسترداد المستندات باستخدام الاستعلامات التي يتم ترميزها أيضا كخطوط متجهة.

  • البحث المختلط. يعرف Azure الذكاء الاصطناعي Search البحث المختلط على أنه تنفيذ البحث عن المتجهات والبحث عن الكلمة الأساسية في نفس الطلب. يتم تنفيذ دعم المتجهات على مستوى الحقل. إذا كان الفهرس يحتوي على حقول متجهة وغير محددة، يمكنك كتابة استعلام يستهدف كليهما. يتم تنفيذ الاستعلامات بالتوازي، ويتم دمج النتائج في استجابة واحدة وترتيبها وفقا لذلك.

  • بحث متعدد الوسائط. قم بترميز النصوص والصور باستخدام التضمينات متعددة الوسائط، مثل OpenAI CLIP أو GPT-4 Turbo مع Vision في Azure OpenAI، ثم الاستعلام عن مساحة تضمين تتكون من متجهات من كلا النوعين من المحتوى.

  • البحث متعدد اللغات. تم تصميم Azure الذكاء الاصطناعي Search للتوسعة. إذا كان لديك نماذج تضمين ونماذج دردشة مدربة بلغات متعددة، يمكنك الاتصال بها من خلال مهارات مخصصة أو مضمنة على جانب الفهرسة أو المتجهات على جانب الاستعلام. لمزيد من التحكم في ترجمة النص، استخدم الإمكانات متعددة اللغات التي يدعمها Azure الذكاء الاصطناعي البحث عن محتوى غير عنصري في سيناريوهات البحث المختلط.

  • بحث متجه تمت تصفيته. يمكن أن يتضمن طلب الاستعلام استعلام متجه وتعبير عامل تصفية. تنطبق عوامل التصفية على الحقول النصية والرقمية. وهي مفيدة لعوامل تصفية بيانات التعريف ولضمان نتائج البحث أو استبعادها استنادا إلى معايير التصفية. على الرغم من أن الحقل المتجه غير قابل للتصفية، يمكنك إعداد نص قابل للتصفية أو حقل رقمي. يمكن لمحرك البحث معالجة عامل التصفية قبل تنفيذ استعلام المتجه أو بعده.

  • قاعدة بيانات المتجهات. يخزن Azure الذكاء الاصطناعي Search البيانات التي تقوم بالاستعلام عليها. استخدمه كفهرس متجه خالص عندما تحتاج إلى ذاكرة طويلة الأجل أو قاعدة معارف أو بيانات تستند إلى بنية الجيل المعزز باسترداد (RAG) أو تطبيق يستخدم المتجهات.

كيف يعمل البحث عبر المتجهات؟

يدعم Azure الذكاء الاصطناعي Search فهرسة وتخزين والاستعلام عن تضمينات المتجهات من فهرس بحث. يوضح الرسم التخطيطي التالي مهام سير عمل الفهرسة والاستعلام للبحث في المتجهات.

بنية سير عمل البحث في المتجهات.

على جانب الفهرسة، يستخدم Azure الذكاء الاصطناعي Search خوارزمية أقرب جيران لوضع خطوط متجهة مماثلة قريبة معا في فهرس. داخليا، فإنه ينشئ فهارس متجهات لكل حقل متجه.

تعتمد كيفية الحصول على التضمينات من المحتوى المصدر في Azure الذكاء الاصطناعي Search على نهج المعالجة:

  • للمعالجة الداخلية، يوفر Azure الذكاء الاصطناعي Search مجموعات بيانات متكاملة وتتجه في البنية الأساسية لبرنامج ربط العمليات التجارية للمفهرس. يمكنك توفير الموارد الضرورية، مثل نقاط النهاية ومعلومات الاتصال ل Azure OpenAI. ثم يقوم Azure الذكاء الاصطناعي Search بإجراء المكالمات ومعالجة الانتقالات. يتطلب هذا الأسلوب مفهرسا ومصدر بيانات مدعوما ومجموعة مهارات تدفع التقسيم والتضمين.

  • للمعالجة الخارجية، يمكنك إنشاء تضمينات خارج Azure الذكاء الاصطناعي البحث ودفع المحتوى مسبق التعليمات البرمجية مباشرة إلى حقول المتجهات في فهرس البحث.

على جانب الاستعلام، يجمع تطبيق العميل الخاص بك إدخال المستخدم، عادة من خلال مطالبة. يمكنك إضافة خطوة ترميز لتحريك الإدخال ثم إرسال استعلام المتجه إلى فهرس Azure الذكاء الاصطناعي Search للبحث عن التشابه. كما هو الحال مع الفهرسة، يمكنك استخدام المتجهات المتكاملة لترميز الاستعلام. لأي من الطريقتين، يقوم Azure الذكاء الاصطناعي Search بإرجاع المستندات مع أقرب الجيران المطلوبين k (kNN) في النتائج.

يدعم Azure الذكاء الاصطناعي Search السيناريوهات المختلطة التي تقوم بتشغيل البحث عن المتجهات والكلمة الأساسية بالتوازي وإرجاع مجموعة نتائج موحدة، والتي غالبا ما توفر نتائج أفضل من البحث عن المتجهات أو الكلمة الأساسية وحدها. للبحث المختلط، يتم استيعاب كل من المحتوى المتجه والمحتوى غير العامل في نفس الفهرس للاستعلامات التي تعمل في وقت واحد.

التوفر والتسعير

يتوفر البحث عن المتجهات في جميع المناطق وعلى جميع المستويات دون أي رسوم إضافية. ومع ذلك، قد يؤدي توليد التضمينات أو استخدام إثراء الذكاء الاصطناعي للتوجيه إلى تكاليف من مزود النموذج.

بالنسبة إلى المدخل والوصول البرمجي إلى البحث في المتجهات، يمكنك استخدام:

ملاحظة

  • لا تدعم بعض خدمات البحث التي تم إنشاؤها قبل 1 يناير 2019 أحمال العمل المتجهة. إذا حاولت إضافة حقل متجه إلى مخطط والحصول على خطأ، فهذا نتيجة لخدمات قديمة. في هذه الحالة، يجب إنشاء خدمة بحث جديدة لتجربة ميزة المتجه.

  • تقدم خدمات البحث التي تم إنشاؤها بعد 3 أبريل 2024 حصصا نسبية أعلى لمؤشرات المتجهات. إذا كانت لديك خدمة قديمة، فقد تتمكن من ترقية الخدمة الخاصة بك للحصول على حصص نسبية أعلى للمتجه.

تم دمج Azure الذكاء الاصطناعي Search بشكل عميق عبر النظام الأساسي Azure الذكاء الاصطناعي. يسرد الجدول التالي المنتجات المفيدة في أحمال العمل المتجهة.

المنتج التكامل
Azure OpenAI يوفر Azure OpenAI نماذج تضمين ونماذج دردشة. تستهدف العروض التوضيحية والعينات نموذج text-embedding-ada-002 . نوصي ب Azure OpenAI لإنشاء تضمينات للنص.
أدوات الصاهر واجهة برمجة تطبيقات Image Retrieval Retrieval Vectorize تدعم تحويل محتوى الصورة. نوصي بواجهة برمجة التطبيقات هذه لإنشاء تضمينات للصور.
خدمة وكلاء المسبك في Azure الذكاء الاصطناعي Search، يمكنك إنشاء مصدر معرفة مفهرس يشير إلى فهرس بحث يحتوي على حقول متجهات وجهاز متجه. يمكنك بعد ذلك تحويل مصدر المعرفة إلى قاعدة معرفةوربط قاعدة المعرفة بخدمة وكلاء المساند، مما يوفر لوكلائك نتائج بحث متجهة لتعزيز استرجاع المعرفة.
الأنظمة الأساسية لبيانات Azure: Azure Blob Storage وAzure Cosmos DB وAzure SQL وMicrosoft OneLake يمكنك استخدام المفهرسات لأتمتة استيعاب البيانات، ثم استخدام المتجهات المتكاملة لإنشاء عمليات تضمين. يمكن ل Azure الذكاء الاصطناعي Search فهرسة بيانات البيانات الاتجاهية تلقائيا من مفهرسات Azure blobوAzure Cosmos DB لمهارسات NoSQLوAzure Data Lake Storage Gen2وAzure Table StorageوMicrosoft OneLake. لمزيد من المعلومات، راجع إضافة حقول متجهة إلى فهرس البحث.

كما أنها شائعة الاستخدام في أطر عمل مفتوحة المصدر مثل LangChain.