تضمين متجه متكامل في Azure الذكاء الاصطناعي Search

الخط المتجه المتكامل هو امتداد للبنية الأساسية لبرنامج ربط العمليات التجارية للفهرسة والاستعلام في Azure الذكاء الاصطناعي Search. يضيف القدرات التالية:

• ترميز المتجهات أثناء الفهرسة المدفوعة بالمؤشرة
• ترميز المتجهات أثناء الاستعلامات

لا يعد تجميع البيانات مطلبا صعبا، ولكن ما لم تكن مستنداتك الأولية صغيرة، فإن التقسيم ضروري لتلبية متطلبات إدخال الرمز المميز لتضمين النماذج.

تحويلات المتجهات أحادية الاتجاه: غير متجه إلى متجه. على سبيل المثال، لا يوجد تحويل متجه إلى نص للاستعلامات أو النتائج، مثل تحويل نتيجة متجه إلى سلسلة يمكن للبشر قراءتها، وهذا هو السبب في أن الفهارس تحتوي على كل من الحقول المتجهة وغير الوسيطة.

تعمل التوجيهات المتكاملة على تسريع التطوير وتقليل مهام الصيانة أثناء استيعاب البيانات ووقت الاستعلام لأن هناك عمليات أقل عليك تنفيذها يدويا.

استخدام المتجهات المتكاملة أثناء الفهرسة

بالنسبة إلى مجموعات البيانات المتكاملة وتحويلات المتجهات، فإنك تعتمد على المكونات التالية:

• مفهرس، الذي يسترد البيانات الأولية من مصدر بيانات مدعوم ويقود محرك البنية الأساسية لبرنامج ربط العمليات التجارية.

• فهرس بحث لتلقي المحتوى المكتنز والمتجه.

• مجموعة مهارات تم تكوينها من أجل:

  • استراتيجية تقسيم: <مهارة تقسيم النص / c0>، Azure مهارة فهم المحتوى، أو أحد أوضاع تحليل المستندات .

  • مهارة تضمين، تستخدم لإنشاء صفائف متجهة، والتي يمكن أن تكون أيا مما يلي:

    • مهارة AzureOpenAIEmbedding، مرفقة ب text-embedding-ada-002،text-embedding-3-small، text-embedding-3-large على Azure OpenAI.

    • مهارة مخصصة تشير إلى نموذج تضمين آخر على Azure أو على موقع آخر.

    • مهارة تضمين متعدد الوسائط في Azure Vision (معاينة) التي تشير إلى واجهة برمجة التطبيقات متعددة الوسائط ل Azure Vision.

    • مهارة AML تشير إلى نماذج مختارة في كتالوج نماذج Microsoft Foundry.

استخدام المتجهات المتكاملة في الاستعلامات

لتحويل النص إلى متجه أثناء الاستعلامات، يمكنك الاعتماد على هذه المكونات:

• استعلام يحدد حقل متجه واحد أو أكثر.

• سلسلة نصية يتم تحويلها إلى متجه في وقت الاستعلام.

• متجه، معرف في مخطط الفهرس، تم تعيينه إلى حقل متجه، ويستخدم تلقائيا في وقت الاستعلام لتحويل استعلام نصي إلى متجه. يجب أن يتطابق المتجه الذي قمت بإعداده مع نموذج التضمين المستخدم لترميز المحتوى الخاص بك.

  مهارة التضمين	Vectorizer
  مهارة AzureOpenAIEmbedding	ناقل Azure OpenAI
  مهارة مخصصة	ناقل واجهة برمجة تطبيقات الويب المخصص
  Azure مهارة التضمين متعدد الوسائط في Vision (معاينة)	Azure Vision Vectorizer
  مهارة AML تشير إلى كتالوج النماذج في بوابة Foundry	موجه كتالوج نماذج مايكروسوفت فاوندري

رسم تخطيطي للمكون

يوضح الرسم التخطيطي التالي مكونات المتجهات المتكاملة.

سير العمل هو مسار مفهرس. يقوم الفهرسون باسترجاع البيانات من مصادر البيانات المدعومة ويبدؤون إثراء البيانات (أو الذكاء الاصطناعي المطبق) عن طريق استدعاء Azure OpenAI أو Foundry Tools أو كود مخصص لتحويل النص إلى المتجه أو معالجة أخرى.

يركز الرسم التخطيطي على المتجهات المتكاملة، ولكن الحل الخاص بك لا يقتصر على هذه القائمة. يمكنك إضافة المزيد من المهارات لإثراء الذكاء الاصطناعي، وإنشاء مخزن معارف، وإضافة ترتيب دلالي، وإضافة ضبط الصلة، وميزات الاستعلام الأخرى.

التوفر والتسعير

تتوفر الخطوط المتجهة المتكاملة في جميع المناطق والمستواني. ومع ذلك، إذا كنت تستخدم المهارات والموجهة لتطوير الذكاء الاصطناعي، فقد تنطبق متطلبات إقليمية. لمزيد من المعلومات، راجع إرفاق مورد من Foundry إلى مجموعة مهارات.

إذا كنت تستخدم مهارة مخصصة وآلية استضافة Azure (مثل تطبيق وظائف Azure وAzure Web App وAzure Kubernetes)، فتحقق من صفحة منتج Azure حسب المنطقة للحصول على توفر الميزة.

تقنية تقسيم البيانات (مهارة تقسيم النص) مجانية ومتوفرة على جميع أدوات Foundry في جميع المناطق.

إشعار

يتم نشر بعض خدمات البحث القديمة التي تم إنشاؤها قبل 1 يناير 2019 على البنية الأساسية التي لا تدعم أحمال عمل المتجهات. إذا حاولت إضافة حقل متجه إلى مخطط وظهرت خطأ، فغالبا ما يكون ذلك نتيجة خدمات قديمة. في هذه الحالة، يجب إنشاء خدمة بحث جديدة لتجربة ميزة المتجه.

ما هي السيناريوهات التي يمكن أن تدعم المتجهات المتكاملة؟

• قم بتقسيم المستندات الكبيرة إلى مجموعات، وهي مفيدة للسيناريوهات المتجهة وغير الوسيطة. بالنسبة إلى المتجهات، تساعدك المجموعات على تلبية قيود الإدخال لتضمين النماذج. بالنسبة للسيناريوهات غير المترابطة، قد يكون لديك تطبيق بحث على نمط الدردشة حيث يقوم GPT بتجميع الاستجابات من مجموعات مفهرسة. يمكنك استخدام المجموعات المتجهة أو غير المترابطة للبحث بنمط الدردشة.

• إنشاء مخزن متجهات حيث تكون كافة الحقول عبارة عن حقول متجهات، ومعرف المستند (مطلوب لفهرس البحث) هو حقل السلسلة الوحيد. استعلم عن مخزن المتجهات لاسترداد معرفات المستندات، ثم أرسل حقول المتجهات الخاصة بالمستند إلى نموذج آخر.

• اجمع بين الحقول المتجهة والنص للبحث المختلط، مع الترتيب الدلالي أو بدونه. يعمل التوجيه المتكامل على تبسيط جميع السيناريوهات التي يدعمها البحث في المتجهات.

كيفية استخدام المتجهات المتكاملة

بالنسبة إلى المتجهات للاستعلام فقط:

1. إضافة متجه إلى فهرس. يجب أن يكون نفس نموذج التضمين المستخدم لإنشاء متجهات في الفهرس.
2. قم بتعيين المتجه إلى ملف تعريف متجه، ثم قم بتعيين ملف تعريف متجه إلى حقل المتجه.
3. صياغة استعلام متجه يحدد السلسلة النصية الموجهة.

سيناريو أكثر شيوعا - تجميع البيانات وتعميمها أثناء الفهرسة:

1. إنشاء اتصال مصدر بيانات بمصدر بيانات مدعوم للفهرسة المستندة إلى المفهرس.
2. أنشئ مجموعة مهارات تستدعي مهارة تقسيم النص للتقسيم وAzure OpenAI Embedding أو مهارة تضمين أخرى لتحويل القطع.
3. إنشاء فهرس يحدد المتجه لوقت الاستعلام، وتعيينه إلى حقول المتجهات.
4. إنشاء مفهرس لدفع كل شيء، من استرداد البيانات، إلى تنفيذ مجموعة المهارات، من خلال الفهرسة. نوصي بتشغيل المفهرس على جدول لالتقاط المستندات التي تم تغييرها أو أي مستندات فائتة بسبب التقييد.

اختياريا، قم بإنشاء فهارس ثانوية للسيناريوهات المتقدمة حيث يكون المحتوى المكتتب في فهرس واحد، وغير مقطع في فهرس آخر. الفهارس المكتظة (أو الفهارس الثانوية) مفيدة لتطبيقات RAG.

بقشيش

جرب معالج استيراد البيانات في بوابة Azure لاستكشاف التقسيم المتكامل قبل كتابة أي كود.

تأمين الاتصالات إلى المتجهات والنماذج

إذا كانت البنية الخاصة بك تتطلب اتصالات خاصة تتجاوز الإنترنت، يمكنك إنشاء اتصال ارتباط خاص مشترك بنماذج التضمين المستخدمة من قبل المهارات أثناء الفهرسة والموجهات في وقت الاستعلام.

تعمل الارتباطات الخاصة المشتركة فقط لاتصالات Azure إلى Azure. إذا كنت تتصل ب OpenAI أو نموذج خارجي آخر، فيجب أن يكون الاتصال عبر الإنترنت العام.

بالنسبة لسيناريوهات المتجهات، يمكنك استخدام:

• openai_account لتضمين النماذج المستضافة على مورد Azure OpenAI.

• sitesلتضمين النماذج التي يتم الوصول إليها كمهارة مخصصة أو ناقل مخصص. sites معرف المجموعة مخصص لخدمات التطبيقات ووظائف Azure، والتي يمكنك استخدامها لاستضافة نموذج تضمين ليس أحد نماذج تضمين Azure OpenAI.

المزايا

فيما يلي بعض الفوائد الرئيسية للخطوط المتجهة المتكاملة:

• لا يوجد خط أنابيب منفصل لتقسيم البيانات والخطوط المتجهة. التعليمات البرمجية أبسط للكتابة والصيانة.

• أتمتة الفهرسة من طرف إلى طرف. عندما تتغير البيانات في المصدر (كما هو الحال في تخزين Azure أو Azure SQL أو Cosmos DB)، يمكن للمفهرس نقل هذه التحديثات عبر المسار بأكمله، من الاسترداد، إلى تكسير المستندات، من خلال إثراء الذكاء الاصطناعي الاختياري، وتقسيم البيانات، واتجاهها، والفهرسة.

• منطق الإرسال في دفعات وإعادة المحاولة مضمن (غير قابل للتكوين). يحتوي Azure الذكاء الاصطناعي Search على نهج إعادة محاولة داخلية لأخطاء التقييد التي تظهر بسبب الحد الأقصى لنقطة نهاية Azure OpenAI على حصص الرمز المميز لنموذج التضمين. نوصي بوضع المفهرس على جدول زمني (على سبيل المثال، كل 5 دقائق) حتى يتمكن المفهرس من معالجة أي استدعاءات يتم تقييدها بواسطة نقطة نهاية Azure OpenAI على الرغم من نهج إعادة المحاولة.

• عرض المحتوى المكتنز على الفهارس الثانوية. يتم إنشاء الفهارس الثانوية كما تفعل مع أي فهرس بحث (مخطط مع حقول وبنيات أخرى)، ولكن يتم ملؤها جنبا إلى جنب مع فهرس أساسي بواسطة مفهرس. يتدفق المحتوى من كل مستند مصدر إلى الحقول في الفهارس الأساسية والثانوية أثناء تشغيل الفهرسة نفسه.

  الفهارس الثانوية مخصصة لتطبيقات أنماط الأسئلة والأجوبة أو الدردشة. يحتوي الفهرس الثانوي على معلومات دقيقة لمطابقات أكثر تحديدا، ولكن الفهرس الأصل يحتوي على مزيد من المعلومات ويمكن أن ينتج غالبا إجابة أكثر اكتمالا. عند العثور على تطابق في الفهرس الثانوي، يقوم الاستعلام بإرجاع المستند الأصل من الفهرس الأساسي. على سبيل المثال، بافتراض وجود ملف PDF كبير كمستند مصدر، قد يحتوي الفهرس الأساسي على معلومات أساسية (العنوان والتاريخ والكاتب والوصف)، بينما يحتوي الفهرس الثانوي على أجزاء من المحتوى القابل للبحث.

القيود

تأكد من معرفة حصص وحدود Azure OpenAI لتضمين النماذج. يحتوي Azure الذكاء الاصطناعي Search على نهج إعادة المحاولة، ولكن إذا تم استنفاد الحصة النسبية، تفشل إعادة المحاولة.

حدود الرمز المميز ل Azure OpenAI لكل دقيقة هي لكل نموذج، لكل اشتراك. ضع هذا في اعتبارك إذا كنت تستخدم نموذج تضمين لكل من أحمال عمل الاستعلام والفهرسة. اتبع أفضل الممارسات، إن أمكن. لديك نموذج تضمين لكل حمل عمل، وحاول توزيعه في اشتراكات مختلفة.

في Azure الذكاء الاصطناعي Search، تذكر أن هناك حدود للخدمة حسب الطبقة وأحمال العمل.

الخطوات التالية

• إعداد المتجهات المتكاملة
• تكوين متجه في فهرس بحث
• تكوين إسقاطات الفهرس في مجموعة مهارات