ما هي التضمينات المتجهية والبحث المتجهات في Azure Managed Redis؟

البحث في التشابه المتجه (VSS) هو قدرة شائعة في التطبيقات الذكية المدعومة بالذكاء الاصطناعي. يمكنك استخدام Azure Redis المدارة كقاعدة بيانات متجهة منخفضة التأخير عند دمجها مع نماذج التضمين، مثل Azure OpenAI، لتوليد Retrieval-Augmented (RAG)، والتخزين المؤقت الدلالي، والتوصيات، والبحث، وسيناريوهات الذكاء الاصطناعي الأخرى.

تقدم هذه المقالة تضمينات المتجهات، والبحث في تشابه المتجهات، وكيف يمكن ل Azure Managed Redis تخزين والبحث عن المتجهات باستخدام وحدة RediSearch.

للدروس التعليمية ونماذج التطبيقات التي تستخدم Azure Managed Redis مع Azure OpenAI، راجع الموارد التالية:

• Tutorial: إجراء تشابه متجه مع تضمينات OpenAI باستخدام Azure Redis المدارة باستخدام LangChain

نطاق التوفر

تتطلب قدرات البحث عن المتجهات في Redis Redis Stack، وتحديدا الوحدة النمطية RediSearch . في Azure Managed Redis، يتوفر RediSearch كوحدة مدارة يجب تفعيلها عند إنشاء الكاش.

الجدول التالي يوضح توفر RediSearch لمستويات Redis المدارة من Azure.

مستوى Redis المنظم من Azure	دعم RediSearch
مُحسّن للذاكرة	‏‏نعم‬
متزن	‏‏نعم‬
مُحسّن للحساب	‏‏نعم‬
Flash Optimized	لا

مهم

لا يمكنك إضافة وحدات إلى نسخة Azure Managed Redis بعد إنشاؤها. إذا كنت تخطط لاستخدام البحث المتجه، قم بتفعيل وحدة RediSearch أثناء التجهيز.

خطط لنسخة Redis مدارة من Azure للبحث المتجه

قبل أن تنشئ نسخة Azure Managed Redis للبحث المتجه، خطط لتكوين ذاكرة التخزين المؤقت ونموذج البيانات. يجب عليك اختيار بعض الخيارات، بما في ذلك الوحدات وسياسة التجميع، أثناء التجهيز.

بالنسبة لأعباء عمل البحث المتجه:

• قم بتمكين وحدة RediSearch عند إنشاء نسخة Azure Managed Redis.
• استخدم سياسة التجميع المؤسسي . يتطلب RediSearch سياسة تجميع المؤسسات.
• استخدم NoEviction سياسة الإخلاء عندما يكون RediSearch مفعلا.
• اختر مستوى مدعوم داخل الذاكرة: تحسين الذاكرة، متوازن، أو تحسين الحوسبة.
• قم بقياس حجم الذاكرة المؤقتة لكل من بيانات المتجهات والعبء الإضافي للفهرس.
• تخزين البيانات الوصفية مع متجهات مثل معرف المستند، العنوان، عنوان URL المصدر، التصنيف، الطابع الزمني، معرف المستأجر، أو حقول التحكم في الوصول، بحيث يمكن للاستفسارات تصفية النتائج وإعادة معلومات المصدر.
• استخدم TLS للاتصال بالعملاء وفكر في مصادقة Microsoft Entra عندما يدعمك عميلك.
• بالنسبة لأعباء العمل الإنتاجية، فكر في Private Link، والتوافر العالي، والتشخيص.

تدير Azure Managed Redis نسخ الوحدات المتاحة للخدمة. لا يمكنك تحميل الوحدات يدويا أو تحديث إصدارات الوحدات يدويا.

لمزيد من المعلومات، راجع استخدام وحدات Redis مع Azure Managed Redis، وبنية Azure Managed Redis، وQuickstart: إنشاء نسخة Azure Managed Redis.

ما هي تضمينات المتجهات؟

التضمينات المتجهية هي تمثيلات رقمية للبيانات، مثل الكلمات أو المستندات أو الصور أو الضربات، في فضاء متجه عالي الأبعاد. تلتقط التضمينات العلاقات الدلالية بطريقة تسمح للتطبيقات بمقارنة البيانات رياضيا.

على سبيل المثال، عادة ما يكون لدى الكلمات basketball و baseball تضمينات أقرب إلى بعضها البعض من أي من الكلمتين إلى rainforest، لأن النموذج يضع مفاهيم دلالية قريبة من بعضها في فضاء المتجهات.

تولد نماذج التعلم الآلي المختلفة التضمينات بشكل مختلف. للحصول على أفضل النتائج، استخدم نموذج تضمين واحد بشكل متسق لمؤشر متجه معين. يجب أن تتطابق مخطط المؤشر، وأبعاد المتجهات، ومقياس المسافة مع نموذج التضمين المستخدم لتوليد المتجهات.

مقارنة المتجهات

يمكنك مقارنة المتجهات باستخدام مقاييس المسافة أو التشابه. المقاييس الشائعة تشمل:

• تشابه جيب تمام، الذي يقارن الزاوية بين المتجهات.
• المسافة الإقليدية، التي تقيس المسافة المستقيمة في الفضاء المتجه.
• المنتج الداخلي، وهو ما تستخدمه بعض سيناريوهات التضمين والترتيب بشكل شائع.

المقياس الصحيح يعتمد على نموذج التضمين وكيفية تطبيع المتجهات. في العديد من سيناريوهات تضمين النصوص، التشابه بين الجيب التمامة هو خيار شائع.

إنشاء عمليات التضمين

تدعم العديد من نماذج التعلم الآلي تضمين واجهات برمجة التطبيقات. للحصول على مثال على كيفية إنشاء التضمينات المتجهية باستخدام Azure OpenAI، راجع تعلم كيفية إنشاء التضمينات باستخدام Azure OpenAI.

ما هي قاعدة بيانات المتجهات؟

تقوم قاعدة بيانات المتجهات بتخزين وفهرسة واسترجاع ومقارنة المتجهات عالية الأبعاد. تم تصميم قواعد بيانات المتجهات لإرجاع متجهات مماثلة ذات زمن استجابة منخفض ومعدل نقل إنتاجي مرتفع.

يمكنك استخدام Azure Managed Redis كقاعدة بيانات متجهة عن طريق تخزين التضمينات في هياكل بيانات Redis وفهرستها باستخدام RediSearch.

التخزين المتجه والبيانات الوصفية

في Redis، يمكنك تخزين المتجهات في هاشات أو مستندات JSON. تخزين بيانات وصفية مفيدة مع كل متجه، مثل معرف المستند، العنوان، عنوان المصدر، التصنيف، الطابع الزمني، معرف المستأجر، أو حقول التحكم في الوصول.

تجعل البيانات الوصفية البحث المتجه أكثر فائدة لأن التطبيقات يمكنها تصفية النتائج قبل أو أثناء البحث المتجه. بالنسبة لتطبيقات RAG، يمكن أيضا إرجاع البيانات الوصفية مع نتائج البحث لدعم الاستشهادات وتأريض المصدر.

طرق الفهرس والبحث

تستخدم قواعد البيانات المتجهة الفهارس لجعل البحث فعالا. يدعم RediSearch أساليب الفهرسة المتجهية الشائعة، بما في ذلك:

• FLAT - مؤشر القوة الغاشمة الدقيق. يمكن أن يكون FLAT مفيدا لمجموعات البيانات الصغيرة أو الأحمال التي تتطلب بحثا شاملا.
• HNSW - مؤشر أقرب جار تقريبي يعتمد على الرسوم البيانية الهرمية للعالم الصغير القابل للملاحة. غالبا ما يستخدم HNSW لمجموعات البيانات الأكبر حيث يكون الكمون الأقل أهم من الدقة الشاملة.

تشمل طرق البحث الشائعة:

• K-أقرب الجيران (KNN) - يعيد أعلى K المتجهات المتشابهة.
• أقرب الجيران التقريبي (ANN) - يتبادل بعض الدقة مقابل زمن استجابة أقل وتكلفة حوسبة أقل.

قدرات البحث

تقوم قواعد بيانات المتجهات بإجراء عمليات البحث عن طريق مقارنة متجه استعلام مع متجهات مفهرسة وإرجاع النتائج الأكثر تشابها. تستخدم العديد من التطبيقات أيضا البحث الهجين، حيث تقوم مرشحات البيانات الوصفية بتضييق مجموعة المرشحين قبل أو أثناء مقارنة المتجهات.

على سبيل المثال، قد يبحث استعلام توصيات المنتج فقط عن المنتجات في فئة معينة، أو قد يبحث تطبيق RAG فقط عن المستندات التي يسمح للمستخدم الحالي بالوصول إليها.

سيناريوهات مفتاح البحث عن المتجهات

يمكن استخدام البحث في التشابه المتجهات في العديد من أنماط التطبيقات، بما في ذلك:

• Q&A الدلالي. ابن روبوت دردشة يجيب على الأسئلة المتعلقة ببياناتك الخاصة. يمكن تقسيم المستندات، وتضمينها، وتخزينها في Azure Managed Redis، واسترجاعها بواسطة تشابه متجهات قبل تلخيصها بواسطة نموذج لغوي كبير.
• استرجاع المستندات. استخدم التضمينات لتوفير بحث دلالي في المستندات عندما لا يكون البحث عن الكلمات المفتاحية كافيا.
• توصية بالمنتج. ابحث عن منتجات أو خدمات مشابهة بناء على نشاط التصفح، سجل الشراء، أو وصف المنتجات.
• بحث بصري. ابحث عن منتجات أو صور تشبه الصورة المرسلة بصريا.
• التخزين المؤقت الدلالي. تقليل تكلفة وكمون نماذج اللغة الكبيرة عن طريق تخزين الأكمال مؤقتا وإعادة استخدام الردود المخزنة مؤقتا عندما يكون التوجيه الجديد مشابها دلاليا للطلب السابق.
• ذاكرة محادثة ماجستير اللغة الكبير. تخزين الذاكرة قصيرة المدى، مثل تغييرات المحادثات الأخيرة، والذاكرة طويلة الأمد، مثل الملخصات الدائمة، أو تفضيلات المستخدم، أو الحقائق، كتضمين يمكن للتطبيقات استرجاعها للردود المستقبلية.

لماذا تختار Azure Managed Redis لتخزين والبحث في الvectors؟

Azure Managed Redis مفيد لأحمال البحث المتجهية التي تحتاج إلى وصول منخفض التأخير بالقرب من بيانات التطبيق، أو بيانات الكاش، أو حالة الجلسة، أو ذاكرة المحادثة. نظرا لأن Redis يستخدم عادة لأنماط التطبيقات عالية الأداء، يمكن ل Azure Managed Redis دعم البحث المتجه مع خدمة حالات استخدام متجاورة مثل التخزين المؤقت، تحديد المعدلات، تخزين الجلسات، التخزين المؤقت الدلالي، وذاكرة الوكيل.

تتضمن العديد من أطر الذكاء الاصطناعي والتطبيقات تكاملات Redis، بما في ذلك:

• مزود Redis Microsoft Agent Framework
• نواة دلالية Redis Connector
• تكاملات لانغتشين ريديس
• متجر LlamaIndex Redis Vector

يستخدم Azure Managed Redis وحدة RediSearch لدعم قدرات البحث المتجهات مثل:

• مقاييس المسافة المشتركة، بما في ذلك L2، COSINE، و IP.
• بحث KNN مع FLATHNSW وفهارس المتجهات.
• تخزين المتجهات في هياكل بيانات التجزئة أو JSON.
• أفضل استفسارات K.
• استفسارات النطاق المتجه.
• البحث الهجين مع ميزات الاستعلام مثل:
  • التصفية الجغرافية المكانية.
  • مرشحات رقمية ونصية.
  • بادئة ومطابقة ضبابية.
  • مطابقة صوتية.
  • استفسارات بولية.

ما هي الخيارات الأخرى المتاحة لي لتخزين والبحث عن المتجهات؟

يوفر Azure خدمات متعددة لتخزين والبحث عبر الأنظمة المتجهة. الخيار الأفضل يعتمد على عبء العمل لديك.

الخدمة	فكر متى
Azure Managed Redis	تحتاج إلى بحث متجه منخفض التأخير قريبا من ذاكرة ذاكرة التخزين المؤقت للتطبيق، أو حالة الجلسة، أو ذاكرة التخزين المؤقت الدلالي، أو أنماط ذاكرة LLM.
Azure بحث الذكاء الاصطناعي	تحتاج إلى خدمة البحث أولا لفهرسة المستندات، والبحث الهجين، وضبط الصلة، وسيناريوهات استرجاع المؤسسات.
Azure Cosmos DB	تريد البحث المتجه جنبا إلى جنب مع بيانات NoSQL التشغيلية.
قاعدة بيانات Azure لـ PostgreSQL - الخادم المرن	تريد البحث المتجه في PostgreSQL باستخدام pgvector البيانات العلائقية جنبا إلى جنب.

المحتوى ذو الصلة

أفضل طريقة للبدء مع التضمينات والبحث عبر المتجهات هي أن تجرب ذلك بنفسك.

• الدرس: إجراء بحث تشابه متجهات على تضمينات Azure OpenAI باستخدام Azure Managed Redis
• استخدم وحدات Redis مع Redis المدارة من Azure
• بنية Azure Managed Redis
• Quickstart: إنشاء مثيل Redis مدار من Azure