نموذج يخدم مع Azure Databricks

  • مقالة

توضح هذه المقالة خدمة نموذج Azure Databricks، بما في ذلك مزاياها وقيودها.

ما هي خدمة النموذج؟

توفر خدمة نموذج Databricks واجهة موحدة لنشر نماذج الذكاء الاصطناعي والتحكم فيها والاستعلام عليها. يتوفر كل نموذج تخدمه كواجهة برمجة تطبيقات REST يمكنك دمجها في تطبيق الويب أو العميل.

توفر خدمة النموذج خدمة متاحة للغاية وزمن انتقال منخفض لنشر النماذج. تتوسع الخدمة تلقائيا لأعلى أو لأسفل لتلبية تغييرات الطلب، ما يوفر تكاليف البنية الأساسية مع تحسين أداء زمن الانتقال. تستخدم هذه الوظيفة الحوسبة بلا خادم. راجع صفحة تسعير خدمة النموذج للحصول على مزيد من التفاصيل.

تدعم خدمة النموذج الخدمة:

  • النماذج المخصصة. هذه نماذج Python مجمعة بتنسيق MLflow. يمكن تسجيلها إما في كتالوج Unity أو في سجل نموذج مساحة العمل. ومن الأمثلة على ذلك scikit-learn وXGBoost وPyTorch ونماذج محول Face Hugging.
  • أحدث النماذج المفتوحة التي توفرها واجهات برمجة تطبيقات نموذج المؤسسة. هذه النماذج هي بنيات نموذج أساسي منسقة تدعم الاستدلال الأمثل. تتوفر النماذج الأساسية، مثل Llama-2-70B-chat وBGE-Large و Mistral-7B للاستخدام الفوري مع تسعير الدفع لكل رمز مميز ، ويمكن نشر أحمال العمل التي تتطلب ضمانات الأداء ومتغيرات النموذج الدقيقة مع معدل النقل المقدم.
  • نماذج خارجية. هذه هي النماذج التي تتم استضافتها خارج Databricks. يمكن التحكم مركزيا في نقاط النهاية التي تخدم النماذج الخارجية ويمكن للعملاء وضع حدود للمعدل والتحكم في الوصول لهم. ومن الأمثلة على ذلك نماذج أساسية مثل، GPT-4 من OpenAI، وكلود من Anthropic، وغيرها.

إشعار

يمكنك التفاعل مع نماذج اللغات الكبيرة المدعومة باستخدام الذكاء الاصطناعي Playground. الذكاء الاصطناعي Playground هو بيئة تشبه الدردشة حيث يمكنك اختبار LLMs ومطالبتها ومقارنتها. تتوفر هذه الوظيفة في مساحة عمل Azure Databricks.

تقدم خدمة النموذج واجهة برمجة تطبيقات REST وواجهة برمجة تطبيقات نشر MLflow موحدة لمهام CRUD والاستعلام. بالإضافة إلى ذلك، يوفر واجهة مستخدم واحدة لإدارة جميع نماذجك ونقاط نهاية الخدمة الخاصة بها. يمكنك أيضا الوصول إلى النماذج مباشرة من SQL باستخدام وظائف الذكاء الاصطناعي لسهولة التكامل في مهام سير عمل التحليلات.

للحصول على برنامج تعليمي تمهيدي حول كيفية خدمة النماذج المخصصة على Azure Databricks، راجع البرنامج التعليمي: نشر نموذج مخصص والاستعلام عنه.

للحصول على برنامج تعليمي للبدء حول كيفية الاستعلام عن نموذج أساسي على Databricks، راجع بدء الاستعلام عن LLMs على Databricks.

لماذا تستخدم خدمة النموذج؟

  • توزيع أي نماذج والاستعلام عنها: توفر خدمة النماذج واجهة موحدة بحيث يمكنك إدارة جميع النماذج في موقع واحد والاستعلام عنها باستخدام واجهة برمجة تطبيقات واحدة، بغض النظر عما إذا كانت مستضافة على Databricks أو خارجيا. يبسط هذا النهج عملية تجربة النماذج وتخصيصها ونشرها في الإنتاج عبر السحب والموفرين المتنوعين.

  • تخصيص النماذج بأمان باستخدام بياناتك الخاصة: استنادا إلى النظام الأساسي للمعلومات عن البيانات، تعمل خدمة النموذج على تبسيط تكامل الميزات والتضمينات في النماذج من خلال التكامل الأصلي مع Databricks Feature Store وDatabricks Vector Search. لمزيد من الدقة المحسنة والفهم السياقي، يمكن ضبط النماذج مع البيانات الخاصة ونشرها دون عناء على خدمة النموذج.

  • التحكم في النماذج ومراقبتها: تتيح لك واجهة المستخدم "تقديم" إدارة جميع نقاط نهاية النموذج مركزيا في مكان واحد، بما في ذلك تلك التي تتم استضافتها خارجيا. يمكنك إدارة الأذونات وتعقب حدود الاستخدام وتعيينها ومراقبة جودة جميع أنواع النماذج. يمكنك هذا من إضفاء الطابع الديمقراطي على الوصول إلى SaaS وفتح LLMs داخل مؤسستك مع ضمان وجود حواجز حماية مناسبة.

  • تقليل التكلفة باستخدام الاستدلال الأمثل والتحجيم السريع: نفذت Databricks مجموعة من التحسينات لضمان حصولك على أفضل معدل نقل وزمن انتقال للنماذج الكبيرة. يتم توسيع نقاط النهاية تلقائيا لأعلى أو لأسفل لتلبية تغييرات الطلب، ما يوفر تكاليف البنية الأساسية مع تحسين أداء زمن الانتقال.

  • جلب الموثوقية والأمان إلى خدمة النموذج: تم تصميم خدمة النموذج لاستخدام إنتاج عالي التوفر وزمن انتقال منخفض ويمكن أن يدعم أكثر من 25 ألف استعلامات في الثانية مع زمن انتقال إضافي أقل من 50 مللي ثانية. تتم حماية أحمال العمل التي تخدمها طبقات متعددة من الأمان، ما يضمن بيئة آمنة وموثوقة حتى للمهام الأكثر حساسية.

الاحتياجات

  • نموذج مسجل في كتالوج Unity أو سجل نموذج مساحة العمل.
  • الأذونات على النماذج المسجلة كما هو موضح في خدمة قوائم التحكم في الوصول لنقطة النهاية.
  • MLflow 1.29 أو أعلى

تمكين خدمة النموذج لمساحة العمل الخاصة بك

لا توجد خطوات إضافية مطلوبة لتمكين خدمة النموذج في مساحة العمل الخاصة بك.

القيود وتوافر المنطقة

تفرض خدمة نموذج Databricks حدودا افتراضية لضمان أداء موثوق به. راجع حدود ومناطق خدمة النموذج. إذا كانت لديك ملاحظات حول هذه الحدود أو نقطة نهاية في منطقة غير مدعومة، فتواصل مع فريق حساب Databricks.

حماية البيانات في خدمة النموذج

يأخذ Databricks أمان البيانات على محمل الجد. تدرك Databricks أهمية البيانات التي تحللها باستخدام خدمة نموذج Databricks، وتنفذ عناصر التحكم الأمنية التالية لحماية بياناتك.

  • كل طلب عميل لخدمة النموذج معزول منطقيا ومصادق عليه ومخول.
  • تقوم خدمة نموذج Databricks بتشفير جميع البيانات الثابتة (AES-256) وفي أثناء النقل (TLS 1.2+).

بالنسبة لجميع الحسابات المدفوعة، لا تستخدم خدمة نموذج Databricks مدخلات المستخدم المرسلة إلى الخدمة أو المخرجات من الخدمة لتدريب أي نماذج أو تحسين أي خدمات Databricks.

بالنسبة لواجهات برمجة تطبيقات نموذج Databricks Foundation، كجزء من توفير الخدمة، قد تقوم Databricks بمعالجة وتخزين المدخلات والمخرجات مؤقتا لأغراض منع إساءة الاستخدام أو الاستخدامات الضارة واكتشافها والتخفيف من حدتها. يتم عزل مدخلاتك ومخرجاتك عن تلك الخاصة بالعملاء الآخرين، ويتم تخزينها في نفس المنطقة مثل مساحة العمل الخاصة بك لمدة تصل إلى ثلاثين (30) يوما، ولا يمكن الوصول إليها إلا للكشف عن مخاوف الأمان أو إساءة الاستخدام والاستجابة لها.

الموارد الإضافية