مشاركة عبر

نموذج يخدم مع Azure Databricks

  • مقالة

توضح هذه المقالة الفسيفساء الذكاء الاصطناعي خدمة النموذج، بما في ذلك مزاياها وقيودها.

ما هي خدمة نموذج الفسيفساء الذكاء الاصطناعي؟

توفر خدمة نموذج الفسيفساء الذكاء الاصطناعي واجهة موحدة لنشر نماذج الذكاء الاصطناعي والتحكم فيها والاستعلام عن استدلالها في الوقت الفعلي والدفعة. يتوفر كل نموذج تخدمه كواجهة برمجة تطبيقات REST يمكنك دمجها في تطبيق الويب أو العميل.

توفر خدمة النموذج خدمة متاحة للغاية وزمن انتقال منخفض لنشر النماذج. تتوسع الخدمة تلقائيا لأعلى أو لأسفل لتلبية تغييرات الطلب، ما يوفر تكاليف البنية الأساسية مع تحسين أداء زمن الانتقال. تستخدم هذه الوظيفة الحوسبة بلا خادم. راجع صفحة تسعير خدمة النموذج للحصول على مزيد من التفاصيل.

تدعم خدمة النموذج الخدمة:

  • النماذج المخصصة. هذه نماذج Python مجمعة بتنسيق MLflow. يمكن تسجيلها إما في كتالوج Unity أو في سجل نموذج مساحة العمل. ومن الأمثلة على ذلك scikit-learn وXGBoost وPyTorch ونماذج محول Face Hugging.
  • أحدث النماذج المفتوحة التي توفرها واجهات برمجة تطبيقات نموذج المؤسسة. هذه النماذج هي بنيات نموذج أساسي منسقة تدعم الاستدلال الأمثل. تتوفر النماذج الأساسية، مثل Llama-2-70B-chat وBGE-Large و Mistral-7B للاستخدام الفوري مع تسعير الدفع لكل رمز مميز ، ويمكن نشر أحمال العمل التي تتطلب ضمانات الأداء ومتغيرات النموذج الدقيقة مع معدل النقل المقدم.
  • نماذج خارجية. هذه هي نماذج الذكاء الاصطناعي التوليدية التي تتم استضافتها خارج Databricks. ومن الأمثلة على ذلك نماذج مثل GPT-4 من OpenAI وكلود من Anthropic وغيرها. يمكن التحكم مركزيا في نقاط النهاية التي تخدم النماذج الخارجية ويمكن للعملاء وضع حدود للمعدل والتحكم في الوصول لهم.

إشعار

يمكنك التفاعل مع نماذج اللغات الكبيرة المدعومة باستخدام الذكاء الاصطناعي Playground. الذكاء الاصطناعي Playground هو بيئة تشبه الدردشة حيث يمكنك اختبار LLMs ومطالبتها ومقارنتها. تتوفر هذه الوظيفة في مساحة عمل Azure Databricks.

تقدم خدمة النموذج واجهة برمجة تطبيقات REST وواجهة برمجة تطبيقات نشر MLflow موحدة لمهام CRUD والاستعلام. بالإضافة إلى ذلك، يوفر واجهة مستخدم واحدة لإدارة جميع نماذجك ونقاط نهاية الخدمة الخاصة بها. يمكنك أيضا الوصول إلى النماذج مباشرة من SQL باستخدام وظائف الذكاء الاصطناعي لسهولة التكامل في مهام سير عمل التحليلات.

للحصول على برنامج تعليمي تمهيدي حول كيفية خدمة النماذج المخصصة على Azure Databricks، راجع البرنامج التعليمي: نشر نموذج مخصص والاستعلام عنه.

للحصول على برنامج تعليمي للبدء حول كيفية الاستعلام عن نموذج أساسي على Databricks، راجع بدء الاستعلام عن LLMs على Databricks.

لماذا تستخدم خدمة النموذج؟

  • توزيع أي نماذج والاستعلام عنها: توفر خدمة النماذج واجهة موحدة بحيث يمكنك إدارة جميع النماذج في موقع واحد والاستعلام عنها باستخدام واجهة برمجة تطبيقات واحدة، بغض النظر عما إذا كانت مستضافة على Databricks أو خارجيا. يبسط هذا النهج عملية تجربة النماذج وتخصيصها ونشرها في الإنتاج عبر السحب والموفرين المتنوعين.
  • تخصيص النماذج بأمان باستخدام بياناتك الخاصة: استنادا إلى النظام الأساسي للمعلومات عن البيانات، تعمل خدمة النموذج على تبسيط تكامل الميزات والتضمينات في النماذج من خلال التكامل الأصلي مع Databricks Feature Store وSifics الذكاء الاصطناعي Vector Search. لمزيد من الدقة المحسنة والفهم السياقي، يمكن ضبط النماذج مع البيانات الخاصة ونشرها دون عناء على خدمة النموذج.
  • التحكم في النماذج ومراقبتها: تتيح لك واجهة المستخدم "تقديم" إدارة جميع نقاط نهاية النموذج مركزيا في مكان واحد، بما في ذلك تلك التي تتم استضافتها خارجيا. يمكنك إدارة الأذونات وتعقب حدود الاستخدام وتعيينها ومراقبة جودة جميع أنواع النماذج. يمكنك هذا من إضفاء الطابع الديمقراطي على الوصول إلى SaaS وفتح LLMs داخل مؤسستك مع ضمان وجود حواجز حماية مناسبة.
  • تقليل التكلفة باستخدام الاستدلال الأمثل والتحجيم السريع: نفذت Databricks مجموعة من التحسينات لضمان حصولك على أفضل معدل نقل وزمن انتقال للنماذج الكبيرة. يتم توسيع نقاط النهاية تلقائيا لأعلى أو لأسفل لتلبية تغييرات الطلب، ما يوفر تكاليف البنية الأساسية مع تحسين أداء زمن الانتقال. مراقبة تكاليف خدمة النموذج.

إشعار

بالنسبة لأحمال العمل الحساسة لزمن الانتقال أو التي تتضمن عددا كبيرا من الاستعلامات في الثانية، توصي Databricks باستخدام تحسين المسار على نموذج مخصص يخدم نقاط النهاية. تواصل مع فريق حساب Databricks للتأكد من تمكين مساحة العمل الخاصة بك لقابلية التوسع العالية.

  • جلب الموثوقية والأمان إلى خدمة النموذج: تم تصميم خدمة النموذج لاستخدام إنتاج عالي التوفر وزمن انتقال منخفض ويمكن أن يدعم أكثر من 25 ألف استعلامات في الثانية مع زمن انتقال إضافي أقل من 50 مللي ثانية. تتم حماية أحمال العمل التي تخدمها طبقات متعددة من الأمان، ما يضمن بيئة آمنة وموثوقة حتى للمهام الأكثر حساسية.

إشعار

لا توفر خدمة النموذج تصحيحات أمنية لصور النموذج الحالية بسبب خطر زعزعة الاستقرار في عمليات نشر الإنتاج. ستحتوي صورة نموذج جديدة تم إنشاؤها من إصدار نموذج جديد على أحدث التصحيحات. تواصل مع فريق حساب Databricks للحصول على مزيد من المعلومات.

المتطلبات

  • نموذج مسجل في كتالوج Unity أو سجل نموذج مساحة العمل.
  • الأذونات على النماذج المسجلة كما هو موضح في خدمة قوائم التحكم في الوصول لنقطة النهاية.
  • MLflow 1.29 أو أعلى

تمكين خدمة النموذج لمساحة العمل الخاصة بك

لا توجد خطوات إضافية مطلوبة لتمكين خدمة النموذج في مساحة العمل الخاصة بك.

القيود وتوافر المنطقة

تفرض خدمة نموذج الفسيفساء الذكاء الاصطناعي حدودا افتراضية لضمان الأداء الموثوق به. راجع حدود ومناطق خدمة النموذج. إذا كانت لديك ملاحظات حول هذه الحدود أو نقطة نهاية في منطقة غير مدعومة، فتواصل مع فريق حساب Databricks.

حماية البيانات في خدمة النموذج

يأخذ Databricks أمان البيانات على محمل الجد. تدرك Databricks أهمية البيانات التي تحللها باستخدام الفسيفساء الذكاء الاصطناعي Model Serving، وتنفذ عناصر التحكم الأمنية التالية لحماية بياناتك.

  • كل طلب عميل لخدمة النموذج معزول منطقيا ومصادق عليه ومخول.
  • تقوم خدمة موزاييك الذكاء الاصطناعي Model بتشفير جميع البيانات الثابتة (AES-256) وفي أثناء النقل (TLS 1.2+).

بالنسبة لجميع الحسابات المدفوعة، لا تستخدم خدمة نموذج الفسيفساء الذكاء الاصطناعي مدخلات المستخدم المقدمة إلى الخدمة أو المخرجات من الخدمة لتدريب أي نماذج أو تحسين أي خدمات Databricks.

بالنسبة لواجهات برمجة تطبيقات نموذج Databricks Foundation، كجزء من توفير الخدمة، قد تقوم Databricks بمعالجة وتخزين المدخلات والمخرجات مؤقتا لأغراض منع إساءة الاستخدام أو الاستخدامات الضارة واكتشافها والتخفيف من حدتها. يتم عزل مدخلاتك ومخرجاتك عن تلك الخاصة بالعملاء الآخرين، ويتم تخزينها في نفس المنطقة مثل مساحة العمل الخاصة بك لمدة تصل إلى ثلاثين (30) يوما، ولا يمكن الوصول إليها إلا للكشف عن مخاوف الأمان أو إساءة الاستخدام والاستجابة لها.

الموارد الإضافية