حدود ومناطق خدمة النموذج

تلخص هذه المقالة القيود وتوافر المنطقة لنوعي الفسيفساء الذكاء الاصطناعي Model Serving وأنواع نقاط النهاية المدعومة.

القيود

تفرض خدمة نموذج الفسيفساء الذكاء الاصطناعي حدودا افتراضية لضمان الأداء الموثوق به. إذا كانت لديك ملاحظات حول هذه الحدود، فيرجى التواصل مع فريق حساب Databricks.

يلخص الجدول التالي قيود الموارد والحمولة لنقاط نهاية خدمة النموذج.

ميزة	النقاوة	الحد
حجم البيانات الأساسية	لكل طلب	16 ميغابايت. بالنسبة لنقاط النهاية التي تخدم النماذج الأساسية أو النماذج الخارجية، يكون الحد هو 4 ميغابايت.
الاستعلامات في الثانية (QPS)	لكل مساحة عمل	200 QPS. يمكن زيادته إلى 3000 أو أكثر عن طريق التواصل مع فريق حساب Databricks الخاص بك.
مدة تنفيذ النموذج	لكل طلب	120 seconds
استخدام ذاكرة نموذج نقطة نهاية وحدة المعالجة المركزية	لكل نقطة نهاية	4 غيغابايت
استخدام ذاكرة نموذج نقطة نهاية GPU	لكل نقطة نهاية	أكبر من ذاكرة وحدة معالجة الرسومات المعينة أو مساوية لها، يعتمد على حجم حمل عمل GPU
التزامن المقدم	لكل مساحة عمل	200 تزامن. يمكن زيادتها عن طريق الوصول إلى حساب Databricks الخاص بك.
زمن الانتقال الزائد	لكل طلب	أقل من 50 مللي ثانية
واجهات برمجة التطبيقات لنموذج الأساس (حدود معدل الدفع لكل رمز مميز)	لكل مساحة عمل	إذا كانت الحدود التالية غير كافية لحالة الاستخدام الخاصة بك، توصي Databricks باستخدام معدل النقل المقدم. - لدى Llama 3.1 70B Instruct حد 2 استعلاما في الثانية و1200 استعلام في الساعة. - لدى Llama 3.1 405B Instruct حد استعلام 1 في الثانية و1200 استعلام في الساعة. - نموذج تعليمات DBRX له حد استعلام 1 في الثانية. - لدى Llama 2 70B Chat و Mixtral-8x 7B Instruct حد معدل افتراضي يبلغ استعلامان في الثانية. - GTE Large (En) لديه حد معدل يبلغ 150 استعلارا في الثانية - BGE Large (En) لديه حد معدل يبلغ 600 استعلا في الثانية.
حدود معدل معدل واجهة برمجة التطبيقات لنموذج الأساس (معدل النقل المقدم)	لكل مساحة عمل	مثل حد خدمة QPS للنموذج المذكور أعلاه.

يتم حماية نقاط نهاية خدمة النموذج من خلال التحكم في الوصول واحترام قواعد الدخول المتعلقة بالشبكات التي تم تكوينها على مساحة العمل، مثل قوائم السماح IP والارتباط الخاص.

توجد قيود إضافية أيضا:

• من الممكن نشر مساحة عمل في منطقة مدعومة، ولكن يتم تقديمها بواسطة وحدة تحكم في منطقة مختلفة. لا تدعم مساحات العمل هذه خدمة النموذج وتؤدي إلى ظهور رسالة خطأ تفيد بأن مساحة العمل الخاصة بك غير مدعومة. تواصل مع فريق حساب Azure Databricks للحصول على مزيد من المعلومات.
• لا تدعم خدمة النموذج البرامج النصية init.
• بشكل افتراضي، لا تدعم خدمة النموذج الارتباط الخاص بنقاط النهاية الخارجية (مثل Azure OpenAI). يتم تقييم الدعم لهذه الوظيفة وتنفيذه على أساس كل منطقة. تواصل مع فريق حساب Azure Databricks للحصول على مزيد من المعلومات.

حدود واجهات برمجة التطبيقات لنموذج الأساس

إشعار

كجزء من توفير واجهات برمجة التطبيقات لنموذج المؤسسة، قد تعالج Databricks بياناتك خارج المنطقة التي نشأت فيها بياناتك، ولكن ليس خارج الموقع الجغرافي ذي الصلة.

فيما يلي حدود ذات صلة بأحمال عمل واجهات برمجة التطبيقات لنموذج الأساس:

• يدعم معدل النقل المقدم ملف تعريف التوافق HIPAA ويجب استخدامه لأحمال العمل التي تتطلب شهادات التوافق.
• أحمال عمل الدفع لكل رمز مميز غير متوافقة مع HIPAA أو ملف تعريف أمان التوافق.
• بالنسبة لنقاط نهاية واجهات برمجة التطبيقات لنموذج الأساس، يمكن لمسؤولي مساحة العمل فقط تغيير إعدادات الحوكمة، مثل حدود المعدل. لتغيير حدود المعدل، استخدم الخطوات التالية:
  1. افتح واجهة مستخدم العرض في مساحة العمل الخاصة بك لمشاهدة نقاط نهاية العرض.
  2. من قائمة kebab في نقطة نهاية Foundation Model APIs التي تريد تحريرها، حدد View details.
  3. من قائمة الكباب في الجانب العلوي الأيسر من صفحة تفاصيل نقاط النهاية، حدد تغيير حد المعدل.
• لاستخدام بنية نموذج DBRX لحمل عمل معدل النقل المقدم، يجب أن تكون نقطة نهاية العرض في إحدى المناطق التالية:
  • eastus
  • eastus2
  • westus
  • centralus
  • westeurope
  • northeurope
  • australiaeast
  • canadacentral
  • brazilsouth
• تتوفر فقط نماذج GTE Large (En) و Meta Llama 3.1 70B Instruct في المناطق المدعومة بالدفع لكل رمز مميز في الاتحاد الأوروبي و الولايات المتحدة.
• يتم دعم نماذج الدفع لكل رمز مميز التالية فقط في مناطق الولايات المتحدة المدعومة بالدفع لكل رمز مميز لنموذج الأساس:
  • تعليمات Meta Llama 3.1 405B
  • تعليمات DBRX
  • تعليمات Mixtral-8x7B
  • BGE Large (En)
  • دردشة Llama 2 70B

توفر المنطقة

إشعار

إذا كنت تحتاج إلى نقطة نهاية في منطقة غير مدعومة، فتواصل مع فريق حساب Azure Databricks.

لمزيد من المعلومات حول التوفر الإقليمي للميزات، راجع نموذج يخدم التوفر الإقليمي.