حدود ومناطق خدمة النموذج

تلخص هذه المقالة القيود وتوافر المنطقة لنوعي الفسيفساء الذكاء الاصطناعي Model Serving وأنواع نقاط النهاية المدعومة.

حدود الموارد والحمولة

تفرض خدمة نموذج الفسيفساء الذكاء الاصطناعي حدودا افتراضية لضمان الأداء الموثوق به. إذا كانت لديك ملاحظات حول هذه الحدود، فتواصل مع فريق حساب Databricks.

يلخص الجدول التالي قيود الموارد والحمولة لنقاط نهاية خدمة النموذج.

ميزة	النقاوة	الحد
حجم البيانات الأساسية	لكل طلب	16 ميغابايت. بالنسبة لنقاط النهاية التي تخدم النماذج الأساسية أو النماذج الخارجية، يكون الحد هو 4 ميغابايت.
الاستعلامات في الثانية (QPS)	لكل مساحة عمل	200، ولكن يمكن زيادته إلى 25000 أو أكثر عن طريق التواصل مع فريق حساب Databricks الخاص بك.
مدة تنفيذ النموذج	لكل طلب	120 seconds
استخدام ذاكرة نموذج نقطة نهاية وحدة المعالجة المركزية	لكل نقطة نهاية	4 غيغابايت
استخدام ذاكرة نموذج نقطة نهاية GPU	لكل نقطة نهاية	أكبر من ذاكرة وحدة معالجة الرسومات المعينة أو مساوية لها، يعتمد على حجم حمل عمل GPU
التزامن المقدم	لكل نموذج ولكل مساحة عمل	200 تزامن. يمكن زيادتها عن طريق التواصل مع فريق حساب Databricks الخاص بك.
زمن الانتقال الزائد	لكل طلب	أقل من 50 مللي ثانية
البرامج النصية Init		البرامج النصية Init غير مدعومة.
واجهات برمجة التطبيقات لنموذج الأساس (حدود معدل الدفع لكل رمز مميز)	لكل مساحة عمل	إذا كانت الحدود التالية غير كافية لحالة الاستخدام الخاصة بك، توصي Databricks باستخدام معدل النقل المقدم. - لدى Llama 3.1 70B Instruct حد 2 استعلاما في الثانية و1200 استعلام في الساعة. - لدى Llama 3.1 405B Instruct حد استعلام 1 في الثانية و1200 استعلام في الساعة. - نموذج تعليمات DBRX له حد استعلام 1 في الثانية. - تعليمات Mixtral-8x 7B لها حد معدل افتراضي يبلغ استعلاجين في الثانية. - GTE Large (En) لديه حد معدل يبلغ 150 استعلارا في الثانية - BGE Large (En) لديه حد معدل يبلغ 600 استعلا في الثانية.
حدود معدل معدل واجهة برمجة التطبيقات لنموذج الأساس (معدل النقل المقدم)	لكل مساحة عمل	200

قيود الشبكات والأمان

• يتم حماية نقاط نهاية خدمة النموذج من خلال التحكم في الوصول واحترام قواعد الدخول المتعلقة بالشبكات التي تم تكوينها على مساحة العمل، مثل قوائم السماح IP والارتباط الخاص.
• يتم دعم الاتصال الخاص (مثل Azure Private Link) فقط لنقاط نهاية خدمة النموذج التي تستخدم معدل النقل المتوفر أو نقاط النهاية التي تخدم النماذج المخصصة.
• بشكل افتراضي، لا تدعم خدمة النموذج الارتباط الخاص بنقاط النهاية الخارجية (مثل Azure OpenAI). يتم تقييم الدعم لهذه الوظيفة وتنفيذه على أساس كل منطقة. تواصل مع فريق حساب Azure Databricks للحصول على مزيد من المعلومات.
• لا توفر خدمة النموذج تصحيحات أمنية لصور النموذج الحالية بسبب خطر زعزعة الاستقرار في عمليات نشر الإنتاج. ستحتوي صورة نموذج جديدة تم إنشاؤها من إصدار نموذج جديد على أحدث التصحيحات. تواصل مع فريق حساب Databricks للحصول على مزيد من المعلومات.

حدود واجهات برمجة التطبيقات لنموذج الأساس

إشعار

كجزء من توفير واجهات برمجة التطبيقات لنموذج المؤسسة، قد تعالج Databricks بياناتك خارج المنطقة التي نشأت فيها بياناتك، ولكن ليس خارج الموقع الجغرافي ذي الصلة.

لكل من الدفع لكل رمز مميز وأحمال عمل معدل النقل المتوفرة:

• يمكن لمسؤولي مساحة العمل فقط تغيير إعدادات الحوكمة، مثل حدود المعدل لنقاط نهاية واجهات برمجة التطبيقات لنموذج الأساس. لتغيير حدود المعدل، استخدم الخطوات التالية:
  1. افتح واجهة مستخدم العرض في مساحة العمل الخاصة بك لمشاهدة نقاط نهاية العرض.
  2. من قائمة kebab في نقطة نهاية Foundation Model APIs التي تريد تحريرها، حدد View details.
  3. من قائمة الكباب في الجانب العلوي الأيسر من صفحة تفاصيل نقاط النهاية، حدد تغيير حد المعدل.
• لا تنشئ نماذج تضمين GTE Large (En) تضمينات عادية.

حدود الدفع لكل رمز مميز

فيما يلي حدود ذات صلة بأحمال عمل الدفع لكل رمز مميز لواجهات برمجة التطبيقات النموذجية التأسيسية:

• أحمال عمل الدفع لكل رمز مميز غير متوافقة مع HIPAA أو ملف تعريف أمان التوافق.
• تتوفر نماذج GTE Large (En) و Meta Llama 3.1 70B Instruct في المناطق المدعومة من الاتحاد الأوروبي و الولايات المتحدة للدفع لكل رمز مميز.
• يتم دعم نماذج الدفع لكل رمز مميز التالية فقط في مناطق الولايات المتحدة المدعومة بالدفع لكل رمز مميز لنموذج الأساس:
  • تعليمات Meta Llama 3.1 405B
  • تعليمات DBRX
  • تعليمات Mixtral-8x7B
  • BGE Large (En)
• إذا كانت مساحة العمل الخاصة بك في منطقة خدمة النموذج ولكنها ليست منطقة الولايات المتحدة أو الاتحاد الأوروبي، فيجب تمكين مساحة العمل الخاصة بك لمعالجة البيانات عبر المناطق الجغرافية. عند التمكين، يتم توجيه حمل عمل الدفع لكل رمز مميز إلى الولايات المتحدة. Databricks Geo. لمعرفة المناطق الجغرافية التي تعالج أحمال عمل الدفع لكل رمز مميز، راجع خدمات Databricks المعينة.

حدود معدل النقل المتوفرة

فيما يلي حدود ذات صلة بواجهات برمجة تطبيقات نموذج المؤسسة التي توفر أحمال عمل معدل النقل :

• يدعم معدل النقل المقدم ملف تعريف التوافق HIPAA ويوصى به لأحمال العمل التي تتطلب شهادات التوافق.
• لاستخدام بنية نموذج DBRX لحمل عمل معدل النقل المقدم، يجب أن تكون نقطة نهاية العرض في إحدى المناطق التالية:
  • eastus
  • eastus2
  • westus
  • centralus
  • westeurope
  • northeurope
  • australiaeast
  • canadacentral
  • brazilsouth
• يوضح الجدول التالي توفر المنطقة لطرازي Meta Llama 3.1 و3.2 المدعومين. راجع نشر نماذج أساسية دقيقة للحصول على إرشادات حول كيفية نشر نماذج دقيقة.

متغير نموذج Meta Llama	المناطق
meta-llama/Llama-3.1-8B	- centralus - eastus - eastus2 - northcentralus - westus - westus2 - northeurope - westeurope
meta-llama/Llama-3.1-8B-Instruct	- centralus - eastus - eastus2 - northcentralus - westus - westus2 - northeurope - westeurope
meta-llama/Llama-3.1-70B	- centralus - eastus - eastus2 - northcentralus - westus - westus2
meta-llama/Llama-3.1-70B-Instruct	- centralus - eastus - eastus2 - northcentralus - westus - westus2
meta-llama/Llama-3.1-405B	- centralus - eastus - eastus2 - northcentralus - westus - westus2
meta-llama/Llama-3.1-405B-Instruct	- centralus - eastus - eastus2 - northcentralus - westus - westus2
meta-llama/Llama-3.2-1B	- centralus - eastus - eastus2 - northcentralus - westus - westus2 - northeurope - westeurope
meta-llama/Llama-3.2-1B-Instruct	- centralus - eastus - eastus2 - northcentralus - westus - westus2 - northeurope - westeurope
meta-llama/Llama-3.2-3B	- centralus - eastus - eastus2 - northcentralus - westus - westus2 - northeurope - westeurope
meta-llama/Llama-3.2-3B-Instruct	- centralus - eastus - eastus2 - northcentralus - westus - westus2 - northeurope - westeurope

توفر المنطقة

إشعار

إذا كنت تحتاج إلى نقطة نهاية في منطقة غير مدعومة، فتواصل مع فريق حساب Azure Databricks.

إذا تم نشر مساحة العمل الخاصة بك في منطقة تدعم خدمة النموذج ولكن يتم تقديمها بواسطة وحدة تحكم في منطقة غير مدعومة، فإن مساحة العمل لا تدعم خدمة النموذج. إذا حاولت استخدام خدمة النموذج في مساحة العمل هذه، فسترى في رسالة خطأ تفيد بأن مساحة العمل الخاصة بك غير مدعومة. تواصل مع فريق حساب Azure Databricks للحصول على مزيد من المعلومات.

لمزيد من المعلومات حول التوفر الإقليمي للميزات، راجع نموذج يخدم التوفر الإقليمي.