مكنت واجهة مستوى الاستدعاء (الإصدار 2) مخطط YAML لتوزيع Kubernetes عبر الإنترنت

ينطبق على:ملحق Azure CLI ml الإصدار 2 (الحالي)

يمكن إيجاد مخطط المصدر JSON في https://azuremlschemas.azureedge.net/latest/kubernetesOnlineDeployment.schema.json.

ملاحظة

يعتمد بناء YAML المفصل في هذا المستند على مخطط JSON لأحدث إصدار من ملحق الإصدار الثاني من واجهة مستوى الاستدعاء للتعليم الآلي. إن هذا البناء مضمون للعمل فقط مع أحدث إصدار من ملحق الإصدار الثاني من واجهة مستوى الاستدعاء للتعليم الآلي. يمكنك العثور على مخططات إصدارات الملحق الأقدم في https://azuremlschemasprod.azureedge.net/.

بناء YAML

المفتاح النوع الوصف القيم المسموح بها القيمة الافتراضية
$schema سلسلة مخطط YAML. إذا كنت تستخدم ملحق التعلم الآلي من Microsoft Azure VS Code لتأليف ملف YAML، بما في ذلك $schema في الجزء العلوي من الملف، يمكنك استدعاء عمليات إكمال المخطط والمورد.
name سلسلة مطلوب عنوان التوزيع.

يتم تعريف قواعد التسمية هنا.
description سلسلة وصف التوزيع.
tags كائن دليل علامات التوزيع.
endpoint_name سلسلة مطلوب اسم نقطة النهاية لإنشاء التوزيع ضمن.
model سلسلة أو عنصر النموذج الواجب استخدامه للتوزيع. يمكن أن تكون هذه القيمة إما مرجعًا لنموذج موجود تم إصداره في مساحة العمل أو لمواصفات نموذج مدمج.

للإشارة إلى نموذج موجود، استخدم بناء الجملة azureml:<model-name>:<model-version>.

لتعريف نموذج مدمج، اتبع مخطط النموذج.

يجب عليك إنشاء النموذج بشكل منفصل والإشارة إليه هنا، كأفضل ممارسة لسيناريوهات الإنتاج.

هذا الحقل اختياري لسيناريوهات توزيع الحاوية المخصصة.
model_mount_path سلسلة مسار إدخال النموذج في حاوية مخصصة. ينطبق ذلك فقط على سيناريوهات توزيع الحاوية المخصصة. إذا تم تحديد الحقل model، يتم إدخاله في هذا المسار في الحاوية.
code_configuration كائن تكوين منطق التعليمات البرمجية لعملية التسجيل.

هذا الحقل اختياري لسيناريوهات توزيع الحاوية المخصصة.
code_configuration.code سلسلة المسار المحلي إلى دليل التعليمات البرمجية المصدري لتسجيل النموذج.
code_configuration.scoring_script سلسلة المسار النسبي لملف التسجيل في دليل التعليمات البرمجية المصدري.
environment_variables كائن دليل أزواج قيم المفاتيح متغير البيئة لتعيينها في حاوية النشر. يمكنك الوصول إلى متغيرات البيئة من البرامج النصية للتسجيل.
environment سلسلة أو عنصر مطلوب البيئة التي يتعين استخدامها للتوزيع. يمكن أن تكون هذه القيمة إما مرجعًا لبيئة إصدار موجودة في مساحة العمل أو مواصفات بيئة مدمجة.

للإشارة إلى بيئة موجودة، استخدم بناء الجملة azureml:<environment-name>:<environment-version>.

لتعريف بيئة مدمجة، اتبع مخطط البيئة.

يجب عليك إنشاء البيئة بشكل منفصل والإشارة إليه هنا، كأفضل ممارسة لسيناريوهات الإنتاج.
instance_type سلسلة نوع المثيل المُستخدم لوضع حمل عمل الاستدلال. إذا تم حذفه، فسيتم وضع حمل عمل الاستدلال على نوع المثيل الافتراضي لمجموعة Kubernetes المحددة في compute حقل نقطة النهاية. إذا تم تحديد ذلك، فسيتم وضع حمل عمل الاستدلال على نوع المثيل المحدد هذا.

تم تكوين مجموعة أنواع المثيلات لمجموعة Kubernetes عبر تعريف المورد المخصص لمجموعة Kubernetes (CRD)، وبالتالي فهي ليست جزءًا من مخطط YAML للتعلم الآلي من Microsoft Azure لإرفاق حساب Kubernetes. لمزيد من المعلومات، راجع إنشاء وتحديد أنواع مثيل Kubernetes.
instance_count عدد صحيح عدد المثيلات التي يجب استخدامها للتوزيع. حدد القيمة بناءً على حمل العمل الذي تتوقعه. هذا الحقل مطلوب فقط إذا كنت تستخدم نوع القياس default (scale_settings.type: default).

instance_countيمكن تحديثه بعد إنشاء التوزيع باستخدام الأمرaz ml online-deployment update.
app_insights_enabled منطقي إذا ما كان سيتم تمكين التكامل مع مثيل Azure Application Insights المقترن بمساحة العمل الخاصة بك. false
scale_settings كائن إعداد المقياس للتوزيع. نوعان من إعدادات المقياس المدعومة هما defaultنوع المقياس وtarget_utilizationنوع المقياس.

باستخدام default نوع المقياس (scale_settings.type: default)، يمكنك قياس عدد المثيلات يدويًا لأعلى ولأسفل بعد إنشاء التوزيع عن طريق تحديث instance_count الخاصية.

لتكوين target_utilization نوع المقياس (scale_settings.type: target_utilization)، راجع TargetUtilizationScaleSettings لمجموعة الخصائص القابلة للتكوين.
scale_settings.type سلسلة نوع المقيَاس. default, target_utilization target_utilization
request_settings كائن إعدادات طلب التسجيل للتوزيع. راجع إعدادات الطلب لمجموعة الخصائص القابلة للتكوين.
liveness_probe كائن إعدادات فحص الحياة لمراقبة صحة الحاوية بصفة منتظمة. راجع إعدادات التحقيق لمجموعة الخصائص القابلة للتكوين.
readiness_probe كائن إعدادات فحص الجاهزية للتحقق إذا ما كانت الحاوية جاهزة لاستخراج نسبة استخدام الشبكة. راجع إعدادات التحقيق لمجموعة الخصائص القابلة للتكوين.
resources كائن مُتطلبات موارد الحاوية.
resources.requests كائن طلبات الموارد من أجل الحاوية. راجع طلبات موارد الحاوية لمجموعة الخصائص القابلة للتكوين.
resources.limits كائن حدود موارد الحاوية. راجع حدود موارد الحاوية لمجموعة الخصائص القابلة للتكوين.

إعدادات الطلب

المفتاح النوع الوصف القيمة الافتراضية
request_timeout_ms عدد صحيح وقت التسجيل بالمللي ثانية. 5000
max_concurrent_requests_per_instance عدد صحيح الحد الأقصى لعدد الطلبات المُتزامنة لكل مثيل مسموح به للتوزيع.

لا تغير هذا الإعداد من القيمة الافتراضية ما لم يطلب منك الدعم الفني لـ Microsoft أو أحد أعضاء فريق التعلم الآلي من Microsoft Azure.
1
max_queue_wait_ms عدد صحيح الحد الأقصى لمقدار الوقت بالمللي ثانية الذي سيبقى فيه الطلب في قائمة الانتظار. 500

إعدادات الفحص

المفتاح النوع الوصف القيمة الافتراضية
period عدد صحيح كم عدد (الثواني) المستغرقة لإجراء الفحص. 10
initial_delay عدد صحيح عدد الثواني بعد بدء الحاوية قبل بدء الفحص. أدنى قيمة هي 1. 10
timeout عدد صحيح عدد الثواني التي ينتهي بعدها وقت الفحص. القيمة الدنيا هي.1 2
success_threshold عدد صحيح يعتبر الحد الأدنى من النجاحات المتتالية للفحص ناجحًا بعد الفشل. أدنى قيمة هي 1. 1
failure_threshold عدد صحيح عندما يفشل الفحص، سيحاول النظام failure_threshold عدة مرات قبل الاستسلام. يعني الاستسلام في حالة وجود فحص للتشغيل إعادة تشغيل الحاوية. سيتم وضع علامة غير مقروء على الحاوية عند فحص الجاهزية. أدنى قيمة هي 1. 30

TargetUtilizationScaleSettings

المفتاح النوع الوصف القيمة الافتراضية
type ثابت نوع المِقياس target_utilization
min_instances عدد صحيح الحد الأدنى لعدد المثيلات المتعين استخدامها. 1
max_instances عدد صحيح الحد الأقصى لعدد المثيلات التي يُمكن التحجيم لها. 1
target_utilization_percentage عدد صحيح استخدام المعالج الهدف للتحجيم التلقائي. 70
polling_interval عدد صحيح كم مرة يجب أن يحاول جهاز التحجيم التلقائي توسيع نطاق التوزيع، بالثواني. 1

ContainerResourceRequests

المفتاح النوع الوصف
cpu سلسلة عدد الذاكرات الأساسية في المعالج المطلوبة للحاوية.
memory سلسلة حَجم الذاكرة المطلوب للحاوية
nvidia.com/gpu سلسلة عدد البطاقات الخاصة بمعالج Nvidia GPU المطلوبة للحاوية

حدود موارد الحاوية

المفتاح النوع الوصف
cpu سلسلة الحد الأقصى لعدد الذاكرات الأساسية في المعالج للحاوية.
memory سلسلة الحد الأقصى لحجم ذاكرة الحاوية.
nvidia.com/gpu سلسلة عدد البطاقات الخاصة بمعالج Nvidia GPU للحاوية

الملاحظات

يمكن az ml online-deployment استخدام الأوامر لإدارة عمليات توزيع Kubernetes عبر الإنترنت للتعلم الآلي من Microsoft Azure.

أمثلة

الأمثلة متوفرة في مستودع أمثلة GitHub.

الخطوات التالية