إدارة دورة حياة النموذج باستخدام Workspace Model Registry (قديم)

مقالة
٠٥‏/٠١‏/١٤٤٦ هـ

هام

تغطي هذه الوثائق سجل نموذج مساحة العمل. إذا تم تمكين مساحة العمل الخاصة بك ل Unity Catalog، فلا تستخدم الإجراءات الموجودة في هذه الصفحة. بدلا من ذلك، راجع النماذج في كتالوج Unity.

للحصول على إرشادات حول كيفية الترقية من Workspace Model Registry إلى كتالوج Unity، راجع ترحيل مهام سير العمل والنماذج إلى كتالوج Unity.

إذا كان الكتالوج الافتراضي لمساحة العمل في كتالوج Unity (بدلا من hive_metastore) وكنت تقوم بتشغيل مجموعة باستخدام Databricks Runtime 13.3 LTS أو أعلى، يتم إنشاء النماذج تلقائيا وتحميلها من الكتالوج الافتراضي لمساحة العمل، دون الحاجة إلى تكوين. لاستخدام سجل نموذج مساحة العمل في هذه الحالة، يجب أن تستهدفه بشكل صريح عن طريق التشغيل import mlflow; mlflow.set_registry_uri("databricks") في بداية حمل العمل الخاص بك. يتم إعفاء عدد صغير من مساحات العمل حيث تم تكوين كل من الكتالوج الافتراضي إلى كتالوج في كتالوج Unity قبل يناير 2024 وسجل نموذج مساحة العمل قبل يناير 2024 من هذا السلوك ويستمر في استخدام Workspace Model Registry بشكل افتراضي.

توضح هذه المقالة كيفية استخدام Workspace Model Registry كجزء من سير عمل التعلم الآلي لإدارة دورة الحياة الكاملة لنماذج التعلم الآلي. سجل نموذج مساحة العمل هو إصدار مستضاف يوفره Databricks من سجل نموذج MLflow.

يوفر سجل نموذج مساحة العمل ما يلي:

دورة حياة النموذج الزمني (التي أنتجت تجربة MLflow وتشغيلها النموذج في وقت معين).
خدمة النموذج.
تعيين إصدار النموذج.
انتقالات المرحلة (على سبيل المثال، من التقسيم المرحلي إلى الإنتاج أو المؤرشفة).
الإخطارات على الويب حتى تتمكن من تشغيل الإجراءات تلقائيا استنادا إلى أحداث التسجيل.
إعلامات البريد الإلكتروني لأحداث النموذج.

يمكنك أيضا إنشاء أوصاف النموذج وعرضها وترك التعليقات.

تتضمن هذه المقالة إرشادات لكل من واجهة مستخدم سجل نموذج مساحة العمل وواجهة برمجة تطبيقات تسجيل نموذج مساحة العمل.

للحصول على نظرة عامة على مفاهيم Workspace Model Registry، راجع إدارة دورة حياة التعلم الآلي باستخدام MLflow.

إنشاء نموذج أو تسجيله

يمكنك إنشاء نموذج أو تسجيله باستخدام واجهة المستخدم، أو تسجيل نموذج باستخدام واجهة برمجة التطبيقات.

إنشاء نموذج أو تسجيله باستخدام واجهة المستخدم

هناك طريقتان لتسجيل نموذج في Workspace Model Registry. يمكنك تسجيل نموذج موجود تم تسجيله في MLflow، أو يمكنك إنشاء نموذج جديد فارغ وتسجيله ثم تعيين نموذج مسجل مسبقا إليه.

تسجيل نموذج مسجل موجود من دفتر ملاحظات

في مساحة العمل، حدد تشغيل MLflow الذي يحتوي على النموذج الذي تريد تسجيله.
1. انقر فوق أيقونة التجربة في الشريط الجانبي الأيمن لدفتر الملاحظات.
2. في الشريط الجانبي تشغيل التجربة، انقر فوق الأيقونة الموجودة بجانب تاريخ التشغيل. تعرض صفحة MLflow Run. تعرض هذه الصفحة تفاصيل التشغيل بما في ذلك المعلمات والمقاييس والعلامات وقائمة البيانات الاصطناعية.
في قسم Artifacts، انقر فوق الدليل المسمى xxx-model.
انقر فوق الزر Register Model في أقصى اليمين.
في مربع الحوار، انقر في المربع نموذج وقم بأحد الإجراءات التالية:
- حدد Create New Model من القائمة المنسدلة. يظهر الحقل Model Name. أدخل اسم نموذج، على سبيل المثال scikit-learn-power-forecasting.
- حدد نموذجا موجودا من القائمة المنسدلة.
انقر فوق تسجيل.
- إذا حددت إنشاء نموذج جديد، فإن هذا يسجل نموذجا باسم scikit-learn-power-forecasting، وينسخ النموذج إلى موقع آمن يديره سجل نموذج مساحة العمل، وينشئ إصدارا جديدا من النموذج.
- إذا قمت بتحديد نموذج موجود، فإن هذا يسجل إصدارا جديدا من النموذج المحدد.
بعد لحظات قليلة، يتغير زر Register Model إلى ارتباط إلى إصدار النموذج المسجل الجديد.
انقر فوق الارتباط لفتح إصدار النموذج الجديد في واجهة مستخدم سجل نموذج مساحة العمل. يمكنك أيضا العثور على النموذج في Workspace Model Registry بالنقر فوق Models في الشريط الجانبي.

إنشاء نموذج مسجل جديد وتعيين نموذج مسجل إليه

يمكنك استخدام الزر Create Model في صفحة النماذج المسجلة لإنشاء نموذج جديد فارغ ثم تعيين نموذج مسجل إليه. اتبع الخطوات التالية:

في صفحة النماذج المسجلة، انقر فوق إنشاء نموذج. أدخل اسما للنموذج وانقر فوق إنشاء.
اتبع الخطوات من 1 إلى 3 في تسجيل نموذج مسجل موجود من دفتر ملاحظات.
في مربع الحوار Register Model، حدد اسم النموذج الذي أنشأته في الخطوة 1 وانقر فوق Register. يسجل هذا نموذجا بالاسم الذي أنشأته، وينسخ النموذج إلى موقع آمن يديره سجل نموذج مساحة العمل، وينشئ إصدار نموذج: Version 1.

بعد لحظات قليلة، تستبدل واجهة مستخدم تشغيل MLflow زر Register Model بارتباط إلى إصدار النموذج المسجل الجديد. يمكنك الآن تحديد النموذج من القائمة المنسدلة Model في مربع الحوار Register Model في صفحة Experiment Runs . يمكنك أيضا تسجيل إصدارات جديدة من النموذج عن طريق تحديد اسمه في أوامر واجهة برمجة التطبيقات مثل إنشاء ModelVersion.

تسجيل نموذج باستخدام واجهة برمجة التطبيقات

هناك ثلاث طرق برمجية لتسجيل نموذج في Workspace Model Registry. تنسخ جميع الأساليب النموذج إلى موقع آمن يديره سجل نموذج مساحة العمل.

لتسجيل نموذج وتسجيله بالاسم المحدد أثناء تجربة MLflow، استخدم mlflow.<model-flavor>.log_model(...) الأسلوب . إذا لم يكن النموذج المسجل بالاسم موجودا، فإن الأسلوب يسجل نموذجا جديدا، وينشئ الإصدار 1، ويعيد كائن ModelVersion MLflow. إذا كان هناك نموذج مسجل بالاسم موجود بالفعل، يقوم الأسلوب بإنشاء إصدار نموذج جديد وإرجاع كائن الإصدار.

Python
```
with mlflow.start_run(run_name=<run-name>) as run:
  ...
  mlflow.<model-flavor>.log_model(<model-flavor>=<model>,
    artifact_path="<model-path>",
    registered_model_name="<model-name>"
  )
```
لتسجيل نموذج بالاسم المحدد بعد اكتمال جميع تجاربك وتحديد النموذج الأنسب لإضافته إلى السجل، استخدم mlflow.register_model() الأسلوب . لهذا الأسلوب، تحتاج إلى معرف التشغيل للوسيطة mlruns:URI . إذا لم يكن النموذج المسجل بالاسم موجودا، فإن الأسلوب يسجل نموذجا جديدا، وينشئ الإصدار 1، ويعيد كائن ModelVersion MLflow. إذا كان هناك نموذج مسجل بالاسم موجود بالفعل، يقوم الأسلوب بإنشاء إصدار نموذج جديد وإرجاع كائن الإصدار.

Python
```
result=mlflow.register_model("runs:<model-path>", "<model-name>")
```
لإنشاء نموذج مسجل جديد بالاسم المحدد، استخدم أسلوب MLflow Client API create_registered_model() . إذا كان اسم النموذج موجودا، فإن هذا الأسلوب يطرح MLflowException.

Python
```
client = MlflowClient()
result = client.create_registered_model("<model-name>")
```

يمكنك أيضا تسجيل نموذج مع موفر Databricks Terraform databricks_mlflow_model .

حدود الحصة النسبية

بدءا من مايو 2024 لجميع مساحات عمل Databricks، يفرض سجل نموذج مساحة العمل حدود الحصة النسبية على العدد الإجمالي للنماذج المسجلة وإصدارات النموذج لكل مساحة عمل. راجع حدود الموارد. إذا تجاوزت حصص التسجيل النسبية، توصي Databricks بحذف النماذج المسجلة وإصدارات النموذج التي لم تعد بحاجة إليها. توصي Databricks أيضا بضبط تسجيل النموذج واستراتيجية الاستبقاء للبقاء تحت الحد. إذا كنت بحاجة إلى زيادة في حدود مساحة العمل الخاصة بك، فتواصل مع فريق حساب Databricks.

يوضح دفتر الملاحظات التالي كيفية جرد كيانات تسجيل النموذج وحذفها.

دفتر ملاحظات كيانات تسجيل نموذج مساحة عمل المخزون

الحصول على دفتر الملاحظات

عرض النماذج في واجهة المستخدم

صفحة النماذج المسجلة

تظهر صفحة النماذج المسجلة عند النقر فوق نماذج في الشريط الجانبي. تعرض هذه الصفحة جميع النماذج في السجل.

يمكنك إنشاء نموذج جديد من هذه الصفحة.

من هذه الصفحة أيضا، يمكن لمسؤولي مساحة العمل تعيين أذونات لكافة النماذج في Workspace Model Registry.

النماذج المسجلة

صفحة النموذج المسجل

لعرض صفحة النموذج المسجل لنموذج، انقر فوق اسم نموذج في صفحة النماذج المسجلة. تعرض صفحة النموذج المسجل معلومات حول النموذج المحدد وجدول يحتوي على معلومات حول كل إصدار من النموذج. من هذه الصفحة، يمكنك أيضا:

إعداد خدمة النموذج.
إنشاء دفتر ملاحظات تلقائيا لاستخدام النموذج للاستدلال.
تكوين إعلامات البريد الإلكتروني.
مقارنة إصدارات النموذج.
تعيين أذونات للنموذج.
حذف نموذج.

نموذج مسجل

صفحة إصدار النموذج

لعرض صفحة إصدار النموذج، قم بأحد الإجراءات التالية:

انقر فوق اسم إصدار في عمود أحدث إصدار في صفحة النماذج المسجلة.
انقر فوق اسم إصدار في عمود الإصدار في صفحة النموذج المسجل.

تعرض هذه الصفحة معلومات حول إصدار معين من نموذج مسجل وتوفر أيضا ارتباطا لتشغيل المصدر (إصدار دفتر الملاحظات الذي تم تشغيله لإنشاء النموذج). من هذه الصفحة، يمكنك أيضا:

إنشاء دفتر ملاحظات تلقائيا لاستخدام النموذج للاستدلال.
حذف نموذج.

إصدار النموذج

التحكم في الوصول إلى النماذج

يجب أن يكون لديك على الأقل إذن CAN MANAGE لتكوين الأذونات على نموذج. للحصول على معلومات حول مستويات أذونات النموذج، راجع MLflow model ACLs. يرث إصدار النموذج الأذونات من النموذج الأصل الخاص به. لا يمكنك تعيين أذونات لإصدارات النموذج.

في الشريط الجانبي، انقر فوق نماذج.
حدد اسم نموذج.
انقر فوق أذونات. يتم فتح مربع الحوار إعدادات الأذونات
في مربع الحوار، حدد القائمة المنسدلة تحديد المستخدم أو المجموعة أو كيان الخدمة... وحدد مستخدما أو مجموعة أو كيان خدمة.
حدد إذنا من القائمة المنسدلة للإذن.
انقر فوق إضافة وانقر فوق حفظ.

يمكن لمسؤولي مساحة العمل والمستخدمين الذين لديهم إذن CAN MANAGE على مستوى السجل تعيين مستويات الأذونات على جميع النماذج في مساحة العمل بالنقر فوق Permissions في صفحة Models.

نقل مرحلة نموذج

يحتوي إصدار النموذج على إحدى المراحل التالية: None أو Staging أو Production أو Archived. تهدف مرحلة التقسيم المرحلي إلى اختبار النموذج والتحقق من صحته، في حين أن مرحلة الإنتاج هي لإصدارات النموذج التي أكملت عمليات الاختبار أو المراجعة وتم توزيعها على التطبيقات للتسجيل المباشر. من المفترض أن يكون إصدار النموذج المؤرشف غير نشط، وعند هذه النقطة يمكنك التفكير في حذفه. يمكن أن تكون الإصدارات المختلفة من النموذج في مراحل مختلفة.

يمكن للمستخدم الذي لديه الإذن المناسب نقل إصدار نموذج بين المراحل. إذا كان لديك الإذن بنقل إصدار نموذج إلى مرحلة معينة، يمكنك إجراء الانتقال مباشرة. إذا لم يكن لديك إذن، يمكنك طلب انتقال مرحلة ويمكن للمستخدم الذي لديه إذن انتقال إصدارات نموذج الموافقة على الطلب أو رفضه أو إلغائه.

يمكنك نقل مرحلة نموذج باستخدام واجهة المستخدم أو استخدام واجهة برمجة التطبيقات.

نقل مرحلة نموذج باستخدام واجهة المستخدم

اتبع هذه الإرشادات لانتقال مرحلة النموذج.

لعرض قائمة بمراحل النموذج المتوفرة والخيارات المتوفرة، في صفحة إصدار النموذج، انقر فوق القائمة المنسدلة بجوار المرحلة: واطلب الانتقال إلى مرحلة أخرى أو حدده.
أدخل تعليقا اختياريا وانقر فوق موافق.

نقل إصدار نموذج إلى مرحلة الإنتاج

بعد الاختبار والتحقق من الصحة، يمكنك نقل مرحلة الإنتاج أو طلب الانتقال إليها.

يسمح سجل نموذج مساحة العمل بأكثر من إصدار واحد من النموذج المسجل في كل مرحلة. إذا كنت تريد أن يكون لديك إصدار واحد فقط في الإنتاج، يمكنك نقل جميع إصدارات النموذج الموجود حاليا في الإنتاج إلى مؤرشفة عن طريق التحقق من انتقال إصدارات نموذج الإنتاج الموجودة إلى مؤرشفة.

الموافقة على طلب انتقال مرحلة إصدار نموذج أو رفضه أو إلغاؤه

يمكن للمستخدم الذي ليس لديه إذن انتقال المرحلة طلب انتقال المرحلة. يظهر الطلب في قسم الطلبات المعلقة في صفحة إصدار النموذج:

الانتقال إلى الإنتاج

للموافقة على طلب انتقال مرحلة أو رفضه أو إلغاؤه، انقر فوق الارتباط الموافقة أو الرفض أو إلغاء الأمر.

يمكن أيضا لمنشئ طلب انتقال إلغاء الطلب.

عرض أنشطة إصدار النموذج

لعرض كافة الانتقالات المطلوبة والمعتمدة والمعلقة والمطبقة على إصدار نموذج، انتقل إلى قسم الأنشطة. يوفر سجل الأنشطة هذا دورة حياة النموذج للتدقيق أو الفحص.

نقل مرحلة نموذج باستخدام واجهة برمجة التطبيقات

يمكن للمستخدمين الذين لديهم أذونات مناسبة نقل إصدار نموذج إلى مرحلة جديدة.

لتحديث مرحلة إصدار نموذج إلى مرحلة جديدة، استخدم أسلوب MLflow Client API transition_model_version_stage() :

Python

  client = MlflowClient()
  client.transition_model_version_stage(
    name="<model-name>",
    version=<model-version>,
    stage="<stage>",
    description="<description>"
  )

القيم المقبولة ل <stage> هي: "Staging"|"staging"، "Archived"|"archived"، ، "Production"|"production". "None"|"none"

استخدام نموذج للاستدلال

هام

هذه الميزة في المعاينة العامة.

بعد تسجيل نموذج في Workspace Model Registry، يمكنك إنشاء دفتر ملاحظات تلقائيا لاستخدام النموذج للاستدلال الدفعي أو الدفق. بدلا من ذلك، يمكنك إنشاء نقطة نهاية لاستخدام النموذج لخدمة في الوقت الحقيقي مع خدمة النموذج.

في الزاوية العلوية اليسرى من صفحة النموذج المسجل أو صفحة إصدار النموذج، انقر فوق الزر . يظهر مربع الحوار Configure model inference، والذي يسمح لك بتكوين الاستدلال الدفعي أو الدفق أو الاستدلال في الوقت الفعلي.

هام

تحديث Anaconda Inc. لشروط الخدمة الخاصة بهم لقنوات anaconda.org. بناء على شروط الخدمة الجديدة، قد تحتاج إلى ترخيص تجاري إذا كنت تعتمد على حزم وتوزيع Anaconda. راجع الأسئلة المتداولة حول Anaconda Commercial Edition لمزيد من المعلومات. يخضع استخدامك لأي قنوات Anaconda لشروط الخدمة الخاصة بها.

تم تسجيل نماذج MLflow التي تم تسجيلها قبل الإصدار 1.18 (Databricks Runtime 8.3 ML أو إصدار سابق) بشكل افتراضي باستخدام قناة conda defaults (https://repo.anaconda.com/pkgs/) كتبعية. وبسبب تغيير الترخيص هذا، أوقف Databricks استخدام القناة defaults للنماذج التي تم تسجيلها باستخدام MLflow v1.18 وما فوق. القناة الافتراضية المسجلة هي الآن conda-forge، والتي تشير إلى المجتمع المدار https://conda-forge.org/.

إذا قمت بتسجيل نموذج قبل MLflow v1.18 دون استبعاد defaults القناة من بيئة conda للنموذج، فقد يكون لهذا النموذج تبعية على القناة defaults التي قد لا تكون قد قصدتها. لتأكيد ما إذا كان النموذج يحتوي على هذه التبعية يدويا، يمكنك فحص channel القيمة في conda.yaml الملف الذي تم حزمه مع النموذج المسجل. على سبيل المثال، قد يبدو النموذج conda.yaml مع defaults تبعية القناة كما يلي:

YAML

channels:
- defaults
dependencies:
- python=3.8.8
- pip
- pip:
    - mlflow
    - scikit-learn==0.23.2
    - cloudpickle==1.6.0
      name: mlflow-env

نظرا لأن Databricks لا يمكنها تحديد ما إذا كان استخدامك لمستودع Anaconda للتفاعل مع نماذجك مسموحا به في إطار علاقتك ب Anaconda، فإن Databricks لا يجبر عملائها على إجراء أي تغييرات. إذا كان استخدامك Anaconda.com repo من خلال استخدام Databricks مسموحا به بموجب شروط Anaconda، فلن تحتاج إلى اتخاذ أي إجراء.

إذا كنت ترغب في تغيير القناة المستخدمة في بيئة النموذج، يمكنك إعادة تسجيل النموذج في سجل نموذج مساحة العمل باستخدام جديد conda.yaml. يمكنك القيام بذلك عن طريق تحديد القناة في معلمة conda_env log_model().

لمزيد من المعلومات حول log_model() واجهة برمجة التطبيقات، راجع وثائق MLflow لنكهة النموذج التي تعمل معها، على سبيل المثال، log_model ل scikit-learn.

لمزيد من المعلومات حول conda.yaml الملفات، راجع وثائق MLflow.

تكوين مربع حوار استدلال النموذج

تكوين استنتاج الدفعة

عند اتباع هذه الخطوات لإنشاء دفتر ملاحظات للاستدلال الدفعي، يتم حفظ دفتر الملاحظات في مجلد المستخدم ضمن Batch-Inference المجلد في مجلد باسم النموذج. يمكنك تحرير دفتر الملاحظات حسب الحاجة.

انقر فوق علامة التبويب Batch inference.
من القائمة المنسدلة Model version، حدد إصدار النموذج الذي تريد استخدامه. أول عنصرين في القائمة المنسدلة هما إصدار الإنتاج والتقسيم المرحلي الحالي للنموذج (إذا كانا موجودين). عند تحديد أحد هذه الخيارات، يستخدم دفتر الملاحظات تلقائيا إصدار الإنتاج أو التشغيل المرحلي اعتبارا من وقت تشغيله. لا تحتاج إلى تحديث دفتر الملاحظات أثناء متابعة تطوير النموذج.
انقر فوق الزر استعراض إلى جانب جدول الإدخال. يظهر مربع الحوار تحديد بيانات الإدخال. إذا لزم الأمر، يمكنك تغيير نظام المجموعة في القائمة المنسدلة Compute .

ملاحظة

بالنسبة لمساحات العمل الممكنة لكتالوج Unity، يسمح لك مربع الحوار تحديد بيانات الإدخال بتحديد من ثلاثة مستويات، <catalog-name>.<database-name>.<table-name>.
حدد الجدول الذي يحتوي على بيانات الإدخال للنموذج، وانقر فوق تحديد. يقوم دفتر الملاحظات الذي تم إنشاؤه تلقائيا باستيراد هذه البيانات وإرسالها إلى النموذج. يمكنك تحرير دفتر الملاحظات الذي تم إنشاؤه إذا كانت البيانات تتطلب أي تحويلات قبل إدخالها إلى النموذج.
يتم حفظ التنبؤات في مجلد في الدليل dbfs:/FileStore/batch-inference. بشكل افتراضي، يتم حفظ التنبؤات في مجلد بنفس اسم النموذج. يكتب كل تشغيل لدفتر الملاحظات الذي تم إنشاؤه ملفا جديدا إلى هذا الدليل مع إلحاق الطابع الزمني بالاسم. يمكنك أيضا اختيار عدم تضمين الطابع الزمني والكتابة فوق الملف مع عمليات التشغيل اللاحقة لدفتر الملاحظات؛ يتم توفير الإرشادات في دفتر الملاحظات الذي تم إنشاؤه.

يمكنك تغيير المجلد حيث يتم حفظ التنبؤات عن طريق كتابة اسم مجلد جديد في حقل موقع جدول الإخراج أو بالنقر فوق أيقونة المجلد لاستعراض الدليل وتحديد مجلد آخر.

لحفظ التنبؤات في موقع في كتالوج Unity، يجب تحرير دفتر الملاحظات. للحصول على مثال لدفتر ملاحظات يوضح كيفية تدريب نموذج التعلم الآلي الذي يستخدم البيانات في كتالوج Unity وكتابة النتائج مرة أخرى إلى كتالوج Unity، راجع البرنامج التعليمي للتعلم الآلي.

تكوين الاستدلال المتدفق باستخدام Delta Live Tables

عند اتباع هذه الخطوات لإنشاء دفتر ملاحظات استدلال دفق، يتم حفظ دفتر الملاحظات في مجلد المستخدم ضمن DLT-Inference المجلد في مجلد باسم النموذج. يمكنك تحرير دفتر الملاحظات حسب الحاجة.

انقر فوق علامة التبويب Streaming (Delta Live Tables).
من القائمة المنسدلة Model version، حدد إصدار النموذج الذي تريد استخدامه. أول عنصرين في القائمة المنسدلة هما إصدار الإنتاج والتقسيم المرحلي الحالي للنموذج (إذا كانا موجودين). عند تحديد أحد هذه الخيارات، يستخدم دفتر الملاحظات تلقائيا إصدار الإنتاج أو التشغيل المرحلي اعتبارا من وقت تشغيله. لا تحتاج إلى تحديث دفتر الملاحظات أثناء متابعة تطوير النموذج.
انقر فوق الزر استعراض إلى جانب جدول الإدخال. يظهر مربع الحوار تحديد بيانات الإدخال. إذا لزم الأمر، يمكنك تغيير نظام المجموعة في القائمة المنسدلة Compute .

ملاحظة

بالنسبة لمساحات العمل الممكنة لكتالوج Unity، يسمح لك مربع الحوار تحديد بيانات الإدخال بتحديد من ثلاثة مستويات، <catalog-name>.<database-name>.<table-name>.
حدد الجدول الذي يحتوي على بيانات الإدخال للنموذج، وانقر فوق تحديد. ينشئ دفتر الملاحظات الذي تم إنشاؤه تحويل بيانات يستخدم جدول الإدخال كمصدر ويدمج استدلال MLflow PySpark UDF لتنفيذ تنبؤات النموذج. يمكنك تحرير دفتر الملاحظات الذي تم إنشاؤه إذا كانت البيانات تتطلب أي تحويلات إضافية قبل تطبيق النموذج أو بعده.
قم بتوفير اسم جدول Delta Live الإخراج. ينشئ دفتر الملاحظات جدولا مباشرا بالاسم المحدد ويستخدمه لتخزين تنبؤات النموذج. يمكنك تعديل دفتر الملاحظات الذي تم إنشاؤه لتخصيص مجموعة البيانات الهدف حسب الحاجة - على سبيل المثال: تعريف جدول مباشر متدفق كإخراج أو إضافة معلومات المخطط أو قيود جودة البيانات.
يمكنك بعد ذلك إنشاء مسار Delta Live Tables جديد باستخدام دفتر الملاحظات هذا أو إضافته إلى مسار موجود كمكتبة دفتر ملاحظات إضافية.

تكوين الاستدلال في الوقت الحقيقي

تعرض خدمة النموذج نماذج التعلم الآلي MLflow كنقاط نهاية REST API قابلة للتطوير. لإنشاء نقطة نهاية خدمة نموذج، راجع إنشاء نقاط نهاية خدمة نموذج مخصص.

تقديم تعليقات

هذه الميزة قيد المعاينة، ونود الحصول على ملاحظاتك. لتقديم الملاحظات، انقر في Provide Feedback مربع الحوار تكوين استدلال النموذج.

مقارنة إصدارات النموذج

يمكنك مقارنة إصدارات النموذج في Workspace Model Registry.

في صفحة النموذج المسجل، حدد إصدارين أو أكثر من إصدارات النموذج بالنقر في خانة الاختيار إلى يسار إصدار النموذج.
انقر فوق مقارنة.
تظهر شاشة مقارنة <N> الإصدارات، وتعرض جدولا يقارن المعلمات والمخطط والمقاييس لإصدارات النموذج المحددة. في أسفل الشاشة، يمكنك تحديد نوع الرسم (الإحداثيات المبعثرة أو الكنتورية أو المتوازية) والمعلمات أو المقاييس المراد رسمها.

التحكم في تفضيلات الإعلامات

يمكنك تكوين Workspace Model Registry لإعلامك عن طريق البريد الإلكتروني حول النشاط على النماذج المسجلة وإصدارات النموذج التي تحددها.

في صفحة النموذج المسجل، تعرض القائمة إعلامي عن ثلاثة خيارات:

جميع الأنشطة الجديدة: إرسال إعلامات بالبريد الإلكتروني حول جميع الأنشطة على جميع إصدارات النموذج من هذا النموذج. إذا قمت بإنشاء النموذج المسجل، فهذا الإعداد هو الإعداد الافتراضي.
النشاط على الإصدارات التي أتابعها: أرسل إعلامات بالبريد الإلكتروني فقط حول إصدارات النموذج التي تتابعها. مع هذا التحديد، تتلقى إعلامات لجميع إصدارات النموذج التي تتبعها؛ لا يمكنك إيقاف تشغيل الإعلامات لإصدار نموذج معين.
كتم الإعلامات: لا ترسل إعلامات بالبريد الإلكتروني حول النشاط على هذا النموذج المسجل.

تشغل الأحداث التالية إعلاما بالبريد الإلكتروني:

إنشاء إصدار نموذج جديد
طلب انتقال المرحلة
المرحلة الانتقالية
تعليقات جديدة

يتم الاشتراك تلقائيا في إعلامات النموذج عند القيام بأي مما يلي:

التعليق على إصدار النموذج هذا
نقل مرحلة إصدار النموذج
تقديم طلب انتقال لمرحلة النموذج

لمعرفة ما إذا كنت تتابع إصدار نموذج، انظر إلى الحقل متابعة الحالة في صفحة إصدار النموذج، أو في جدول إصدارات النموذج في صفحة النموذج المسجل.

إيقاف تشغيل جميع إعلامات البريد الإلكتروني

يمكنك إيقاف تشغيل إعلامات البريد الإلكتروني في علامة التبويب إعدادات تسجيل نموذج مساحة العمل من قائمة إعدادات المستخدم:

انقر فوق اسم المستخدم في الزاوية العلوية اليسرى من مساحة عمل Azure Databricks، وحدد الإعدادات من القائمة المنسدلة.
في الشريط الجانبي Settings ، حدد Notifications.
إيقاف تشغيل إعلامات البريد الإلكتروني ل Model Registry.

يمكن لمسؤول الحساب إيقاف تشغيل إعلامات البريد الإلكتروني للمؤسسة بأكملها في صفحة إعدادات المسؤول.

الحد الأقصى لعدد رسائل البريد الإلكتروني المرسلة

يحد سجل نموذج مساحة العمل من عدد رسائل البريد الإلكتروني المرسلة إلى كل مستخدم يوميا لكل نشاط. على سبيل المثال، إذا تلقيت 20 رسالة بريد إلكتروني في يوم واحد حول إصدارات النموذج الجديدة التي تم إنشاؤها لنموذج مسجل، يرسل Workspace Model Registry رسالة بريد إلكتروني تشير إلى أنه تم الوصول إلى الحد اليومي، ولا يتم إرسال رسائل بريد إلكتروني إضافية حول هذا الحدث حتى اليوم التالي.

لزيادة حد عدد رسائل البريد الإلكتروني المسموح بها، اتصل بفريق حساب Azure Databricks.

خطاف الويب

هام

هذه الميزة في المعاينة العامة.

تمكنك خطافات الويب من الاستماع إلى أحداث Workspace Model Registry حتى تتمكن عمليات التكامل الخاصة بك من تشغيل الإجراءات تلقائيا. يمكنك استخدام خطافات الويب لأتمتة ودمج مسار التعلم الآلي الخاص بك مع أدوات CI/CD الحالية وسير العمل. على سبيل المثال، يمكنك تشغيل إصدارات CI عند إنشاء إصدار نموذج جديد أو إعلام أعضاء الفريق من خلال Slack في كل مرة يتم فيها طلب انتقال نموذج إلى الإنتاج.

إضافة تعليق توضيحي إلى نموذج أو إصدار نموذج

يمكنك توفير معلومات حول نموذج أو إصدار نموذج عن طريق إضافة تعليق توضيحي له. على سبيل المثال، قد تحتاج إلى تضمين نظرة عامة على المشكلة أو معلومات حول المنهجية والخوارزمية المستخدمة.

إضافة تعليق توضيحي إلى نموذج أو إصدار نموذج باستخدام واجهة المستخدم

توفر واجهة مستخدم Azure Databricks عدة طرق لإضافة تعليقات توضيحية إلى النماذج وإصدارات النموذج. يمكنك إضافة معلومات نصية باستخدام وصف أو تعليقات، ويمكنك إضافة علامات قيمة مفتاح قابلة للبحث. تتوفر الأوصاف والعلامات للنماذج وإصدارات النموذج؛ تتوفر التعليقات لإصدارات النموذج فقط.

تهدف الأوصاف إلى توفير معلومات حول النموذج.
توفر التعليقات طريقة للحفاظ على مناقشة مستمرة حول الأنشطة على إصدار نموذج.
تتيح لك العلامات تخصيص بيانات تعريف النموذج لتسهيل العثور على نماذج معينة.

إضافة أو تحديث وصف لنموذج أو إصدار نموذج

من صفحة إصدار النموذج أو النموذج المسجل، انقر فوق تحرير إلى جانب الوصف. تظهر نافذة تحرير.
أدخل الوصف أو قم بتحريره في نافذة التحرير.
انقر فوق حفظ لحفظ التغييرات أو إلغاء الأمر لإغلاق النافذة.

إذا أدخلت وصفا لإصدار نموذج، يظهر الوصف في عمود الوصف في الجدول على صفحة النموذج المسجل. يعرض العمود 32 حرفا كحد أقصى أو سطر نص واحد، أيهما أقصر.

إضافة تعليقات لإصدار نموذج

مرر لأسفل صفحة إصدار النموذج وانقر فوق السهم لأسفل بجوار الأنشطة.
اكتب تعليقك في نافذة التحرير وانقر فوق إضافة تعليق.

إضافة علامات لنموذج أو إصدار نموذج

من النموذج المسجل أو صفحة إصدار النموذج، انقر إذا لم يكن مفتوحا بالفعل. يظهر جدول العلامات.
انقر في حقلي الاسم والقيمة واكتب المفتاح والقيمة للعلامة.
انقر فوق إضافة.

تحرير العلامات أو حذفها لإصدار نموذج أو نموذج

لتحرير علامة موجودة أو حذفها، استخدم الأيقونات في عمود الإجراءات .

إجراءات العلامة

إضافة تعليق توضيحي لإصدار نموذج باستخدام واجهة برمجة التطبيقات

لتحديث وصف إصدار نموذج، استخدم أسلوب MLflow Client API update_model_version() :

Python

client = MlflowClient()
client.update_model_version(
  name="<model-name>",
  version=<model-version>,
  description="<description>"
)

لتعيين علامة أو تحديثها لنموذج مسجل أو إصدار نموذج، استخدم واجهة برمجة تطبيقات set_registered_model_tag()عميل MLflow ) أو set_model_version_tag() الأسلوب:

Python

client = MlflowClient()
client.set_registered_model_tag()(
  name="<model-name>",
  key="<key-value>",
  tag="<tag-value>"
)

Python

client = MlflowClient()
client.set_model_version_tag()(
  name="<model-name>",
  version=<model-version>,
  key="<key-value>",
  tag="<tag-value>"
)

إعادة تسمية نموذج (API فقط)

لإعادة تسمية نموذج مسجل، استخدم أسلوب MLflow Client API rename_registered_model() :

Python

client=MlflowClient()
client.rename_registered_model("<model-name>", "<new-model-name>")

ملاحظة

يمكنك إعادة تسمية نموذج مسجل فقط إذا لم يكن لديه إصدارات، أو كانت جميع الإصدارات في مرحلة بلا أو مؤرشفة.

البحث عن نموذج

يمكنك البحث عن نماذج في Workspace Model Registry باستخدام واجهة المستخدم أو واجهة برمجة التطبيقات.

ملاحظة

عند البحث عن نموذج، يتم إرجاع النماذج التي لديك على الأقل أذونات CAN READ لها.

البحث عن نموذج باستخدام واجهة المستخدم

لعرض النماذج المسجلة، انقر فوق نماذج في الشريط الجانبي.

للبحث عن نموذج معين، أدخل نصا في مربع البحث. يمكنك إدخال اسم نموذج أو أي جزء من الاسم:

البحث في النماذج المسجلة

يمكنك أيضا البحث عن العلامات. أدخل العلامات بهذا التنسيق: tags.<key>=<value>. للبحث عن علامات متعددة، استخدم AND عامل التشغيل .

يمكنك البحث عن كل من اسم النموذج والعلامات باستخدام بناء جملة بحث MLflow. على سبيل المثال:

البحث عن نموذج باستخدام واجهة برمجة التطبيقات

يمكنك البحث عن النماذج المسجلة في Workspace Model Registry باستخدام أسلوب MLflow Client API search_registered_models()

إذا قمت بتعيين علامات على النماذج الخاصة بك، يمكنك أيضا البحث بواسطة هذه العلامات باستخدام search_registered_models().

Python

print(f"Find registered models with a specific tag value")
for m in client.search_registered_models(f"tags.`<key-value>`='<tag-value>'"):
  pprint(dict(m), indent=4)

يمكنك أيضا البحث عن اسم نموذج معين وسرد تفاصيل الإصدار الخاص به باستخدام أسلوب MLflow Client API search_model_versions() :

Python

from pprint import pprint

client=MlflowClient()
[pprint(mv) for mv in client.search_model_versions("name='<model-name>'")]

هذه المخرجات:

Console

{   'creation_timestamp': 1582671933246,
    'current_stage': 'Production',
    'description': 'A random forest model containing 100 decision trees '
                   'trained in scikit-learn',
    'last_updated_timestamp': 1582671960712,
    'name': 'sk-learn-random-forest-reg-model',
    'run_id': 'ae2cc01346de45f79a44a320aab1797b',
    'source': './mlruns/0/ae2cc01346de45f79a44a320aab1797b/artifacts/sklearn-model',
    'status': 'READY',
    'status_message': None,
    'user_id': None,
    'version': 1 }

{   'creation_timestamp': 1582671960628,
    'current_stage': 'None',
    'description': None,
    'last_updated_timestamp': 1582671960628,
    'name': 'sk-learn-random-forest-reg-model',
    'run_id': 'd994f18d09c64c148e62a785052e6723',
    'source': './mlruns/0/d994f18d09c64c148e62a785052e6723/artifacts/sklearn-model',
    'status': 'READY',
    'status_message': None,
    'user_id': None,
    'version': 2 }

حذف نموذج أو إصدار نموذج

يمكنك حذف نموذج باستخدام واجهة المستخدم أو واجهة برمجة التطبيقات.

حذف إصدار نموذج أو نموذج باستخدام واجهة المستخدم

تحذير

لا يمكنك التراجع عن هذا الإجراء. يمكنك نقل إصدار نموذج إلى المرحلة المؤرشفة بدلا من حذفه من السجل. عند حذف نموذج، يتم حذف جميع البيانات الاصطناعية للنموذج المخزنة بواسطة سجل نموذج مساحة العمل وجميع بيانات التعريف المقترنة بالنموذج المسجل.

ملاحظة

يمكنك فقط حذف النماذج وإصدارات النماذج في مرحلة بلا أو مؤرشفة. إذا كان النموذج المسجل يحتوي على إصدارات في مرحلة التشغيل المرحلي أو الإنتاج، يجب نقلها إلى مرحلة بلا أو مؤرشفة قبل حذف النموذج.

لحذف إصدار نموذج:

انقر فوق نماذج في الشريط الجانبي.
انقر فوق اسم نموذج.
انقر فوق إصدار نموذج.
انقر في الزاوية العلوية اليسرى من الشاشة وحدد حذف من القائمة المنسدلة.

لحذف نموذج:

انقر فوق نماذج في الشريط الجانبي.
انقر فوق اسم نموذج.
انقر في الزاوية العلوية اليسرى من الشاشة وحدد حذف من القائمة المنسدلة.

حذف إصدار نموذج أو نموذج باستخدام واجهة برمجة التطبيقات

تحذير

ملاحظة

حذف إصدار نموذج

لحذف إصدار نموذج، استخدم أسلوب MLflow Client API delete_model_version() :

Python

# Delete versions 1,2, and 3 of the model
client = MlflowClient()
versions=[1, 2, 3]
for version in versions:
  client.delete_model_version(name="<model-name>", version=version)

حذف نموذج

لحذف نموذج، استخدم أسلوب MLflow Client API delete_registered_model() :

Python

client = MlflowClient()
client.delete_registered_model(name="<model-name>")

توصي Databricks باستخدام النماذج في كتالوج Unity لمشاركة النماذج عبر مساحات العمل. يوفر كتالوج Unity دعما غير مجزيا للوصول إلى نموذج مساحة العمل والحوكمة وتسجيل التدقيق.

ومع ذلك، إذا كنت تستخدم سجل نموذج مساحة العمل، يمكنك أيضا مشاركة النماذج عبر مساحات عمل متعددة مع بعض الإعداد. على سبيل المثال، يمكنك تطوير نموذج وتسجيله في مساحة العمل الخاصة بك ثم الوصول إليه من مساحة عمل أخرى باستخدام سجل نموذج مساحة العمل البعيد. وهذا مفيد عندما تشارك فرق متعددة الوصول إلى النماذج. يمكنك إنشاء مساحات عمل متعددة واستخدام النماذج وإدارتها عبر هذه البيئات.

نسخ كائنات MLflow بين مساحات العمل

لاستيراد كائنات MLflow أو تصديرها من أو إلى مساحة عمل Azure Databricks، يمكنك استخدام مشروع MLflow Export-Import مصدر مفتوح المستند إلى المجتمع لترحيل تجارب MLflow ونماذجه وتشغيله بين مساحات العمل.

ومع استخدام هذه الأدوات، يمكنك القيام بما يلي:

المشاركة والتعاون مع علماء البيانات الآخرين في نفس خادم التعقب أو خادم تعقب آخر. على سبيل المثال، يمكنك استنساخ تجربة من مستخدم آخر إلى مساحة العمل الخاصة بك.
نسخ نموذج من مساحة عمل إلى أخرى، مثل من تطوير إلى مساحة عمل إنتاج.
نسخ تجارب MLflow وتشغيلها من خادم التعقب المحلي إلى مساحة عمل Databricks.
قم بعمل نسخة احتياطية من التجارب والنماذج المهمة للمهمة إلى مساحة عمل Databricks أخرى.

مثال

يوضح هذا المثال كيفية استخدام Workspace Model Registry لإنشاء تطبيق التعلم الآلي.

مثال سجل نموذج مساحة العمل

مشاركة عبر

إدارة دورة حياة النموذج باستخدام Workspace Model Registry (قديم)

إنشاء نموذج أو تسجيله

إنشاء نموذج أو تسجيله باستخدام واجهة المستخدم

تسجيل نموذج مسجل موجود من دفتر ملاحظات

إنشاء نموذج مسجل جديد وتعيين نموذج مسجل إليه

تسجيل نموذج باستخدام واجهة برمجة التطبيقات

حدود الحصة النسبية

دفتر ملاحظات كيانات تسجيل نموذج مساحة عمل المخزون

عرض النماذج في واجهة المستخدم

صفحة النماذج المسجلة

صفحة النموذج المسجل

صفحة إصدار النموذج

التحكم في الوصول إلى النماذج

نقل مرحلة نموذج

نقل مرحلة نموذج باستخدام واجهة المستخدم

نقل إصدار نموذج إلى مرحلة الإنتاج

الموافقة على طلب انتقال مرحلة إصدار نموذج أو رفضه أو إلغاؤه

عرض أنشطة إصدار النموذج

نقل مرحلة نموذج باستخدام واجهة برمجة التطبيقات

استخدام نموذج للاستدلال

تكوين استنتاج الدفعة

تكوين الاستدلال المتدفق باستخدام Delta Live Tables

تكوين الاستدلال في الوقت الحقيقي

تقديم تعليقات

مقارنة إصدارات النموذج

التحكم في تفضيلات الإعلامات

إيقاف تشغيل جميع إعلامات البريد الإلكتروني

الحد الأقصى لعدد رسائل البريد الإلكتروني المرسلة

خطاف الويب

إضافة تعليق توضيحي إلى نموذج أو إصدار نموذج

إضافة تعليق توضيحي إلى نموذج أو إصدار نموذج باستخدام واجهة المستخدم

إضافة أو تحديث وصف لنموذج أو إصدار نموذج

إضافة تعليقات لإصدار نموذج

إضافة علامات لنموذج أو إصدار نموذج

تحرير العلامات أو حذفها لإصدار نموذج أو نموذج

إضافة تعليق توضيحي لإصدار نموذج باستخدام واجهة برمجة التطبيقات

إعادة تسمية نموذج (API فقط)

البحث عن نموذج

البحث عن نموذج باستخدام واجهة المستخدم

البحث عن نموذج باستخدام واجهة برمجة التطبيقات

حذف نموذج أو إصدار نموذج

حذف إصدار نموذج أو نموذج باستخدام واجهة المستخدم

حذف إصدار نموذج أو نموذج باستخدام واجهة برمجة التطبيقات

حذف إصدار نموذج

حذف نموذج

مشاركة النماذج عبر مساحات العمل

نسخ كائنات MLflow بين مساحات العمل

مثال

الملاحظات

الموارد الإضافية