التشغيل السريع ل Python
MLflow هو نظام أساسي مصدر مفتوح لإدارة دورة حياة التعلم الآلي الشاملة. يوفر MLflow واجهات برمجة تطبيقات بسيطة لمقاييس التسجيل (على سبيل المثال، فقدان النموذج)، والمعلمات (على سبيل المثال، معدل التعلم)، والنماذج المجهزة، ما يجعل من السهل تحليل نتائج التدريب أو توزيع النماذج لاحقا.
في هذا القسم:
- تثبيت MLflow
- تسجيل عمليات تشغيل التدريب تلقائيا إلى MLflow
- عرض النتائج
- تعقب المقاييس والمعلمات والنماذج الإضافية
- أمثلة على دفاتر الملاحظات
- معرفة المزيد
تثبيت MLflow
إذا كنت تستخدم Databricks Runtime التعلم الآلي، فإن MLflow مثبت بالفعل. وإلا، قم بتثبيت حزمة MLflow من PyPI.
تسجيل عمليات تشغيل التدريب تلقائيا إلى MLflow
باستخدام Databricks Runtime 10.4 LTS ML وما فوق، يتم تمكين Databricks Autologging بشكل افتراضي ويلتقط تلقائيا معلمات النموذج والمقاييس والملفات ومعلومات دورة الحياة عند تدريب النماذج من مجموعة متنوعة من مكتبات التعلم الآلي الشائعة.
مع Databricks Runtime 9.1 LTS ML، يوفر mlflow.<framework>.autolog() MLflow واجهات برمجة التطبيقات لتسجيل التعليمات البرمجية للتدريب تلقائيا المكتوبة في العديد من أطر عمل التعلم الآلي. يمكنك استدعاء واجهة برمجة التطبيقات هذه قبل تشغيل التعليمات البرمجية للتدريب لتسجيل المقاييس والمعلمات والبيانات الاصطناعية للنموذج الخاصة بالنموذج.
TensorFlow
إشعار
يتم أيضا دعم نماذج Keras في mlflow.tensorflow.autolog().
# Also autoinstruments tf.keras
import mlflow.tensorflow
mlflow.tensorflow.autolog()
XGBoost
import mlflow.xgboost
mlflow.xgboost.autolog()
LightGBM
import mlflow.lightgbm
mlflow.lightgbm.autolog()
scikit-learn
import mlflow.sklearn
mlflow.sklearn.autolog()
PySpark
إذا كان تنفيذ الضبط مع pyspark.ml، يتم تسجيل المقاييس والنماذج تلقائيا إلى MLflow.
راجع Apache Spark MLlib وتتبع MLflow التلقائي.
عرض النتائج
بعد تنفيذ التعليمات البرمجية للتعلم الآلي، يمكنك عرض النتائج باستخدام الشريط الجانبي "تشغيل التجربة". راجع عرض تجربة دفتر الملاحظات للحصول على إرشادات حول كيفية عرض التجربة والتشغيل ومراجعة دفتر الملاحظات المستخدمة في التشغيل السريع.
تعقب المقاييس والمعلمات والنماذج الإضافية
يمكنك تسجيل معلومات إضافية عن طريق استدعاء واجهات برمجة تطبيقات تسجيل تتبع MLflow مباشرة.
المقاييس الرقمية
import mlflow
mlflow.log_metric("accuracy", 0.9)
معلمات التدريب
import mlflow
mlflow.log_param("learning_rate", 0.001)
النماذج
scikit-learn
import mlflow.sklearn
mlflow.sklearn.log_model(model, "myModel")
PySpark
import mlflow.spark
mlflow.spark.log_model(model, "myModel")
XGBoost
import mlflow.xgboost
mlflow.xgboost.log_model(model, "myModel")
TensorFlow
import mlflow.tensorflow
mlflow.tensorflow.log_model(model, "myModel")
Keras
import mlflow.keras
mlflow.keras.log_model(model, "myModel")
PyTorch
import mlflow.pytorch
mlflow.pytorch.log_model(model, "myModel")
دورة التباعد
import mlflow.spacy
mlflow.spacy.log_model(model, "myModel")
البيانات الاصطناعية الأخرى (الملفات)
import mlflow
mlflow.log_artifact("/tmp/my-file", "myArtifactPath")
مثال دفاتر الملاحظات
إشعار
باستخدام Databricks Runtime 10.4 LTS ML وما فوق، يتم تمكين Databricks Autologging بشكل افتراضي، ولا تكون التعليمات البرمجية في دفاتر الملاحظات هذه المثال مطلوبة. تم تصميم دفاتر الملاحظات المثال في هذا القسم للاستخدام مع Databricks Runtime 9.1 LTS ML.
الطريقة الموصى بها للبدء في استخدام تتبع MLflow مع Python هي استخدام واجهة برمجة تطبيقات MLflow autolog() . باستخدام إمكانات التسجيل التلقائي ل MLflow، يسجل سطر واحد من التعليمات البرمجية تلقائيا النموذج الناتج، والمعلمات المستخدمة لإنشاء النموذج، ودرجة النموذج. يوضح لك دفتر الملاحظات التالي كيفية إعداد تشغيل باستخدام التسجيل التلقائي.
دفتر ملاحظات Python للتشغيل التلقائي ل MLflow
إذا كنت بحاجة إلى مزيد من التحكم في المقاييس المسجلة لكل تشغيل تدريب، أو تريد تسجيل بيانات اصطناعية إضافية مثل الجداول أو المخططات، يمكنك استخدام وظائف واجهة برمجة تطبيقات تسجيل MLflow الموضحة في دفتر الملاحظات التالي.