ضبط المعلمات الفائقة

تعمل مكتبات Python مثل Optuna و Ray Tune و Hyperopt على تبسيط وأتمتة ضبط المعلمات الفائقة للعثور بكفاءة على مجموعة مثالية من المعلمات الفائقة لنماذج التعلم الآلي. تتوسع هذه المكتبات عبر حسابات متعددة للعثور بسرعة على المعلمات الفائقة مع الحد الأدنى من متطلبات التنسيق والتكوين اليدوي.

أوبتونا

Optuna هو إطار عمل خفيف الوزن يسهل تحديد مساحة بحث ديناميكية لضبط المعلمات الفائقة واختيار النموذج. تتضمن Optuna بعض أحدث خوارزميات التحسين والتعلم الآلي.

يمكن موازاة Optuna بسهولة مع Joblib لتوسيع نطاق أحمال العمل، ودمجها مع Mlflow لتتبع المعلمات الفائقة والمقاييس عبر التجارب.

لبدء استخدام Optuna، راجع ضبط Hyperparameter مع Optuna.

راي تيون

يتضمن التعلم الآلي من Databricks Runtime Ray، وهو إطار عمل مفتوح المصدر يستخدم لمعالجة الحوسبة المتوازية. Ray Tune هي مكتبة ضبط hyperparameter تأتي مع Ray وتستخدم Ray كواجهة خلفية للحوسبة الموزعة.

للحصول على تفاصيل حول كيفية تشغيل Ray على Databricks، راجع ما هو Ray على Azure Databricks؟. للحصول على أمثلة من Ray Tune، راجع وثائق Ray Tune.

Hyperopt

إشعار

لم يعد يتم الاحتفاظ بالإصدار مفتوح المصدر من Hyperopt .

لم يعد Hyperopt مثبتا مسبقا على Databricks Runtime ML 17.0 وما فوق. توصي Azure Databricks باستخدام Optuna بدلا من ذلك للحصول على تجربة مماثلة والوصول إلى خوارزميات ضبط المعلمات الفائقة الأحدث.

Hyperopt هي مكتبة Python تستخدم لضبط المعلمات الفائقة الموزعة وتحديد النموذج. يعمل Hyperopt مع كل من خوارزميات التعلم الآلي الموزعة مثل Apache Spark MLlib وHorovod، بالإضافة إلى نماذج التعلم الآلي من جهاز واحد مثل scikit-learn وTensorFlow.

للبدء في استخدام Hyperopt، راجع استخدام خوارزميات التدريب الموزعة مع Hyperopt.

تتبع MLlib التلقائي ل MLflow

إشعار

يتم إهمال وتعطيل تعقب MLflow التلقائي MLlib بشكل افتراضي على المجموعات التي تقوم بتشغيل Databricks Runtime 10.4 LTS ML وما فوق.

بدلا من ذلك، استخدم التسجيل التلقائي MLflow PySpark ML عن طريق استدعاء mlflow.pyspark.ml.autolog()، والذي يتم تمكينه افتراضيا باستخدام Databricks Autologging.

باستخدام تتبع MLflow التلقائي MLlib، عند تشغيل التعليمات البرمجية للضبط التي تستخدم CrossValidator أو TrainValidationSplit. يتم تسجيل المعلمات الفائقة ومقاييس التقييم تلقائيا في MLflow.