Databricks Runtime 9.0 ل ML (غير مدعوم)
أصدرت Databricks هذه الصورة في أغسطس 2021.
يوفر Databricks Runtime 9.0 for التعلم الآلي بيئة جاهزة للاستخدام للتعلم الآلي وعلوم البيانات استنادا إلى Databricks Runtime 9.0 (غير مدعوم). يحتوي التعلم الآلي من Databricks Runtime على العديد من مكتبات التعلم الآلي الشائعة، بما في ذلك TensorFlow وPyTorch وXGBoost. كما يدعم التدريب على التعلم العميق الموزع باستخدام Horovod.
لمزيد من المعلومات، بما في ذلك إرشادات إنشاء مجموعة التعلم الآلي من Databricks Runtime، راجع الذكاء الاصطناعي التعلم الآلي على Databricks.
التصحيح
ذكر إصدار سابق من ملاحظات الإصدار هذه أنه تم تعطيل دعم مراقبة مقاييس GPU لنظام المجموعة باستخدام Ganglia في Databricks Runtime 9.0 ML GPU. كان ذلك صحيحا بالنسبة إلى Databricks Runtime 9.0 ML Beta، ولكن تم إصلاح المشكلة مع Databricks Runtime 9.0 ML GA. تمت إزالة العبارة.
ميزات وتحسينات جديدة
تم إنشاء Databricks Runtime 9.0 ML أعلى Databricks Runtime 9.0. للحصول على معلومات حول الجديد في Databricks Runtime 9.0، بما في ذلك Apache Spark MLlib وSparkR، راجع ملاحظات إصدار Databricks Runtime 9.0 (غير مدعوم).
Databricks Autologging (معاينة عامة)
يتوفر الآن Databricks Autologging ل Databricks Runtime 9.0 التعلم الآلي في مناطق محددة. Databricks Autologging هو حل بدون تعليمات برمجية يوفر تتبعا تلقائيا للتجربة لجلسات التدريب على التعلم الآلي على Azure Databricks. باستخدام Databricks Autologging، يتم التقاط معلمات النموذج والمقاييس والملفات ومعلومات دورة حياة البيانات تلقائيا عند تدريب النماذج من مجموعة متنوعة من مكتبات التعلم الآلي الشائعة. يتم تسجيل جلسات التدريب ك MLflow Tracking Runs. يتم أيضا تعقب ملفات النموذج حتى تتمكن من تسجيلها بسهولة إلى سجل نموذج MLflow ونشرها لتسجيل النقاط في الوقت الحقيقي باستخدام MLflow Model Serving.
لمزيد من المعلومات حول Databricks Autologging، راجع Databricks Autologging.
تحسينات على مخزن ميزات Databricks
تم تحسين الأداء عند إنشاء مجموعة تدريب عن طريق تقليل عدد الصلات عبر جداول ميزات المصدر.
يدعم تكامل XGBoost مع PySpark الآن التدريب الموزع ومجموعات GPU
للحصول على التفاصيل، راجع استخدام XGBoost على Azure Databricks.
التغييرات الرئيسية في بيئة Databricks Runtime ML Python
تتم إزالة بيئات Conda، جنبا إلى جنب مع الأمر ٪conda. تم إنشاء Databricks Runtime 9.0 ML باستخدام pip و virtualenv.
ستظل الصور المخصصة التي تستخدم البيئات المستندة إلى Conda مع Databricks Container Services مدعومة، ولكن لن تحتوي على إمكانات مكتبة ذات نطاق دفتر ملاحظات. توصي Databricks باستخدام البيئات المستندة إلى virtualenv مع Databricks Container Services وجميع %pip المكتبات ذات نطاق دفتر الملاحظات.
راجع Databricks Runtime 9.0 (غير مدعوم) للتغييرات الرئيسية في بيئة Databricks Runtime Python. للحصول على قائمة كاملة بحزم Python المثبتة وإصداراتها، راجع مكتبات Python.
تمت ترقية حزم Python
- mlflow 1.18.0 -> 1.19.0
- nltk 3.5 -> 3.6.1
تمت إضافة حزم Python
- النبي 1.0.1
تمت إزالة حزم Python
- MKL
- azure-core
- azure-storage-blob
- msrest
- docker
- محلل سلسلة الاستعلام
- intel-openmp
الإهمال والميزات غير المدعومة
- في Databricks Runtime 9.0 ML، لا يدعم HorovodRunner الإعداد
np=0، حيثnpهو عدد العمليات المتوازية لاستخدامها في مهمة Horovod. - يتضمن Databricks Runtime 9.0 ML r-base 4.1.0 مع الإصدار 14 من محرك رسومات R. هذا غير معتمد من قبل RStudio Server الإصدار 1.2.x.
nvprofتمت إزالة في Databricks Runtime 9.0 ML GPU.
بيئة النظام
تختلف بيئة النظام في Databricks Runtime 9.0 ML عن Databricks Runtime 9.0 كما يلي:
- DBUtils: لا يتضمن التعلم الآلي من وقت تشغيل Databricks الأداة المساعدة للمكتبة (dbutils.library) (قديم) .
استخدم
%pipالأوامر بدلا من ذلك. راجع مكتبات Python ذات نطاق دفتر الملاحظات. - بالنسبة إلى مجموعات GPU، يتضمن التعلم الآلي من Databricks Runtime مكتبات NVIDIA GPU التالية:
- CUDA 11.0
- cuDNN 8.1.0.77
- NCCL 2.10.3
- TensorRT 7.2.2
المكتبات
تسرد الأقسام التالية المكتبات المضمنة في Databricks Runtime 9.0 ML التي تختلف عن تلك المضمنة في Databricks Runtime 9.0.
في هذا القسم:
مكتبات من المستوى الأعلى
يتضمن Databricks Runtime 9.0 ML مكتبات المستوى الأعلى التالية:
- إطارات الرسم البياني
- Horovod وHorovodRunner
- تدفق MLflow
- PyTorch
- موصل spark-tensorflow
- TensorFlow
- TensorBoard
مكتبات Python
يستخدم Databricks Runtime 9.0 ML Virtualenv لإدارة حزمة Python ويتضمن العديد من حزم التعلم الآلي الشائعة.
بالإضافة إلى الحزم المحددة في الأقسام التالية، يتضمن Databricks Runtime 9.0 ML أيضا الحزم التالية:
- hyperopt 0.2.5.db2
- 2.2.0_db1 sparkdl
- feature_store 0.3.3
- automl 1.1.1
مكتبات Python على مجموعات وحدة المعالجة المركزية
| مكتبة | إصدار | مكتبة | إصدار | مكتبة | إصدار |
|---|---|---|---|---|---|
| absl-py | 0.11.0 | Antergos Linux | 2015.10 (ISO-Rolling) | dirs | 1.4.4 |
| argon2-cffi | 20.1.0 | استور | 0.8.1 | astunparse | 1.6.3 |
| مولد غير متزامن | 1.10 | سلاسل السلاسل | 20.3.0 | تثبيت خلفي | 0.2.0 |
| bcrypt | 3.2.0 | التبييض | 3.3.0 | boto3 | 1.16.7 |
| روبوت الدردشة | 1.19.7 | عنق الزجاجه | 1.3.2 | قوالب ذاكرة التخزين المؤقت | 4.2.2 |
| شهادة | 2020.12.5 | cffi | 1.14.5 | تجزئة | 4.0.0 |
| انقر فوق | 7.1.2 | cloudpickle | 1.6.0 | cmdstanpy | 0.9.68 |
| configparser | 5.0.1 | تاريخ التحويل | 2.3.2 | التشفير | 3.4.7 |
| دورة | 0.10.0 | Cython | 0.29.23 | databricks-cli | 0.14.3 |
| dbus-python | 1.2.16 | ديكور | 5.0.6 | defusedxml | 0.7.1 |
| الشبت | 0.3.2 | diskcache | 5.2.1 | استياء | 0.3.2 |
| معلومات توزيعية | 0.23ubuntu1 | نقاط الإدخال | 0.3 | الزوال | 4.0.0.2 |
| نظرة عامة على الواجهات | 1.0.0 | قفل الملف | 3.0.12 | Flask | 1.1.2 |
| خزائن مسطحة | 1.12 | fsspec | 0.9.0 | future | 0.18.2 |
| غاست | 0.4.0 | gitdb | 4.0.7 | GitPython | 3.1.12 |
| google-auth | 1.22.1 | google-auth-oauthlib | 0.4.2 | google-pasta | 0.2.0 |
| grpcio | 1.34.1 | gunicorn | 20.0.4 | h5py | 3.1.0 |
| محول هجري | 2.1.3 | العطلات | 0.10.5.2 | horovod | 0.22.1 |
| htmlmin | 0.1.12 | idna | 2.10 | ImageHash | 4.2.1 |
| ipykernel | 5.3.4 | ipython | 7.22.0 | ipython-genutils | 0.2.0 |
| عناوين ipywidgets | 7.6.4 | isodate | 0.6.0 | غير متزامن | 1.1.0 |
| جدي | 0.17.2 | جينجا 2 | 2.11.3 | مسار jmespath | 0.10.0 |
| joblib | 1.0.1 | joblibspark | 0.3.0 | jsonschema | 3.2.0 |
| jupyter-client | 6.1.12 | jupyter-core | 4.7.1 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.1 | keras-nightly | 2.5.0.dev2021032900 | Keras-Preprocessing | 1.1.2 |
| kiwisolver | 1.3.1 | الكوالا | 1.8.1 | تقويم قمري كوري | 0.2.1 |
| غيغابايت فاتح | 3.1.1 | llvmlite | 0.36.0 | LunarCalendar | 0.0.9 |
| ماكو | 1.1.3 | Markdown | 3.3.3 | العلامات خزينة | 1.1.1 |
| matplotlib | 3.4.2 | مفقود | 0.5.0 | سوء الحظ | 0.8.4 |
| mleap | 0.17.0 | mlflow-skinny | 1.19.0 | متعدد التتبع | 1.4 |
| nbclient | 0.5.3 | nbconvert | 6.0.7 | تنسيق nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | networkx | 2.5 | nltk | 3.6.1 |
| notebook | 6.3.0 | numba | 0.53.1 | numpy | 1.19.2 |
| أواتهليب | 3.1.0 | opt-einsum | 3.3.0 | التغليف | 20.9 |
| pandas | 1.2.4 | جمع معلومات بانداز | 3.0.0 | عوامل تصفية pandocfilter | 1.4.3 |
| باراميكو | 2.7.2 | parso | 0.7.0 | باتسي | 0.5.1 |
| عاصفة صغيرة | 0.11.1 | pexpect | 4.8.0 | فيك | 0.12.0 |
| pickleshare | 0.7.5 | وساده | 8.2.0 | pip | 21.0.1 |
| بشكل مخطط | 4.14.3 | prometheus-client | 0.10.1 | مجموعة أدوات المطالبة | 3.0.17 |
| النبي | 1.0.1 | protobuf | 3.17.2 | psutil | 5.8.0 |
| psycopg2 | 2.8.5 | عملية ptyprocess | 0.7.0 | pyarrow | 4.0.0 |
| pyasn1 | 0.4.8 | وحدات pyasn1 | 0.2.8 | pycparser | 2.20 |
| pydantic | 1.8.2 | Pygments | 2.8.1 | PyGObject | 3.36.0 |
| PyMeeus | 0.5.11 | PyNaCl | 1.3.0 | pyodbc | 4.0.30 |
| pyparsing | 2.4.7 | pyrsistent | 0.17.3 | بستان | 2.19.1.1 |
| python-apt | 2.0.0+ubuntu0.20.4.6 | python-dateutil | 2.8.1 | محرر python | 1.0.4 |
| pytz | 2020.5 | PyWavelets | 1.1.1 | PyYAML | 5.4.1 |
| pyzmq | 20.0.0 | رجاكس | 2021.4.4 | الطلبات | 2.25.1 |
| requests-oauthlib | 1.3.0 | requests-unixsocket | 0.2.0 | اعاده المحاوله | 1.3.3 |
| Rsa | 4.7.2 | s3transfer | 0.3.7 | scikit-learn | 0.24.1 |
| شفرة | 1.6.2 | بحر محمول | 0.11.1 | Send2Trash | 1.5.0 |
| أدوات الإعداد | 52.0.0 | setuptools-git | 1.2 | shap | 0.39.0 |
| simplejson | 3.17.2 | ستة | 1.15.0 | القطاعه | 0.0.7 |
| smmap | 3.0.5 | موزع spark-tensorflow | 0.1.0 | sqlparse | 0.4.1 |
| ssh-import-id | 5.10 | نماذج الإحصائيات | 0.12.2 | جدولة | 0.8.7 |
| تشابك لأعلى في unicode | 0.1.0 | لوحة العشرات | 2.5.0 | خادم بيانات tensorboard | 0.6.1 |
| tensorboard-plugin-wit | 1.8.0 | tensorflow-cpu | 2.5.0 | tensorflow-estimator | 2.5.0 |
| لون المصطلحات | 1.1.0 | terminado | 0.9.4 | مسار الاختبار | 0.4.4 |
| threadpoolctl | 2.1.0 | الشعله | 1.9.0+cpu | شعلة الشعلة | 0.10.0+cpu |
| اعصار | 6.1 | tqdm | 4.59.0 | سمات السمات | 5.0.5 |
| ملحقات الكتابة | 3.7.4.3 | ujson | 4.0.2 | ترقيات غير مراقبة | 0.1 |
| urllib3 | 1.25.11 | virtualenv | 20.4.1 | الرؤي | 0.7.1 |
| wcwidth | 0.2.5 | ترميزات الويب | 0.5.1 | عميل websocket | 0.57.0 |
| ويركزيوغ | 1.0.1 | عجله | 0.36.2 | عنصر واجهة المستخدم | 3.5.1 |
| ملف التفافي | 1.12.1 | xgboost | 1.4.2 |
مكتبات Python على مجموعات GPU
| مكتبة | إصدار | مكتبة | إصدار | مكتبة | إصدار |
|---|---|---|---|---|---|
| absl-py | 0.11.0 | Antergos Linux | 2015.10 (ISO-Rolling) | dirs | 1.4.4 |
| argon2-cffi | 20.1.0 | استور | 0.8.1 | astunparse | 1.6.3 |
| مولد غير متزامن | 1.10 | سلاسل السلاسل | 20.3.0 | تثبيت خلفي | 0.2.0 |
| bcrypt | 3.2.0 | التبييض | 3.3.0 | boto3 | 1.16.7 |
| روبوت الدردشة | 1.19.7 | عنق الزجاجه | 1.3.2 | قوالب ذاكرة التخزين المؤقت | 4.2.2 |
| شهادة | 2020.12.5 | cffi | 1.14.5 | تجزئة | 4.0.0 |
| انقر فوق | 7.1.2 | cloudpickle | 1.6.0 | cmdstanpy | 0.9.68 |
| configparser | 5.0.1 | تاريخ التحويل | 2.3.2 | التشفير | 3.4.7 |
| دورة | 0.10.0 | Cython | 0.29.23 | databricks-cli | 0.14.3 |
| dbus-python | 1.2.16 | ديكور | 5.0.6 | defusedxml | 0.7.1 |
| الشبت | 0.3.2 | diskcache | 5.2.1 | استياء | 0.3.2 |
| معلومات توزيعية | 0.23ubuntu1 | نقاط الإدخال | 0.3 | الزوال | 4.0.0.2 |
| نظرة عامة على الواجهات | 1.0.0 | قفل الملف | 3.0.12 | Flask | 1.1.2 |
| خزائن مسطحة | 1.12 | fsspec | 0.9.0 | future | 0.18.2 |
| غاست | 0.4.0 | gitdb | 4.0.7 | GitPython | 3.1.12 |
| google-auth | 1.22.1 | google-auth-oauthlib | 0.4.2 | google-pasta | 0.2.0 |
| grpcio | 1.34.1 | gunicorn | 20.0.4 | h5py | 3.1.0 |
| محول هجري | 2.1.3 | العطلات | 0.10.5.2 | horovod | 0.22.1 |
| htmlmin | 0.1.12 | idna | 2.10 | ImageHash | 4.2.1 |
| ipykernel | 5.3.4 | ipython | 7.22.0 | ipython-genutils | 0.2.0 |
| عناوين ipywidgets | 7.6.4 | isodate | 0.6.0 | غير متزامن | 1.1.0 |
| جدي | 0.17.2 | جينجا 2 | 2.11.3 | مسار jmespath | 0.10.0 |
| joblib | 1.0.1 | joblibspark | 0.3.0 | jsonschema | 3.2.0 |
| jupyter-client | 6.1.12 | jupyter-core | 4.7.1 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.1 | keras-nightly | 2.5.0.dev2021032900 | Keras-Preprocessing | 1.1.2 |
| kiwisolver | 1.3.1 | الكوالا | 1.8.1 | تقويم قمري كوري | 0.2.1 |
| غيغابايت فاتح | 3.1.1 | llvmlite | 0.36.0 | LunarCalendar | 0.0.9 |
| ماكو | 1.1.3 | Markdown | 3.3.3 | العلامات خزينة | 1.1.1 |
| matplotlib | 3.4.2 | مفقود | 0.5.0 | سوء الحظ | 0.8.4 |
| mleap | 0.17.0 | mlflow-skinny | 1.19.0 | متعدد التتبع | 1.4 |
| nbclient | 0.5.3 | nbconvert | 6.0.7 | تنسيق nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | networkx | 2.5 | nltk | 3.6.1 |
| notebook | 6.3.0 | numba | 0.53.1 | numpy | 1.19.2 |
| أواتهليب | 3.1.0 | opt-einsum | 3.3.0 | التغليف | 20.9 |
| pandas | 1.2.4 | جمع معلومات بانداز | 3.0.0 | عوامل تصفية pandocfilter | 1.4.3 |
| باراميكو | 2.7.2 | parso | 0.7.0 | باتسي | 0.5.1 |
| عاصفة صغيرة | 0.11.1 | pexpect | 4.8.0 | فيك | 0.12.0 |
| pickleshare | 0.7.5 | وساده | 8.2.0 | pip | 21.0.1 |
| بشكل مخطط | 4.14.3 | prometheus-client | 0.11.0 | مجموعة أدوات المطالبة | 3.0.17 |
| النبي | 1.0.1 | protobuf | 3.17.2 | psutil | 5.8.0 |
| psycopg2 | 2.8.5 | عملية ptyprocess | 0.7.0 | pyarrow | 4.0.0 |
| pyasn1 | 0.4.8 | وحدات pyasn1 | 0.2.8 | pycparser | 2.20 |
| pydantic | 1.8.2 | Pygments | 2.8.1 | PyGObject | 3.36.0 |
| PyMeeus | 0.5.11 | PyNaCl | 1.3.0 | pyodbc | 4.0.30 |
| pyparsing | 2.4.7 | pyrsistent | 0.17.3 | بستان | 2.19.1.1 |
| python-apt | 2.0.0+ubuntu0.20.4.6 | python-dateutil | 2.8.1 | محرر python | 1.0.4 |
| pytz | 2020.5 | PyWavelets | 1.1.1 | PyYAML | 5.4.1 |
| pyzmq | 20.0.0 | رجاكس | 2021.4.4 | الطلبات | 2.25.1 |
| requests-oauthlib | 1.3.0 | requests-unixsocket | 0.2.0 | اعاده المحاوله | 1.3.3 |
| Rsa | 4.7.2 | s3transfer | 0.3.7 | scikit-learn | 0.24.1 |
| شفرة | 1.6.2 | بحر محمول | 0.11.1 | Send2Trash | 1.5.0 |
| أدوات الإعداد | 52.0.0 | setuptools-git | 1.2 | shap | 0.39.0 |
| simplejson | 3.17.2 | ستة | 1.15.0 | القطاعه | 0.0.7 |
| smmap | 3.0.5 | موزع spark-tensorflow | 0.1.0 | sqlparse | 0.4.1 |
| ssh-import-id | 5.10 | نماذج الإحصائيات | 0.12.2 | جدولة | 0.8.7 |
| تشابك لأعلى في unicode | 0.1.0 | لوحة العشرات | 2.5.0 | خادم بيانات tensorboard | 0.6.1 |
| tensorboard-plugin-wit | 1.8.0 | تدفق العشرات | 2.5.0 | tensorflow-estimator | 2.5.0 |
| لون المصطلحات | 1.1.0 | terminado | 0.9.4 | مسار الاختبار | 0.4.4 |
| threadpoolctl | 2.1.0 | الشعله | 1.9.0+cu111 | شعلة الشعلة | 0.10.0+cu111 |
| اعصار | 6.1 | tqdm | 4.59.0 | سمات السمات | 5.0.5 |
| ملحقات الكتابة | 3.7.4.3 | ujson | 4.0.2 | ترقيات غير مراقبة | 0.1 |
| urllib3 | 1.25.11 | virtualenv | 20.4.1 | الرؤي | 0.7.1 |
| wcwidth | 0.2.5 | ترميزات الويب | 0.5.1 | عميل websocket | 0.57.0 |
| ويركزيوغ | 1.0.1 | عجله | 0.36.2 | عنصر واجهة المستخدم | 3.5.1 |
| ملف التفافي | 1.12.1 | xgboost | 1.4.2 |
حزم Spark التي تحتوي على وحدات Python
| حزمة Spark | وحدة Python النمطية | إصدار |
|---|---|---|
| إطارات الرسم البياني | إطارات الرسم البياني | 0.8.1-db3-spark3.1 |
مكتبات R
مكتبات R مطابقة لمكتبات R في Databricks Runtime 9.0.
مكتبات Java وScala (مجموعة Scala 2.12)
بالإضافة إلى مكتبات Java و Scala في Databricks Runtime 9.0، يحتوي Databricks Runtime 9.0 ML على JARs التالية:
مجموعات وحدة المعالجة المركزية
| معرف مجموعة | معرف البيانات الاصطناعية | إصدار |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.17.0-4882dc3 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.4.1 |
| ml.dmlc | xgboost4j_2.12 | 1.4.1 |
| org.graphframes | graphframes_2.12 | 0.8.1-db2-spark3.1 |
| org.mlflow | عميل mlflow | 1.19.0 |
| org.mlflow | mlflow-spark | 1.19.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
مجموعات GPU
| معرف مجموعة | معرف البيانات الاصطناعية | إصدار |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.17.0-4882dc3 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.4.1 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.4.1 |
| org.graphframes | graphframes_2.12 | 0.8.1-db2-spark3.1 |
| org.mlflow | عميل mlflow | 1.19.0 |
| org.mlflow | mlflow-spark | 1.19.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |