Databricks Runtime 10.4 LTS for التعلم الآلي
يوفر Databricks Runtime 10.4 LTS for التعلم الآلي بيئة جاهزة للاستخدام للتعلم الآلي وعلوم البيانات استنادا إلى Databricks Runtime 10.4 LTS. يحتوي التعلم الآلي من Databricks Runtime على العديد من مكتبات التعلم الآلي الشائعة، بما في ذلك TensorFlow وPyTorch وXGBoost. يتضمن التعلم الآلي من Databricks Runtime AutoML، وهي أداة لتدريب مسارات التعلم الآلي تلقائيا. يدعم التعلم الآلي من Databricks Runtime أيضا التدريب على التعلم العميق الموزع باستخدام Horovod.
إشعار
LTS يعني أن هذا الإصدار تحت الدعم طويل الأجل. راجع دورة حياة إصدار Databricks Runtime LTS.
لمزيد من المعلومات، بما في ذلك إرشادات إنشاء مجموعة التعلم الآلي من Databricks Runtime، راجع الذكاء الاصطناعي التعلم الآلي على Databricks.
ميزات وتحسينات جديدة
تم إنشاء Databricks Runtime 10.4 LTS ML أعلى Databricks Runtime 10.4 LTS. للحصول على معلومات حول الجديد في Databricks Runtime 10.4 LTS، بما في ذلك Apache Spark MLlib وSparkR، راجع ملاحظات إصدار Databricks Runtime 10.4 LTS .
تحسينات على Databricks AutoML
تم إجراء التحسينات التالية على Databricks AutoML.
يتوفر Databricks AutoML بشكل عام
بدءا من Databricks Runtime 10.4 LTS ML، يتوفر Databricks AutoML بشكل عام.
تسجيل القيم المفقودة
يمكنك الآن تحديد كيفية تسجيل القيم الخالية. بشكل افتراضي، يحدد AutoML أسلوبا للاقتراض استنادا إلى نوع العمود والمحتوى. راجع تسجيل القيم المفقودة.
تحديد العمود من واجهة المستخدم
بالنسبة لمشاكل التصنيف والانحدار، يمكنك الآن استخدام واجهة المستخدم بالإضافة إلى واجهة برمجة التطبيقات لتحديد الأعمدة التي يجب أن يتجاهلها AutoML أثناء حساباته. راجع تحديد العمود للحصول على التفاصيل.
نوع بيانات جديد
يدعم AutoML الآن أنواع الصفائف الرقمية.
موقع مخصص لدفاتر الملاحظات والتجربة التي تم إنشاؤها
يمكنك الآن تحديد موقع في مساحة العمل حيث يجب أن يحفظ AutoML دفاتر الملاحظات والتجارب التي تم إنشاؤها. استخدم المعلمة experiment_dir
. راجع معلمات التصنيف والانحدار.
تحسينات على مخزن ميزات Databricks
تم إجراء التحسينات التالية على Databricks Feature Store.
- يمكنك الآن تسجيل جدول Delta موجود كجدول ميزات.
بيئة النظام
تختلف بيئة النظام في Databricks Runtime 10.4 LTS ML عن Databricks Runtime 10.4 LTS كما يلي:
- DBUtils: لا يتضمن التعلم الآلي من وقت تشغيل Databricks الأداة المساعدة للمكتبة (dbutils.library) (قديم) .
استخدم
%pip
الأوامر بدلا من ذلك. راجع مكتبات Python ذات نطاق دفتر الملاحظات. - بالنسبة إلى مجموعات GPU، يتضمن التعلم الآلي من Databricks Runtime مكتبات NVIDIA GPU التالية:
- CUDA 11.0
- cuDNN 8.0.5.39
- NCCL 2.10.3
- TensorRT 7.2.2
المكتبات
تسرد الأقسام التالية المكتبات المضمنة في Databricks Runtime 10.4 LTS ML التي تختلف عن تلك المضمنة في Databricks Runtime 10.4 LTS.
في هذا القسم:
مكتبات من المستوى الأعلى
يتضمن Databricks Runtime 10.4 LTS ML مكتبات المستوى الأعلى التالية:
- إطارات الرسم البياني
- Horovod وHorovodRunner
- تدفق MLflow
- PyTorch
- موصل spark-tensorflow
- TensorFlow
- TensorBoard
مكتبات Python
يستخدم Databricks Runtime 10.4 LTS ML Virtualenv لإدارة حزمة Python ويتضمن العديد من حزم التعلم الآلي الشائعة.
بالإضافة إلى الحزم المحددة في الأقسام التالية، يتضمن Databricks Runtime 10.4 LTS ML أيضا الحزم التالية:
- hyperopt 0.2.7.db1
- sparkdl 2.2.0-db5
- feature_store 0.3.8
- automl 1.7.2
مكتبات Python على مجموعات وحدة المعالجة المركزية
لإعادة إنتاج بيئة Databricks Runtime ML Python في بيئة Python الظاهرية المحلية، قم بتنزيل ملف requirements-10.4.txt وقم بتشغيل pip install -r requirements-10.4.txt
. يقوم هذا الأمر بتثبيت جميع مكتبات مصدر مفتوح التي يستخدمها Databricks Runtime ML، ولكنه لا يقوم بتثبيت مكتبات Azure Databricks المطورة، مثل databricks-automl
أو databricks-feature-store
أو نسخة مستودع Databricks الخاصة ب hyperopt
.
مكتبة | إصدار | مكتبة | إصدار | مكتبة | إصدار |
---|---|---|---|---|---|
absl-py | 0.11.0 | Antergos Linux | 2015.10 (ISO-Rolling) | dirs | 1.4.4 |
argon2-cffi | 20.1.0 | استور | 0.8.1 | astunparse | 1.6.3 |
مولد غير متزامن | 1.10 | سلاسل السلاسل | 20.3.0 | تثبيت خلفي | 0.2.0 |
bcrypt | 3.2.0 | بيديكت | 0.21.4 | التبييض | 3.3.0 |
نعيم | 0.7.4 | boto3 | 1.16.7 | روبوت الدردشة | 1.19.7 |
قوالب ذاكرة التخزين المؤقت | 4.2.4 | كتالوج | 2.0.6 | شهادة | 2020.12.5 |
cffi | 1.14.5 | تجزئة | 4.0.0 | انقر فوق | 7.1.2 |
cloudpickle | 1.6.0 | cmdstanpy | 0.9.68 | configparser | 5.0.1 |
تاريخ التحويل | 2.3.2 | التشفير | 3.4.7 | دورة | 0.10.0 |
cymem | 2.0.5 | Cython | 0.29.23 | وقت تشغيل databricks-automl | 0.2.6 |
databricks-cli | 0.16.3 | dbl-tempo | 0.1.2 | dbus-python | 1.2.16 |
ديكور | 5.0.6 | defusedxml | 0.7.1 | الشبت | 0.3.2 |
diskcache | 5.2.1 | استياء | 0.3.4 | معلومات توزيعية | 0.23ubuntu1 |
نقاط الإدخال | 0.3 | الزوال | 4.1.3 | نظرة عامة على الواجهات | 1.0.0 |
نص سريع | 0.9.2 | قفل الملف | 3.0.12 | Flask | 1.1.2 |
خزائن مسطحة | 2.0 | fsspec | 0.9.0 | future | 0.18.2 |
غاست | 0.4.0 | gitdb | 4.0.7 | GitPython | 3.1.12 |
google-auth | 1.22.1 | google-auth-oauthlib | 0.4.2 | google-pasta | 0.2.0 |
grpcio | 1.39.0 | gunicorn | 20.0.4 | gviz-api | 1.10.0 |
h5py | 3.1.0 | محول هجري | 2.2.3 | العطلات | 0.12 |
horovod | 0.23.0 | htmlmin | 0.1.12 | huggingface-hub | 0.1.2 |
idna | 2.10 | ImageHash | 4.2.1 | التعلم غير المتوازن | 0.8.1 |
بيانات تعريف importlib | 3.10.0 | ipykernel | 5.3.4 | ipython | 7.22.0 |
ipython-genutils | 0.2.0 | عناوين ipywidgets | 7.6.3 | isodate | 0.6.0 |
غير متزامن | 1.1.0 | جدي | 0.17.2 | جينجا 2 | 2.11.3 |
مسار jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.3.0 |
jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.7.1 |
jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keras | 2.8.0 |
Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 | الكوالا | 1.8.2 |
تقويم قمري كوري | 0.2.1 | رموز langcode | 3.3.0 | libclang | 13.0.0 |
غيغابايت فاتح | 3.3.2 | llvmlite | 0.38.0 | LunarCalendar | 0.0.9 |
ماكو | 1.1.3 | Markdown | 3.3.3 | العلامات خزينة | 2.0.1 |
matplotlib | 3.4.2 | مفقود | 0.5.1 | سوء الحظ | 0.8.4 |
mleap | 0.18.1 | mlflow-skinny | 1.24.0 | متعدد التتبع | 1.7 |
مورمورهاش | 1.0.5 | nbclient | 0.5.3 | nbconvert | 6.0.7 |
تنسيق nbformat | 5.1.3 | nest-asyncio | 1.5.1 | networkx | 2.5 |
nltk | 3.6.1 | notebook | 6.3.0 | numba | 0.55.1 |
numpy | 1.20.1 | أواتهليب | 3.1.0 | opt-einsum | 3.3.0 |
التغليف | 21.3 | pandas | 1.2.4 | جمع معلومات بانداز | 3.1.0 |
عوامل تصفية pandocfilter | 1.4.3 | باراميكو | 2.7.2 | parso | 0.7.0 |
مسار | 0.6.0 | باتسي | 0.5.1 | عاصفة صغيرة | 0.11.4 |
pexpect | 4.8.0 | فيك | 0.12.0 | pickleshare | 0.7.5 |
وساده | 8.2.0 | pip | 21.0.1 | بشكل مخطط | 5.5.0 |
pmdarima | 1.8.4 | مسبق الوشاية | 3.0.5 | prometheus-client | 0.10.1 |
مجموعة أدوات المطالبة | 3.0.17 | النبي | 1.0.1 | protobuf | 3.17.2 |
psutil | 5.8.0 | psycopg2 | 2.8.5 | عملية ptyprocess | 0.7.0 |
pyarrow | 4.0.0 | pyasn1 | 0.4.8 | وحدات pyasn1 | 0.2.8 |
pybind11 | 2.9.1 | pycparser | 2.20 | pydantic | 1.8.2 |
Pygments | 2.8.1 | PyGObject | 3.36.0 | PyMeeus | 0.5.11 |
PyNaCl | 1.4.0 | pyodbc | 4.0.30 | pyparsing | 2.4.7 |
pyrsistent | 0.17.3 | بستان | 2.19.1.1 | python-apt | 2.0.0+ubuntu0.20.4.7 |
python-dateutil | 2.8.1 | محرر python | 1.0.4 | python-engineio | 4.3.0 |
python-socketio | 5.4.1 | pytz | 2020.5 | PyWavelets | 1.1.1 |
PyYAML | 5.4.1 | pyzmq | 20.0.0 | رجاكس | 2021.4.4 |
الطلبات | 2.25.1 | requests-oauthlib | 1.3.0 | requests-unixsocket | 0.2.0 |
Rsa | 4.7.2 | s3transfer | 0.3.7 | sacremoses | 0.0.46 |
scikit-learn | 0.24.1 | شفرة | 1.6.2 | بحر محمول | 0.11.1 |
Send2Trash | 1.5.0 | أدوات الإعداد | 52.0.0 | setuptools-git | 1.2 |
shap | 0.40.0 | simplejson | 3.17.2 | ستة | 1.15.0 |
القطاعه | 0.0.7 | smart-open | 5.2.0 | smmap | 3.0.5 |
التباعد | 3.2.1 | تباعد قديم | 3.0.8 | مسجلات التباعد | 1.0.1 |
موزع spark-tensorflow | 1.0.0 | sqlparse | 0.4.1 | مrsly | 2.4.1 |
ssh-import-id | 5.10 | نماذج الإحصائيات | 0.12.2 | جدولة | 0.8.7 |
تشابك لأعلى في unicode | 0.1.0 | مثابره | 6.2.0 | لوحة العشرات | 2.8.0 |
خادم بيانات tensorboard | 0.6.1 | ملف تعريف مكون إضافي من tensorboard | 2.5.0 | tensorboard-plugin-wit | 1.8.1 |
tensorflow-cpu | 2.8.0 | tensorflow-estimator | 2.8.0 | tensorflow-io-gcs-filesystem | 0.24.0 |
لون المصطلحات | 1.1.0 | terminado | 0.9.4 | مسار الاختبار | 0.4.4 |
tf-estimator-nightly | 2.8.0.dev2021122109 | رقيق | 8.0.12 | threadpoolctl | 2.1.0 |
الرموز المميزة | 0.10.3 | الشعله | 1.10.2+وحدة المعالجة المركزية | شعلة الشعلة | 0.11.3+cpu |
اعصار | 6.1 | tqdm | 4.59.0 | سمات السمات | 5.0.5 |
المحولات | 4.16.2 | typer | 0.3.2 | ملحقات الكتابة | 3.7.4.3 |
ujson | 4.0.2 | ترقيات غير مراقبة | 0.1 | urllib3 | 1.25.11 |
virtualenv | 20.4.1 | الرؤي | 0.7.4 | الوسابي | 0.8.2 |
wcwidth | 0.2.5 | ترميزات الويب | 0.5.1 | عميل websocket | 0.57.0 |
ويركزيوغ | 1.0.1 | عجله | 0.36.2 | عنصر واجهة المستخدم | 3.5.1 |
ملف التفافي | 1.12.1 | xgboost | 1.5.2 | zipp | 3.4.1 |
مكتبات Python على مجموعات GPU
مكتبة | إصدار | مكتبة | إصدار | مكتبة | إصدار |
---|---|---|---|---|---|
absl-py | 0.11.0 | Antergos Linux | 2015.10 (ISO-Rolling) | dirs | 1.4.4 |
argon2-cffi | 20.1.0 | استور | 0.8.1 | astunparse | 1.6.3 |
مولد غير متزامن | 1.10 | سلاسل السلاسل | 20.3.0 | تثبيت خلفي | 0.2.0 |
bcrypt | 3.2.0 | بيديكت | 0.21.4 | التبييض | 3.3.0 |
نعيم | 0.7.4 | boto3 | 1.16.7 | روبوت الدردشة | 1.19.7 |
قوالب ذاكرة التخزين المؤقت | 4.2.4 | كتالوج | 2.0.6 | شهادة | 2020.12.5 |
cffi | 1.14.5 | تجزئة | 4.0.0 | انقر فوق | 7.1.2 |
cloudpickle | 1.6.0 | cmdstanpy | 0.9.68 | configparser | 5.0.1 |
تاريخ التحويل | 2.3.2 | التشفير | 3.4.7 | دورة | 0.10.0 |
cymem | 2.0.5 | Cython | 0.29.23 | وقت تشغيل databricks-automl | 0.2.6 |
databricks-cli | 0.16.3 | dbl-tempo | 0.1.2 | dbus-python | 1.2.16 |
ديكور | 5.0.6 | defusedxml | 0.7.1 | الشبت | 0.3.2 |
diskcache | 5.2.1 | استياء | 0.3.4 | معلومات توزيعية | 0.23ubuntu1 |
نقاط الإدخال | 0.3 | الزوال | 4.1.3 | نظرة عامة على الواجهات | 1.0.0 |
نص سريع | 0.9.2 | قفل الملف | 3.0.12 | Flask | 1.1.2 |
خزائن مسطحة | 2.0 | fsspec | 0.9.0 | future | 0.18.2 |
غاست | 0.4.0 | gitdb | 4.0.7 | GitPython | 3.1.12 |
google-auth | 1.22.1 | google-auth-oauthlib | 0.4.2 | google-pasta | 0.2.0 |
grpcio | 1.39.0 | gunicorn | 20.0.4 | gviz-api | 1.10.0 |
h5py | 3.1.0 | محول هجري | 2.2.3 | العطلات | 0.12 |
horovod | 0.23.0 | htmlmin | 0.1.12 | huggingface-hub | 0.1.2 |
idna | 2.10 | ImageHash | 4.2.1 | التعلم غير المتوازن | 0.8.1 |
بيانات تعريف importlib | 3.10.0 | ipykernel | 5.3.4 | ipython | 7.22.0 |
ipython-genutils | 0.2.0 | عناوين ipywidgets | 7.6.3 | isodate | 0.6.0 |
غير متزامن | 1.1.0 | جدي | 0.17.2 | جينجا 2 | 2.11.3 |
مسار jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.3.0 |
jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.7.1 |
jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keras | 2.8.0 |
Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 | الكوالا | 1.8.2 |
تقويم قمري كوري | 0.2.1 | رموز langcode | 3.3.0 | libclang | 13.0.0 |
غيغابايت فاتح | 3.3.2 | llvmlite | 0.38.0 | LunarCalendar | 0.0.9 |
ماكو | 1.1.3 | Markdown | 3.3.3 | العلامات خزينة | 2.0.1 |
matplotlib | 3.4.2 | مفقود | 0.5.1 | سوء الحظ | 0.8.4 |
mleap | 0.18.1 | mlflow-skinny | 1.24.0 | متعدد التتبع | 1.7 |
مورمورهاش | 1.0.5 | nbclient | 0.5.3 | nbconvert | 6.0.7 |
تنسيق nbformat | 5.1.3 | nest-asyncio | 1.5.1 | networkx | 2.5 |
nltk | 3.6.1 | notebook | 6.3.0 | numba | 0.55.1 |
numpy | 1.20.1 | أواتهليب | 3.1.0 | opt-einsum | 3.3.0 |
التغليف | 21.3 | pandas | 1.2.4 | جمع معلومات بانداز | 3.1.0 |
عوامل تصفية pandocfilter | 1.4.3 | باراميكو | 2.7.2 | parso | 0.7.0 |
مسار | 0.6.0 | باتسي | 0.5.1 | عاصفة صغيرة | 0.11.4 |
pexpect | 4.8.0 | فيك | 0.12.0 | pickleshare | 0.7.5 |
وساده | 8.2.0 | pip | 21.0.1 | بشكل مخطط | 5.5.0 |
pmdarima | 1.8.4 | مسبق الوشاية | 3.0.5 | مجموعة أدوات المطالبة | 3.0.17 |
النبي | 1.0.1 | protobuf | 3.17.2 | psutil | 5.8.0 |
psycopg2 | 2.8.5 | عملية ptyprocess | 0.7.0 | pyarrow | 4.0.0 |
pyasn1 | 0.4.8 | وحدات pyasn1 | 0.2.8 | pybind11 | 2.9.1 |
pycparser | 2.20 | pydantic | 1.8.2 | Pygments | 2.8.1 |
PyGObject | 3.36.0 | PyMeeus | 0.5.11 | PyNaCl | 1.4.0 |
pyodbc | 4.0.30 | pyparsing | 2.4.7 | pyrsistent | 0.17.3 |
بستان | 2.19.1.1 | python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.1 |
محرر python | 1.0.4 | python-engineio | 4.3.0 | python-socketio | 5.4.1 |
pytz | 2020.5 | PyWavelets | 1.1.1 | PyYAML | 5.4.1 |
pyzmq | 20.0.0 | رجاكس | 2021.4.4 | الطلبات | 2.25.1 |
requests-oauthlib | 1.3.0 | requests-unixsocket | 0.2.0 | Rsa | 4.7.2 |
s3transfer | 0.3.7 | sacremoses | 0.0.46 | scikit-learn | 0.24.1 |
شفرة | 1.6.2 | بحر محمول | 0.11.1 | Send2Trash | 1.5.0 |
أدوات الإعداد | 52.0.0 | setuptools-git | 1.2 | shap | 0.40.0 |
simplejson | 3.17.2 | ستة | 1.15.0 | القطاعه | 0.0.7 |
smart-open | 5.2.0 | smmap | 3.0.5 | التباعد | 3.2.1 |
تباعد قديم | 3.0.8 | مسجلات التباعد | 1.0.1 | موزع spark-tensorflow | 1.0.0 |
sqlparse | 0.4.1 | مrsly | 2.4.1 | ssh-import-id | 5.10 |
نماذج الإحصائيات | 0.12.2 | جدولة | 0.8.7 | تشابك لأعلى في unicode | 0.1.0 |
مثابره | 6.2.0 | لوحة العشرات | 2.8.0 | خادم بيانات tensorboard | 0.6.1 |
ملف تعريف مكون إضافي من tensorboard | 2.5.0 | tensorboard-plugin-wit | 1.8.1 | تدفق العشرات | 2.8.0 |
tensorflow-estimator | 2.8.0 | tensorflow-io-gcs-filesystem | 0.24.0 | لون المصطلحات | 1.1.0 |
terminado | 0.9.4 | مسار الاختبار | 0.4.4 | tf-estimator-nightly | 2.8.0.dev2021122109 |
رقيق | 8.0.12 | threadpoolctl | 2.1.0 | الرموز المميزة | 0.10.3 |
الشعله | 1.10.2+cu111 | شعلة الشعلة | 0.11.3+cu111 | اعصار | 6.1 |
tqdm | 4.59.0 | سمات السمات | 5.0.5 | المحولات | 4.16.2 |
typer | 0.3.2 | ملحقات الكتابة | 3.7.4.3 | ujson | 4.0.2 |
ترقيات غير مراقبة | 0.1 | urllib3 | 1.25.11 | virtualenv | 20.4.1 |
الرؤي | 0.7.4 | الوسابي | 0.8.2 | wcwidth | 0.2.5 |
ترميزات الويب | 0.5.1 | عميل websocket | 0.57.0 | ويركزيوغ | 1.0.1 |
عجله | 0.36.2 | عنصر واجهة المستخدم | 3.5.1 | ملف التفافي | 1.12.1 |
xgboost | 1.5.2 | zipp | 3.4.1 |
حزم Spark التي تحتوي على وحدات Python
حزمة Spark | وحدة Python النمطية | إصدار |
---|---|---|
إطارات الرسم البياني | إطارات الرسم البياني | 0.8.2-db1-spark3.2 |
مكتبات R
مكتبات R مطابقة لمكتبات R في Databricks Runtime 10.4 LTS.
مكتبات Java وScala (مجموعة Scala 2.12)
بالإضافة إلى مكتبات Java و Scala في Databricks Runtime 10.4 LTS، يحتوي Databricks Runtime 10.4 LTS ML على JARs التالية:
مجموعات وحدة المعالجة المركزية
معرف مجموعة | معرف البيانات الاصطناعية | إصدار |
---|---|---|
com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.18.1-23eb1ef |
ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
ml.dmlc | xgboost4j_2.12 | 1.5.2 |
org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
org.mlflow | عميل mlflow | 1.24.0 |
org.mlflow | mlflow-spark | 1.24.0 |
org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
مجموعات GPU
معرف مجموعة | معرف البيانات الاصطناعية | إصدار |
---|---|---|
com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.18.1-23eb1ef |
ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
ml.dmlc | xgboost4j_2.12 | 1.5.2 |
org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
org.mlflow | عميل mlflow | 1.24.0 |
org.mlflow | mlflow-spark | 1.24.0 |
org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |