إشعار
يتطلب الوصول إلى هذه الصفحة تخويلاً. يمكنك محاولة تسجيل الدخول أو تغيير الدلائل.
يتطلب الوصول إلى هذه الصفحة تخويلاً. يمكنك محاولة تغيير الدلائل.
إشعار
انتهى دعم إصدار وقت تشغيل Databricks هذا. للحصول على تاريخ انتهاء الدعم، راجع محفوظات انتهاء الدعم. لجميع إصدارات وقت تشغيل Databricks المدعومة، راجع إصدارات ملاحظات إصدار Databricks Runtime والتوافق.
يوفر Databricks Runtime 11.0 for التعلم الآلي بيئة جاهزة للاستخدام للتعلم الآلي وعلوم البيانات استنادا إلى Databricks Runtime 11.0 (EoS). يحتوي التعلم الآلي من Databricks Runtime على العديد من مكتبات التعلم الآلي الشائعة، بما في ذلك TensorFlow وPyTorch وXGBoost. يتضمن التعلم الآلي من Databricks Runtime AutoML، وهي أداة لتدريب مسارات التعلم الآلي تلقائيا. يدعم التعلم الآلي من Databricks Runtime أيضا التدريب على التعلم العميق الموزع باستخدام Horovod.
لمزيد من المعلومات، بما في ذلك إرشادات إنشاء مجموعة التعلم الآلي من Databricks Runtime، راجع الذكاء الاصطناعي والتعلم الآلي على Databricks.
ميزات وتحسينات جديدة
تم إنشاء Databricks Runtime 11.0 ML أعلى Databricks Runtime 11.0. للحصول على معلومات حول الجديد في Databricks Runtime 11.0، بما في ذلك Apache Spark MLlib وSparkR، راجع ملاحظات إصدار Databricks Runtime 11.0 (EoS ).
تحسينات على AutoML
يدعم AutoML الآن كسور أخذ العينات الأعلى للحصول على أداء أفضل على مجموعات البيانات الكبيرة. للحصول على التفاصيل، راجع أخذ عينات مجموعات البيانات الكبيرة.
بيئة النظام
تختلف بيئة النظام في Databricks Runtime 11.0 ML عن Databricks Runtime 11.0 كما يلي:
- DBUtils: لا يتضمن التعلم الآلي من وقت تشغيل Databricks الأداة المساعدة للمكتبة (dbutils.library) (قديم) .
استخدم
%pipالأوامر بدلا من ذلك. راجع مكتبات Python ذات نطاق دفتر الملاحظات. - بالنسبة إلى مجموعات GPU، يتضمن التعلم الآلي من Databricks Runtime مكتبات NVIDIA GPU التالية:
- CUDA 11.3
- cuDNN 8.0.5.39
- NCCL 2.9.9
- TensorRT 7.2.2
المكتبات
تسرد الأقسام التالية المكتبات المضمنة في Databricks Runtime 11.0 ML التي تختلف عن تلك المضمنة في Databricks Runtime 11.0.
في هذا القسم:
مكتبات من المستوى الأعلى
يتضمن Databricks Runtime 11.0 ML مكتبات الطبقة العليا التالية:
- إطارات الرسم البياني
- Horovod وHorovodRunner
- تدفق MLflow
- PyTorch
- موصل spark-tensorflow
- TensorFlow
- TensorBoard
مكتبات Python
يستخدم Databricks Runtime 11.0 ML Virtualenv لإدارة حزمة Python ويتضمن العديد من حزم التعلم الآلي الشائعة.
بالإضافة إلى الحزم المحددة في الأقسام التالية، يتضمن Databricks Runtime 11.0 ML أيضا الحزم التالية:
- hyperopt 0.2.7.db1
- sparkdl 2.2.0-db6
- feature_store 0.4.1
- automl 1.10
مكتبات Python على مجموعات وحدة المعالجة المركزية
| مكتبة | إصدار | مكتبة | إصدار | مكتبة | إصدار |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | Antergos Linux | 2015.10 (ISO-Rolling) | argon2-cffi | 20.1.0 |
| استور | 0.8.1 | astunparse | 1.6.3 | مولد غير متزامن | 1.10 |
| سلاسل السلاسل | 21.2.0 | تثبيت خلفي | 0.2.0 | backports.entry-points-selectable | 1.1.1 |
| bcrypt | 3.2.2 | بيض | 4.0.0 | نعيم | 0.7.7 |
| boto3 | 1.21.18 | روبوت الدردشة | 1.24.18 | قوالب ذاكرة التخزين المؤقت | 5.1.0 |
| فهرس | 2.0.7 | شهادة | 2021.10.8 | cffi | 1.14.6 |
| تجزئة | 4.0.0 | charset-normalizer | 2.0.4 | نقر | 8.0.3 |
| cloudpickle | 2.0.0 | cmdstanpy | 0.9.68 | configparser | 5.2.0 |
| تاريخ التحويل | 2.4.0 | التشفير | 3.4.8 | دورة | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.24 | وقت تشغيل databricks-automl | 0.2.8 |
| databricks-cli | 0.16.4 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| تصحيح الأخطاء | 1.4.1 | ديكور | 5.1.0 | defusedxml | 0.7.1 |
| شبت | 0.3.4 | diskcache | 5.4.0 | استياء | 0.3.4 |
| معلومات توزيعية | 0.23ubuntu1 | نقاط الإدخال | 0.3 | الزوال | 4.1.3 |
| نظرة عامة على الواجهات | 1.0.0 | نص سريع | 0.9.2 | قفل الملف | 3.3.1 |
| Flask | 1.1.2 | خزائن مسطحة | 2.0 | fsspec | 2021.8.1 |
| future | 0.18.2 | غاست | 0.5.3 | gitdb | 4.0.9 |
| GitPython | 3.1.27 | google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 |
| google-pasta | 0.2.0 | grpcio | 1.44.0 | gunicorn | 20.1.0 |
| gviz-api | 1.10.0 | h5py | 3.3.0 | محول هجري | 2.2.3 |
| العطلات | 0.13 | horovod | 0.24.3 | htmlmin | 0.1.12 |
| huggingface-hub | 0.6.0 | idna | 3.2 | ImageHash | 4.2.1 |
| التعلم غير المتوازن | 0.8.1 | بيانات تعريف importlib | 4.8.1 | ipykernel | 6.12.1 |
| ipython | 7.32.0 | ipython-genutils | 0.2.0 | عناوين ipywidgets | 7.7.0 |
| isodate | 0.6.1 | غير متزامن | 2.0.1 | jedi | 0.18.0 |
| جينجا 2 | 2.11.3 | مسار jmespath | 0.10.0 | joblib | 1.0.1 |
| joblibspark | 0.5.0 | jsonschema | 3.2.0 | jupyter-client | 6.1.12 |
| jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| keras | 2.8.0 | Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 |
| تقويم قمري كوري | 0.2.1 | رموز langcode | 3.3.0 | libclang | 14.0.1 |
| غيغابايت فاتح | 3.3.2 | llvmlite | 0.38.0 | LunarCalendar | 0.0.9 |
| ماكو | 1.2.0 | Markdown | 3.3.6 | MarkupSafe | 2.0.1 |
| matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 | مفقود | 0.5.1 |
| سوء الحظ | 0.8.4 | mleap | 0.20.0 | mlflow-skinny | 1.26.0 |
| متعدد التتبع | 1.8 | مورمورهاش | 1.0.7 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | تنسيق nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| networkx | 2.6.3 | nltk | 3.6.5 | notebook | 6.4.5 |
| numba | 0.55.1 | numpy | 1.20.3 | أواتهليب | 3.2.0 |
| opt-einsum | 3.3.0 | التغليف | 21.0 | pandas | 1.3.4 |
| جمع معلومات بانداز | 3.1.0 | عوامل تصفية pandocfilter | 1.4.3 | باراميكو | 2.9.2 |
| parso | 0.8.2 | مسار | 0.6.1 | بتسي | 0.5.2 |
| عاصفة صغيرة | 0.11.4 | pexpect | 4.8.0 | فيك | 0.12.2 |
| pickleshare | 0.7.5 | مخدة | 8.4.0 | pip | 21.2.4 |
| المنصات | 2.5.2 | بشكل مخطط | 5.6.0 | pmdarima | 1.8.5 |
| مسبق الوشاية | 3.0.6 | prometheus-client | 0.11.0 | مجموعة أدوات المطالبة | 3.0.20 |
| نبي | 1.0.1 | protobuf | 3.19.4 | psutil | 5.8.0 |
| psycopg2 | 2.9.3 | عملية ptyprocess | 0.7.0 | pyarrow | 7.0.0 |
| pyasn1 | 0.4.8 | وحدات pyasn1 | 0.2.8 | pybind11 | 2.9.2 |
| pycparser | 2.20 | pydantic | 1.8.2 | Pygments | 2.10.0 |
| PyGObject | 3.36.0 | PyMeeus | 0.5.11 | PyNaCl | 1.5.0 |
| pyodbc | 4.0.31 | pyparsing | 3.0.4 | pyrsistent | 0.18.0 |
| بستان | 2.19.1.1 | python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 |
| محرر python | 1.0.4 | pytz | 2021.3 | PyWavelets | 1.1.1 |
| PyYAML | 6.0 | pyzmq | 22.2.1 | regex | 2021.8.3 |
| الطلبات | 2.26.0 | requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 |
| rsa | 4.8 | s3transfer | 0.5.2 | sacremoses | 0.0.53 |
| scikit-learn | 0.24.2 | شفرة | 1.7.1 | بحر محمول | 0.11.2 |
| Send2Trash | 1.8.0 | أدوات الإعداد | 58.0.4 | setuptools-git | 1.2 |
| shap | 0.40.0 | simplejson | 3.17.6 | ستة | 1.16.0 |
| القطاعه | 0.0.7 | smart-open | 5.2.1 | smmap | 5.0.0 |
| التباعد | 3.2.3 | تباعد قديم | 3.0.9 | مسجلات التباعد | 1.0.2 |
| موزع spark-tensorflow | 1.0.0 | sqlparse | 0.4.2 | مrsly | 2.4.3 |
| ssh-import-id | 5.10 | نماذج الإحصائيات | 0.12.2 | جدولة | 0.8.9 |
| تشابك لأعلى في unicode | 0.1.0 | مثابره | 8.0.1 | لوحة العشرات | 2.8.0 |
| خادم بيانات tensorboard | 0.6.1 | ملف تعريف مكون إضافي من tensorboard | 2.5.0 | tensorboard-plugin-wit | 1.8.1 |
| tensorflow-cpu | 2.8.0 | tensorflow-estimator | 2.8.0 | tensorflow-io-gcs-filesystem | 0.25.0 |
| لون المصطلحات | 1.1.0 | terminado | 0.9.4 | مسار الاختبار | 0.5.0 |
| tf-estimator-nightly | 2.8.0.dev2021122109 | رقيق | 8.0.15 | threadpoolctl | 2.2.0 |
| الرموز المميزة | 0.12.1 | مشعل | 1.11.0+cpu | شعلة الشعلة | 0.12.0+cpu |
| اعصار | 6.1 | tqdm | 4.62.3 | سمات السمات | 5.1.0 |
| المحولات | 4.17.0 | typer | 0.4.1 | ملحقات الكتابة | 3.10.0.2 |
| ujson | 4.0.2 | ترقيات غير مراقبة | 0.1 | urllib3 | 1.26.7 |
| virtualenv | 20.8.0 | الرؤي | 0.7.4 | الوسابي | 0.9.1 |
| wcwidth | 0.2.5 | ترميزات الويب | 0.5.1 | عميل websocket | 1.3.1 |
| ويركزيوغ | 2.0.2 | دولاب | 0.37.0 | عنصر واجهة المستخدم | 3.6.0 |
| ملف التفافي | 1.12.1 | xgboost | 1.5.2 | zipp | 3.6.0 |
مكتبات Python على مجموعات GPU
| مكتبة | إصدار | مكتبة | إصدار | مكتبة | إصدار |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | Antergos Linux | 2015.10 (ISO-Rolling) | argon2-cffi | 20.1.0 |
| استور | 0.8.1 | astunparse | 1.6.3 | مولد غير متزامن | 1.10 |
| سلاسل السلاسل | 21.2.0 | تثبيت خلفي | 0.2.0 | backports.entry-points-selectable | 1.1.1 |
| bcrypt | 3.2.2 | بيض | 4.0.0 | نعيم | 0.7.7 |
| boto3 | 1.21.18 | روبوت الدردشة | 1.24.18 | قوالب ذاكرة التخزين المؤقت | 5.1.0 |
| فهرس | 2.0.7 | شهادة | 2021.10.8 | cffi | 1.14.6 |
| تجزئة | 4.0.0 | charset-normalizer | 2.0.4 | نقر | 8.0.3 |
| cloudpickle | 2.0.0 | cmdstanpy | 0.9.68 | configparser | 5.2.0 |
| تاريخ التحويل | 2.4.0 | التشفير | 3.4.8 | دورة | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.24 | وقت تشغيل databricks-automl | 0.2.8 |
| databricks-cli | 0.16.4 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| تصحيح الأخطاء | 1.4.1 | ديكور | 5.1.0 | defusedxml | 0.7.1 |
| شبت | 0.3.4 | diskcache | 5.4.0 | استياء | 0.3.4 |
| معلومات توزيعية | 0.23ubuntu1 | نقاط الإدخال | 0.3 | الزوال | 4.1.3 |
| نظرة عامة على الواجهات | 1.0.0 | نص سريع | 0.9.2 | قفل الملف | 3.3.1 |
| Flask | 1.1.2 | خزائن مسطحة | 2.0 | fsspec | 2021.8.1 |
| future | 0.18.2 | غاست | 0.5.3 | gitdb | 4.0.9 |
| GitPython | 3.1.27 | google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 |
| google-pasta | 0.2.0 | grpcio | 1.44.0 | gunicorn | 20.1.0 |
| gviz-api | 1.10.0 | h5py | 3.3.0 | محول هجري | 2.2.3 |
| العطلات | 0.13 | horovod | 0.24.3 | htmlmin | 0.1.12 |
| huggingface-hub | 0.6.0 | idna | 3.2 | ImageHash | 4.2.1 |
| التعلم غير المتوازن | 0.8.1 | بيانات تعريف importlib | 4.8.1 | ipykernel | 6.12.1 |
| ipython | 7.32.0 | ipython-genutils | 0.2.0 | عناوين ipywidgets | 7.7.0 |
| isodate | 0.6.1 | غير متزامن | 2.0.1 | jedi | 0.18.0 |
| جينجا 2 | 2.11.3 | مسار jmespath | 0.10.0 | joblib | 1.0.1 |
| joblibspark | 0.5.0 | jsonschema | 3.2.0 | jupyter-client | 6.1.12 |
| jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| keras | 2.8.0 | Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 |
| تقويم قمري كوري | 0.2.1 | رموز langcode | 3.3.0 | libclang | 14.0.1 |
| غيغابايت فاتح | 3.3.2 | llvmlite | 0.38.0 | LunarCalendar | 0.0.9 |
| ماكو | 1.2.0 | Markdown | 3.3.6 | MarkupSafe | 2.0.1 |
| matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 | مفقود | 0.5.1 |
| سوء الحظ | 0.8.4 | mleap | 0.20.0 | mlflow-skinny | 1.26.0 |
| متعدد التتبع | 1.8 | مورمورهاش | 1.0.7 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | تنسيق nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| networkx | 2.6.3 | nltk | 3.6.5 | notebook | 6.4.5 |
| numba | 0.55.1 | numpy | 1.20.3 | أواتهليب | 3.2.0 |
| opt-einsum | 3.3.0 | التغليف | 21.0 | pandas | 1.3.4 |
| جمع معلومات بانداز | 3.1.0 | عوامل تصفية pandocfilter | 1.4.3 | باراميكو | 2.9.2 |
| parso | 0.8.2 | مسار | 0.6.1 | بتسي | 0.5.2 |
| عاصفة صغيرة | 0.11.4 | pexpect | 4.8.0 | فيك | 0.12.2 |
| pickleshare | 0.7.5 | مخدة | 8.4.0 | pip | 21.2.4 |
| المنصات | 2.5.2 | بشكل مخطط | 5.6.0 | pmdarima | 1.8.5 |
| مسبق الوشاية | 3.0.6 | مجموعة أدوات المطالبة | 3.0.20 | نبي | 1.0.1 |
| protobuf | 3.19.4 | psutil | 5.8.0 | psycopg2 | 2.9.3 |
| عملية ptyprocess | 0.7.0 | pyarrow | 7.0.0 | pyasn1 | 0.4.8 |
| وحدات pyasn1 | 0.2.8 | pybind11 | 2.9.2 | pycparser | 2.20 |
| pydantic | 1.8.2 | Pygments | 2.10.0 | PyGObject | 3.36.0 |
| PyMeeus | 0.5.11 | PyNaCl | 1.5.0 | pyodbc | 4.0.31 |
| pyparsing | 3.0.4 | pyrsistent | 0.18.0 | بستان | 2.19.1.1 |
| python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 | محرر python | 1.0.4 |
| pytz | 2021.3 | PyWavelets | 1.1.1 | PyYAML | 6.0 |
| pyzmq | 22.2.1 | regex | 2021.8.3 | الطلبات | 2.26.0 |
| requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 | rsa | 4.8 |
| s3transfer | 0.5.2 | sacremoses | 0.0.53 | scikit-learn | 0.24.2 |
| شفرة | 1.7.1 | بحر محمول | 0.11.2 | Send2Trash | 1.8.0 |
| أدوات الإعداد | 58.0.4 | setuptools-git | 1.2 | shap | 0.40.0 |
| simplejson | 3.17.6 | ستة | 1.16.0 | القطاعه | 0.0.7 |
| smart-open | 5.2.1 | smmap | 5.0.0 | التباعد | 3.2.3 |
| تباعد قديم | 3.0.9 | مسجلات التباعد | 1.0.2 | موزع spark-tensorflow | 1.0.0 |
| sqlparse | 0.4.2 | مrsly | 2.4.3 | ssh-import-id | 5.10 |
| نماذج الإحصائيات | 0.12.2 | جدولة | 0.8.9 | تشابك لأعلى في unicode | 0.1.0 |
| مثابره | 8.0.1 | لوحة العشرات | 2.8.0 | خادم بيانات tensorboard | 0.6.1 |
| ملف تعريف مكون إضافي من tensorboard | 2.5.0 | tensorboard-plugin-wit | 1.8.1 | تدفق العشرات | 2.8.0 |
| tensorflow-estimator | 2.8.0 | tensorflow-io-gcs-filesystem | 0.25.0 | لون المصطلحات | 1.1.0 |
| terminado | 0.9.4 | مسار الاختبار | 0.5.0 | tf-estimator-nightly | 2.8.0.dev2021122109 |
| رقيق | 8.0.15 | threadpoolctl | 2.2.0 | الرموز المميزة | 0.12.1 |
| مشعل | 1.11.0+cu113 | شعلة الشعلة | 0.12.0+cu113 | اعصار | 6.1 |
| tqdm | 4.62.3 | سمات السمات | 5.1.0 | المحولات | 4.17.0 |
| typer | 0.4.1 | ملحقات الكتابة | 3.10.0.2 | ujson | 4.0.2 |
| ترقيات غير مراقبة | 0.1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
| الرؤي | 0.7.4 | الوسابي | 0.9.1 | wcwidth | 0.2.5 |
| ترميزات الويب | 0.5.1 | عميل websocket | 1.3.1 | ويركزيوغ | 2.0.2 |
| دولاب | 0.37.0 | عنصر واجهة المستخدم | 3.6.0 | ملف التفافي | 1.12.1 |
| xgboost | 1.5.2 | zipp | 3.6.0 |
حزم Spark التي تحتوي على وحدات Python
| حزمة Spark | وحدة Python النمطية | إصدار |
|---|---|---|
| إطارات الرسم البياني | إطارات الرسم البياني | 0.8.2-db1-spark3.2 |
مكتبات R
مكتبات R مطابقة لمكتبات R في Databricks Runtime 11.0.
مكتبات Java وScala (مجموعة Scala 2.12)
بالإضافة إلى مكتبات Java و Scala في Databricks Runtime 11.0، يحتوي Databricks Runtime 11.0 ML على JARs التالية:
مجموعات وحدة المعالجة المركزية
| معرف مجموعة | معرف البيانات الاصطناعية | إصدار |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.18.1-23eb1ef |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | عميل mlflow | 1.26.0 |
| org.mlflow | mlflow-spark | 1.26.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
مجموعات GPU
| معرف مجموعة | معرف البيانات الاصطناعية | إصدار |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.18.1-23eb1ef |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | عميل mlflow | 1.26.0 |
| org.mlflow | mlflow-spark | 1.26.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |