Databricks Runtime 13.2 ل التعلم الآلي (EoS)

إشعار

انتهى دعم إصدار وقت تشغيل Databricks هذا. للحصول على تاريخ انتهاء الدعم، راجع محفوظات انتهاء الدعم. لجميع إصدارات وقت تشغيل Databricks المدعومة، راجع إصدارات ملاحظات إصدار Databricks Runtime والتوافق.

يوفر Databricks Runtime 13.2 for التعلم الآلي بيئة جاهزة للاستخدام للتعلم الآلي وعلوم البيانات استنادا إلى Databricks Runtime 13.2 (EoS). يحتوي التعلم الآلي من Databricks Runtime على العديد من مكتبات التعلم الآلي الشائعة، بما في ذلك TensorFlow وPyTorch وXGBoost. يتضمن التعلم الآلي من Databricks Runtime AutoML، وهي أداة لتدريب مسارات التعلم الآلي تلقائيا. يدعم التعلم الآلي من Databricks Runtime أيضا التدريب على التعلم العميق الموزع باستخدام Horovod.

لمزيد من المعلومات، بما في ذلك إرشادات إنشاء مجموعة التعلم الآلي من Databricks Runtime، راجع الذكاء الاصطناعي والتعلم الآلي على Databricks.

ميزات وتحسينات جديدة

تم إنشاء Databricks Runtime 13.2 ML أعلى Databricks Runtime 13.2. للحصول على معلومات حول الجديد في Databricks Runtime 13.2، بما في ذلك Apache Spark MLlib وSparkR، راجع ملاحظات إصدار Databricks Runtime 13.2 (EoS ).

التغييرات في مخزن ميزات Databricks

  • الحد الأدنى المطلوب mlflow-skinny للإصدار هو الآن 2.4.0.
  • فشل إنشاء مجموعة تدريب إذا كان DataFrame المتوفر لا يحتوي على جميع مفاتيح البحث المطلوبة.

بيئة النظام

تختلف بيئة النظام في Databricks Runtime 13.2 ML عن Databricks Runtime 13.2 كما يلي:

يتضمن Databricks Runtime 13.2 ML XGBoost 1.7.3، والذي لا يدعم مجموعات GPU مع إمكانية الحوسبة 5.2 وما دونها.

المكتبات

تسرد الأقسام التالية المكتبات المضمنة في Databricks Runtime 13.2 ML التي تختلف عن تلك المضمنة في Databricks Runtime 13.2.

في هذا القسم:

مكتبات من المستوى الأعلى

يتضمن Databricks Runtime 13.2 ML مكتبات المستوى الأعلى التالية:

مكتبات Python

يستخدم Databricks Runtime 13.2 ML Virtualenv لإدارة حزمة Python ويتضمن العديد من حزم التعلم الآلي الشائعة.

بالإضافة إلى الحزم المحددة في الأقسام التالية، يتضمن Databricks Runtime 13.2 ML أيضا الحزم التالية:

  • hyperopt 0.2.7+db3
  • 3.0.0_db1 sparkdl
  • automl 1.19.0

لإعادة إنتاج بيئة Databricks Runtime ML Python في بيئة Python الظاهرية المحلية، قم بتنزيل ملف requirements-13.2.txt وقم بتشغيل pip install -r requirements-13.2.txt. يقوم هذا الأمر بتثبيت جميع مكتبات مصدر مفتوح التي يستخدمها Databricks Runtime ML، ولكنه لا يقوم بتثبيت المكتبات التي تم تطويرها بواسطة Databricks، مثل databricks-automlأو databricks-feature-storeأو نسخة Databricks الخاصة ب hyperopt.

مكتبات Python على مجموعات وحدة المعالجة المركزية

مكتبة إصدار مكتبة إصدار مكتبة إصدار
absl-py 1.0.0 تسريع 0.19.0 aiohttp 3.8.4
aiosignal ⁦⁩⁦⁩1.3.1 dirs 1.4.4 argon2-cffi 21.3.0
روابط argon2-cffi 21.2.0 استور 0.8.1 الرموز المميزة 2.2.1
astunparse 1.6.3 مهلة غير متزامنة 4.0.2 سلاسل السلاسل 21.4.0
قراءة صوتية 3.0.0 azure-core 1.27.1 azure-cosmos 4.3.1b1
azure-storage-blob 12.17.0b1 azure-storage-file-datalake 12.11.0 تثبيت خلفي 0.2.0
bcrypt 3.2.0 beautifulsoup4 4.11.1 black 22.6.0
بيض 4.1.0 وامض 1.4 نعيم 0.7.9
boto3 1.24.28 روبوت الدردشة 1.27.28 قوالب ذاكرة التخزين المؤقت 4.2.4
فهرس 2.0.8 ترميز الفئات 2.6.0 شهادة 2022.9.14
cffi 1.15.1 تجزئة 4.0.0 charset-normalizer 2.0.4
نقر 8.0.4 cloudpickle 2.0.0 cmdstanpy 1.1.0
الحلوي 0.0.4 configparser 5.2.0 تاريخ التحويل 2.4.0
التشفير 37.0.1 دورة 0.11.0 cymem 2.0.7
Cython 0.29.32 dacite 1.8.1 وقت تشغيل databricks-automl 0.2.16
databricks-cli 0.17.7 databricks-feature-store 0.13.1 databricks-sdk 0.1.6
dataclasses-json 0.5.8 مجموعات البيانات 2.12.0 dbl-tempo 0.1.23
dbus-python 1.2.18 تصحيح الأخطاء 1.5.1 ديكور 5.1.1
defusedxml 0.7.1 شبت 0.3.4 diskcache 5.6.1
استياء 0.3.6 docstring-to-markdown 0.12 نقاط الإدخال 0.4
الزوال 4.1.4 التقييم 0.4.0 تنفيذ 1.2.0
نظرة عامة على الواجهات 1.0.3 fastjsonschema 2.17.1 نص سريع 0.9.2
قفل الملف 3.6.0 Flask 1.1.2+db1 خزائن مسطحة 23.5.26
أصوام الخطوط 4.25.0 قائمة مجمدة 1.3.3 fsspec 2022.7.1
future 0.18.2 غاست 0.4.0 gitdb 4.0.10
GitPython 3.1.27 google-api-core 2.8.2 google-auth 1.33.0
google-auth-oauthlib 0.4.6 google-cloud-core 2.3.2 google-cloud-storage 2.9.0
google-crc32c 1.5.0 google-pasta 0.2.0 google-resumable-media 2.5.0
googleapis-common-protos 1.56.4 أخضر 1.1.1 grpcio 1.48.1
حالة grpcio 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.7.0 العطلات 0.25 horovod 0.28.0
htmlmin 0.1.12 httplib2 0.20.2 huggingface-hub 0.15.1
idna 3.3 ImageHash 4.3.1 التعلم غير المتوازن 0.8.1
بيانات تعريف importlib 4.11.3 استيراد الموارد 5.12.0 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 عناوين ipywidgets 7.7.2
isodate 0.6.1 غير متزامن 2.0.1 jedi 0.18.1
سيارة جيب 0.7.1 جينجا 2 2.11.3 مسار jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 keras 2.11.0 أداة إنشاء المفاتيح 23.5.0
kiwisolver 1.4.2 تقويم قمري كوري 0.3.1 langchain 0.0.181
رموز langcode 3.3.0 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lazy_loader 0.2 libclang 15.0.6.1
Librosa 0.10.0 غيغابايت فاتح 3.3.5 llvmlite 0.38.0
LunarCalendar 0.0.9 ماكو 1.2.0 Markdown 3.3.4
MarkupSafe 2.0.1 الخطمي 3.19.0 قائمة تعداد المستنقعات 1.5.1
matplotlib 3.5.2 matplotlib-inline 0.1.6 مكابي 0.7.0
سوء الحظ 0.8.4 mleap 0.20.0 mlflow-skinny 2.4.1
المزيد من التكرارات 8.10.0 msgpack 1.0.5 متعدد التقييمات 6.0.4
متعدد التتبع 1.9.1 معالجة متعددة 0.70.12.2 مورمورهاش 1.0.9
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
تنسيق nbformat 5.5.0 nest-asyncio 1.5.5 networkx 2.8.4
النينجا 1.11.1 nltk 3.7 nodeenv 1.8.0
notebook 6.4.12 numba 0.55.1 numexpr 2.8.4
numpy 1.21.5 أواتهليب 3.2.0 openai 0.27.7
openapi-schema-pydantic 1.2.4 opt-einsum 3.3.0 التغليف 21.3
pandas 1.4.4 عوامل تصفية pandocfilter 1.5.0 باراميكو 2.9.2
parso 0.8.3 pathspec 0.9.0 مسار 0.10.1
بتسي 0.5.2 عاصفة صغيرة 0.12.1 pexpect 4.8.0
فيك 0.12.3 pickleshare 0.7.5 مخدة 9.2.0
pip 22.2.2 المنصات 2.5.2 بشكل مخطط 5.9.0
توصيل 1.0.0 pmdarima 2.0.3 بوتش 1.7.0
مسبق الوشاية 3.0.8 prometheus-client 0.14.1 مجموعة أدوات المطالبة 3.0.36
نبي 1.1.3 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 عملية ptyprocess 0.7.0 تقييم خالص 0.2.2
pyarrow 8.0.0 pyasn1 0.4.8 وحدات pyasn1 0.2.8
pybind11 2.10.4 pycparser 2.21 pydantic 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyMeeus 0.5.12 PyNaCl 1.5.0
pyodbc 4.0.32 pyparsing 3.0.9 تمام 1.1.294
pyrsistent 0.18.0 pytesseract 0.3.10 python-dateutil 2.8.2
محرر python 1.0.4 python-lsp-jsonrpc 1.0.0 خادم python-lsp 1.7.1
تكوين pytool 1.2.2 pytz 2022.1 PyWavelets 1.3.0
PyYAML 6.0 pyzmq 23.2.0 regex 2022.7.9
الطلبات 2.28.1 requests-oauthlib ⁦⁩⁦⁩1.3.1 الاستجابات 0.18.0
حبل 1.7.0 rsa 4.9 s3transfer 0.6.0
scikit-learn 1.1.1 شفرة 1.9.1 بحر محمول 0.11.2
مخزن البيانات السرية 3.3.1 Send2Trash 1.8.0 محولات الجملة 2.2.2
جمل 0.1.99 أدوات الإعداد 63.4.1 shap 0.41.0
simplejson 3.17.6 ستة 1.16.0 القطاعه 0.0.7
smart-open 5.2.1 smmap ⁧5.0.0⁧ ملف صوت 0.12.1
شوربة الحساء 2.3.1 soxr 0.3.5 التباعد 3.5.3
تباعد قديم 3.0.12 مسجلات التباعد 1.0.4 موزع spark-tensorflow 1.0.0
SQLAlchemy 1.4.39 sqlparse 0.4.2 مrsly 2.4.6
ssh-import-id 5.11 بيانات المكدس 0.6.2 نماذج الإحصائيات 0.13.2
جدولة 0.8.10 تشابك لأعلى في unicode 0.2.0 مثابره 8.1.0
لوحة العشرات 2.11.0 خادم بيانات tensorboard 0.6.1 ملف تعريف مكون إضافي من tensorboard 2.11.2
tensorboard-plugin-wit 1.8.1 tensorflow-cpu 2.11.0 tensorflow-estimator 2.11.0
tensorflow-io-gcs-filesystem 0.32.0 لون المصطلحات 2.3.0 terminado 0.13.1
مسار الاختبار 0.6.0 رقيق 8.1.10 threadpoolctl 2.2.0
tiktoken 0.4.0 tokenize-rt 4.2.1 الرموز المميزة 0.13.3
tomli 2.0.1 مشعل 1.13.1+وحدة المعالجة المركزية شعلة الشعلة 0.14.1+وحدة المعالجة المركزية
اعصار 6.1 tqdm 4.64.1 سمات السمات 5.1.1
المحولات 4.29.2 typeguard 2.13.3 typer 0.7.0
فحص الكتابة 0.9.0 typing_extensions 4.3.0 ujson 5.4.0
ترقيات غير مراقبة 0.1 urllib3 1.26.11 virtualenv 20.16.3
الرؤي 0.7.5 wadllib 1.3.6 الوسابي 1.1.2
wcwidth 0.2.5 ترميزات الويب 0.5.1 عميل websocket 0.58.0
ويركزيوغ 2.0.3 whatthepatch 1.0.2 دولاب 0.37.1
عنصر واجهة المستخدم 3.6.1 wordcloud 1.9.2 ملف التفافي 1.14.1
xgboost 1.7.5 xxhash 3.2.0 yapf 0.31.0
yarl 1.9.2 جمع معلومات ydata 4.2.0 zipp 3.8.0

مكتبات Python على مجموعات GPU

مكتبة إصدار مكتبة إصدار مكتبة إصدار
absl-py 1.0.0 تسريع 0.19.0 aiohttp 3.8.4
aiosignal ⁦⁩⁦⁩1.3.1 dirs 1.4.4 argon2-cffi 21.3.0
روابط argon2-cffi 21.2.0 استور 0.8.1 الرموز المميزة 2.2.1
astunparse 1.6.3 مهلة غير متزامنة 4.0.2 سلاسل السلاسل 21.4.0
قراءة صوتية 3.0.0 azure-core 1.27.1 azure-cosmos 4.3.1b1
azure-storage-blob 12.17.0b1 azure-storage-file-datalake 12.11.0 تثبيت خلفي 0.2.0
bcrypt 3.2.0 beautifulsoup4 4.11.1 black 22.6.0
بيض 4.1.0 وامض 1.4 نعيم 0.7.9
boto3 1.24.28 روبوت الدردشة 1.27.28 قوالب ذاكرة التخزين المؤقت 4.2.4
فهرس 2.0.8 ترميز الفئات 2.6.0 شهادة 2022.9.14
cffi 1.15.1 تجزئة 4.0.0 charset-normalizer 2.0.4
نقر 8.0.4 cloudpickle 2.0.0 cmdstanpy 1.1.0
الحلوي 0.0.4 configparser 5.2.0 تاريخ التحويل 2.4.0
التشفير 37.0.1 دورة 0.11.0 cymem 2.0.7
Cython 0.29.32 dacite 1.8.1 وقت تشغيل databricks-automl 0.2.16
databricks-cli 0.17.7 databricks-feature-store 0.13.1 databricks-sdk 0.1.6
dataclasses-json 0.5.8 مجموعات البيانات 2.12.0 dbl-tempo 0.1.23
dbus-python 1.2.18 تصحيح الأخطاء 1.5.1 ديكور 5.1.1
defusedxml 0.7.1 شبت 0.3.4 diskcache 5.6.1
استياء 0.3.6 docstring-to-markdown 0.12 einops 0.6.1
نقاط الإدخال 0.4 الزوال 4.1.4 التقييم 0.4.0
تنفيذ 1.2.0 نظرة عامة على الواجهات 1.0.3 fastjsonschema 2.17.1
نص سريع 0.9.2 قفل الملف 3.6.0 flash-attn 1.0.5
Flask 1.1.2+db1 خزائن مسطحة 23.5.26 أصوام الخطوط 4.25.0
قائمة مجمدة 1.3.3 fsspec 2022.7.1 future 0.18.2
غاست 0.4.0 gitdb 4.0.10 GitPython 3.1.27
google-api-core 2.8.2 google-auth 1.33.0 google-auth-oauthlib 0.4.6
google-cloud-core 2.3.2 google-cloud-storage 2.9.0 google-crc32c 1.5.0
google-pasta 0.2.0 google-resumable-media 2.5.0 googleapis-common-protos 1.56.4
أخضر 1.1.1 grpcio 1.48.1 حالة grpcio 1.48.1
gunicorn 20.1.0 gviz-api 1.10.0 h5py 3.7.0
العطلات 0.25 horovod 0.28.0 htmlmin 0.1.12
httplib2 0.20.2 huggingface-hub 0.15.1 idna 3.3
ImageHash 4.3.1 التعلم غير المتوازن 0.8.1 بيانات تعريف importlib 4.11.3
استيراد الموارد 5.12.0 ipykernel 6.17.1 ipython 8.10.0
ipython-genutils 0.2.0 عناوين ipywidgets 7.7.2 isodate 0.6.1
غير متزامن 2.0.1 jedi 0.18.1 سيارة جيب 0.7.1
جينجا 2 2.11.3 مسار jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonschema 4.16.0 jupyter-client 7.3.4
jupyter_core 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
keras 2.11.0 أداة إنشاء المفاتيح 23.5.0 kiwisolver 1.4.2
تقويم قمري كوري 0.3.1 langchain 0.0.181 رموز langcode 3.3.0
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0.2 libclang 15.0.6.1 Librosa 0.10.0
غيغابايت فاتح 3.3.5 llvmlite 0.38.0 LunarCalendar 0.0.9
ماكو 1.2.0 Markdown 3.3.4 MarkupSafe 2.0.1
الخطمي 3.19.0 قائمة تعداد المستنقعات 1.5.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 مكابي 0.7.0 سوء الحظ 0.8.4
mleap 0.20.0 mlflow-skinny 2.4.1 المزيد من التكرارات 8.10.0
msgpack 1.0.5 متعدد التقييمات 6.0.4 متعدد التتبع 1.9.1
معالجة متعددة 0.70.12.2 مورمورهاش 1.0.9 mypy-extensions 0.4.3
nbclient 0.5.13 nbconvert 6.4.4 تنسيق nbformat 5.5.0
nest-asyncio 1.5.5 networkx 2.8.4 النينجا 1.11.1
nltk 3.7 nodeenv 1.8.0 notebook 6.4.12
numba 0.55.1 numexpr 2.8.4 numpy 1.21.5
أواتهليب 3.2.0 openai 0.27.7 openapi-schema-pydantic 1.2.4
opt-einsum 3.3.0 التغليف 21.3 pandas 1.4.4
عوامل تصفية pandocfilter 1.5.0 باراميكو 2.9.2 parso 0.8.3
pathspec 0.9.0 مسار 0.10.1 بتسي 0.5.2
عاصفة صغيرة 0.12.1 pexpect 4.8.0 فيك 0.12.3
pickleshare 0.7.5 مخدة 9.2.0 pip 22.2.2
المنصات 2.5.2 بشكل مخطط 5.9.0 توصيل 1.0.0
pmdarima 2.0.3 بوتش 1.7.0 مسبق الوشاية 3.0.8
مجموعة أدوات المطالبة 3.0.36 نبي 1.1.3 protobuf 3.19.4
psutil 5.9.0 psycopg2 2.9.3 عملية ptyprocess 0.7.0
تقييم خالص 0.2.2 pyarrow 8.0.0 pyasn1 0.4.8
وحدات pyasn1 0.2.8 pybind11 2.10.4 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing 3.0.9
تمام 1.1.294 pyrsistent 0.18.0 pytesseract 0.3.10
python-dateutil 2.8.2 محرر python 1.0.4 python-lsp-jsonrpc 1.0.0
خادم python-lsp 1.7.1 تكوين pytool 1.2.2 pytz 2022.1
PyWavelets 1.3.0 PyYAML 6.0 pyzmq 23.2.0
regex 2022.7.9 الطلبات 2.28.1 requests-oauthlib ⁦⁩⁦⁩1.3.1
الاستجابات 0.18.0 حبل 1.7.0 rsa 4.9
s3transfer 0.6.0 scikit-learn 1.1.1 شفرة 1.9.1
بحر محمول 0.11.2 مخزن البيانات السرية 3.3.1 Send2Trash 1.8.0
محولات الجملة 2.2.2 جمل 0.1.99 أدوات الإعداد 63.4.1
shap 0.41.0 simplejson 3.17.6 ستة 1.16.0
القطاعه 0.0.7 smart-open 5.2.1 smmap ⁧5.0.0⁧
ملف صوت 0.12.1 شوربة الحساء 2.3.1 soxr 0.3.5
التباعد 3.5.3 تباعد قديم 3.0.12 مسجلات التباعد 1.0.4
موزع spark-tensorflow 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
مrsly 2.4.6 ssh-import-id 5.11 بيانات المكدس 0.6.2
نماذج الإحصائيات 0.13.2 جدولة 0.8.10 تشابك لأعلى في unicode 0.2.0
مثابره 8.1.0 لوحة العشرات 2.11.0 خادم بيانات tensorboard 0.6.1
ملف تعريف مكون إضافي من tensorboard 2.11.2 tensorboard-plugin-wit 1.8.1 تدفق العشرات 2.11.0
tensorflow-estimator 2.11.0 tensorflow-io-gcs-filesystem 0.32.0 لون المصطلحات 2.3.0
terminado 0.13.1 مسار الاختبار 0.6.0 رقيق 8.1.10
threadpoolctl 2.2.0 tiktoken 0.4.0 tokenize-rt 4.2.1
الرموز المميزة 0.13.3 tomli 2.0.1 مشعل 1.13.1+cu117
شعلة الشعلة 0.14.1+cu117 اعصار 6.1 tqdm 4.64.1
سمات السمات 5.1.1 المحولات 4.29.2 typeguard 2.13.3
typer 0.7.0 فحص الكتابة 0.9.0 typing_extensions 4.3.0
ujson 5.4.0 ترقيات غير مراقبة 0.1 urllib3 1.26.11
virtualenv 20.16.3 الرؤي 0.7.5 wadllib 1.3.6
الوسابي 1.1.2 wcwidth 0.2.5 ترميزات الويب 0.5.1
عميل websocket 0.58.0 ويركزيوغ 2.0.3 whatthepatch 1.0.2
دولاب 0.37.1 عنصر واجهة المستخدم 3.6.1 wordcloud 1.9.2
ملف التفافي 1.14.1 xgboost 1.7.5 xxhash 3.2.0
yapf 0.31.0 yarl 1.9.2 جمع معلومات ydata 4.2.0
zipp 3.8.0

مكتبات R

مكتبات R مطابقة لمكتبات R في Databricks Runtime 13.2.

مكتبات Java وScala (مجموعة Scala 2.12)

بالإضافة إلى مكتبات Java و Scala في Databricks Runtime 13.2، يحتوي Databricks Runtime 13.2 ML على JARs التالية:

مجموعات وحدة المعالجة المركزية

معرف مجموعة معرف البيانات الاصطناعية إصدار
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow عميل mlflow 2.4.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

مجموعات GPU

معرف مجموعة معرف البيانات الاصطناعية إصدار
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow عميل mlflow 2.4.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0