Databricks Runtime 12.2 LTS for التعلم الآلي

يوفر Databricks Runtime 12.2 LTS for التعلم الآلي بيئة جاهزة للتعلم الآلي وعلوم البيانات استنادا إلى Databricks Runtime 12.2 LTS. يحتوي التعلم الآلي من Databricks Runtime على العديد من مكتبات التعلم الآلي الشائعة، بما في ذلك TensorFlow وPyTorch وXGBoost. يتضمن التعلم الآلي من Databricks Runtime AutoML، وهي أداة لتدريب مسارات التعلم الآلي تلقائيا. يدعم التعلم الآلي من Databricks Runtime أيضا التدريب على التعلم العميق الموزع باستخدام Horovod.

لمزيد من المعلومات، بما في ذلك إرشادات إنشاء مجموعة التعلم الآلي من Databricks Runtime، راجع الذكاء الاصطناعي التعلم الآلي على Databricks.

ميزات وتحسينات جديدة

تم إنشاء Databricks Runtime 12.2 LTS ML أعلى Databricks Runtime 12.2 LTS. للحصول على معلومات حول الجديد في Databricks Runtime 12.2 LTS، بما في ذلك Apache Spark MLlib وSparkR، راجع ملاحظات إصدار Databricks Runtime 12.2 LTS .

Databricks AutoML

يمكنك استخدام جداول الميزات الموجودة في 'متجر الميزات' لزيادة مجموعة بيانات الإدخال الأصلية لمشكلات التنبؤ ب AutoML. للحصول على التفاصيل، راجع تكامل مخزن الميزات.

لمزيد من المعلومات حول Databricks AutoML، راجع ما هو AutoML؟.

بيئة النظام

تختلف بيئة النظام في Databricks Runtime 12.2 LTS ML عن Databricks Runtime 12.2 LTS كما يلي:

يتضمن Databricks Runtime 12.2 LTS ML XGBoost 1.7.2، والذي لا يدعم مجموعات وحدة معالجة الرسومات مع إمكانية الحوسبة 5.2 وما دونها.

المكتبات

تسرد الأقسام التالية المكتبات المضمنة في Databricks Runtime 12.2 LTS ML التي تختلف عن تلك المضمنة في Databricks Runtime 12.2 LTS.

في هذا القسم:

مكتبات من المستوى الأعلى

يتضمن Databricks Runtime 12.2 LTS ML مكتبات المستوى الأعلى التالية:

مكتبات Python

يستخدم Databricks Runtime 12.2 LTS ML Virtualenv لإدارة حزمة Python ويتضمن العديد من حزم التعلم الآلي الشائعة.

بالإضافة إلى الحزم المحددة في الأقسام التالية، يتضمن Databricks Runtime 12.2 LTS ML أيضا الحزم التالية:

  • hyperopt 0.2.7+db3
  • sparkdl 2.3.0-db3
  • automl 1.16.0

لإعادة إنتاج بيئة Databricks Runtime ML Python في بيئة Python الظاهرية المحلية، قم بتنزيل ملف requirements-12.2.txt وقم بتشغيل pip install -r requirements-12.2.txt. يقوم هذا الأمر بتثبيت جميع مكتبات مصدر مفتوح التي يستخدمها Databricks Runtime ML، ولكنه لا يقوم بتثبيت المكتبات التي تم تطويرها بواسطة Databricks، مثل databricks-automlأو databricks-feature-storeأو نسخة Databricks الخاصة ب hyperopt.

مكتبات Python على مجموعات وحدة المعالجة المركزية

مكتبة إصدار مكتبة إصدار مكتبة إصدار
absl-py 1.0.0 argon2-cffi 21.3.0 روابط argon2-cffi 21.2.0
استور 0.8.1 الرموز المميزة 2.0.5 astunparse 1.6.3
سلاسل السلاسل 21.4.0 azure-core 1.26.3 azure-cosmos 4.2.0
تثبيت خلفي 0.2.0 backports.entry-points-selectable 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.11.1 black 22.3.0 التبييض 4.1.0
نعيم 0.7.9 boto3 1.21.32 روبوت الدردشة 1.24.32
قوالب ذاكرة التخزين المؤقت 4.2.2 كتالوج 2.0.8 ترميز الفئات 2.5.1.post0
شهادة 2021.10.8 cffi 1.15.0 تجزئة 4.0.0
charset-normalizer 2.0.4 انقر فوق 8.0.4 cloudpickle 2.0.0
cmdstanpy 1.1.0 الحلوي 0.0.4 configparser 5.2.0
تاريخ التحويل 2.4.0 التشفير 3.4.8 دورة 0.11.0
cymem 2.0.7 Cython 0.29.28 وقت تشغيل databricks-automl 0.2.15
databricks-cli 0.17.4 databricks-feature-store 0.10.0 dbl-tempo 0.1.12
dbus-python 1.2.16 تصحيح الأخطاء 1.5.1 ديكور 5.1.1
defusedxml 0.7.1 الشبت 0.3.4 diskcache 5.4.0
استياء 0.3.6 docstring-to-markdown 0.11 نقاط الإدخال 0.4
الزوال 4.1.4 تنفيذ 0.8.3 نظرة عامة على الواجهات 1.0.0
fastjsonschema 2.16.2 نص سريع 0.9.2 قفل الملف 3.6.0
Flask 1.1.2 خزائن مسطحة 23.1.21 أصوام الخطوط 4.25.0
fsspec 2022.2.0 future 0.18.2 غاست 0.4.0
gitdb 4.0.10 GitPython 3.1.27 google-auth 1.33.0
google-auth-oauthlib 0.4.6 google-pasta 0.2.0 grpcio 1.42.0
gunicorn 20.1.0 gviz-api 1.10.0 h5py 3.6.0
محول هجري 2.2.4 العطلات 0.18 horovod 0.27.0
htmlmin 0.1.12 huggingface-hub 0.12.0 idna 3.3
ImageHash 4.3.1 التعلم غير المتوازن 0.10.1 بيانات تعريف importlib 4.11.3
ipykernel 6.15.3 ipython 8.5.0 ipython-genutils 0.2.0
عناوين ipywidgets 7.7.2 isodate 0.6.1 غير متزامن 2.0.1
جدي 0.18.1 جينجا 2 2.11.3 مسار jmespath 0.10.0
joblib 1.1.1 joblibspark 0.5.1 jsonschema 4.4.0
jupyter-client 6.1.12 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 keras 2.11.0 kiwisolver 1.3.2
تقويم قمري كوري 0.3.1 رموز langcode 3.3.0 libclang 15.0.6.1
غيغابايت فاتح 3.3.4 llvmlite 0.38.0 LunarCalendar 0.0.9
ماكو 1.2.0 Markdown 3.3.4 العلامات خزينة 2.0.1
matplotlib 3.5.1 matplotlib-inline 0.1.2 مكابي 0.7.0
سوء الحظ 0.8.4 mleap 0.20.0 mlflow-skinny 2.1.1
متعدد التتبع 1.9.1 مورمورهاش 1.0.9 mypy-extensions 0.4.3
nbclient 0.5.13 nbconvert 6.4.4 تنسيق nbformat 5.3.0
nest-asyncio 1.5.5 networkx 2.7.1 nltk 3.7
nodeenv 1.7.0 notebook 6.4.8 numba 0.55.1
numpy 1.21.5 أواتهليب 3.2.0 opt-einsum 3.3.0
التغليف 21.3 pandas 1.4.2 جمع معلومات بانداز 3.6.2
عوامل تصفية pandocfilter 1.5.0 باراميكو 2.9.2 parso 0.8.3
pathspec 0.9.0 مسار 0.10.1 باتسي 0.5.2
عاصفة صغيرة 0.12.1 pexpect 4.8.0 فيك 0.12.3
pickleshare 0.7.5 وساده 9.0.1 pip 21.2.4
المنصات 2.6.2 بشكل مخطط 5.6.0 توصيل 1.0.0
pmdarima 2.0.2 مسبق الوشاية 3.0.8 prometheus-client 0.13.1
مجموعة أدوات المطالبة 3.0.20 النبي 1.1.1 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 عملية ptyprocess 0.7.0
تقييم خالص 0.2.2 pyarrow 7.0.0 pyasn1 0.4.8
وحدات pyasn1 0.2.8 pybind11 2.10.3 pycparser 2.21
pydantic 1.10.2 pyflakes 2.5.0 Pygments 2.11.2
PyGObject 3.36.0 PyJWT 2.6.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing 3.0.4
تمام 1.1.283 pyrsistent 0.18.0 python-dateutil 2.8.2
محرر python 1.0.4 python-lsp-jsonrpc 1.0.0 خادم python-lsp 1.6.0
pytz 2021.3 PyWavelets 1.3.0 PyYAML 6.0
pyzmq 22.3.0 رجاكس 2022.3.15 الطلبات 2.27.1
requests-oauthlib ⁦⁩⁦⁩1.3.1 requests-unixsocket 0.2.0 الحبل 0.22.0
Rsa 4.7.2 s3transfer 0.5.0 scikit-learn 1.0.2
شفرة 1.7.3 بحر محمول 0.11.2 Send2Trash 1.8.0
أدوات الإعداد 61.2.0 setuptools-git 1.2 shap 0.41.0
simplejson 3.17.6 ستة 1.16.0 القطاعه 0.0.7
smart-open 5.2.1 smmap ⁧5.0.0⁧ شوربة الحساء 2.3.1
التباعد 3.4.4 تباعد قديم 3.0.12 مسجلات التباعد 1.0.4
موزع spark-tensorflow 1.0.0 sqlparse 0.4.2 مrsly 2.4.5
ssh-import-id 5.10 بيانات المكدس 0.2.0 نماذج الإحصائيات 0.13.2
جدولة 0.8.9 تشابك لأعلى في unicode 0.2.0 مثابره 8.0.1
لوحة العشرات 2.11.2 خادم بيانات tensorboard 0.6.1 ملف تعريف مكون إضافي من tensorboard 2.11.1
tensorboard-plugin-wit 1.8.1 tensorflow-cpu 2.11.0 tensorflow-estimator 2.11.0
tensorflow-io-gcs-filesystem 0.30.0 لون المصطلحات 2.2.0 terminado 0.13.1
مسار الاختبار 0.5.0 رقيق 8.1.7 threadpoolctl 2.2.0
tokenize-rt 4.2.1 الرموز المميزة 0.13.2 tomli 1.2.2
الشعله 1.13.1+وحدة المعالجة المركزية شعلة الشعلة 0.14.1+وحدة المعالجة المركزية اعصار 6.1
tqdm 4.64.0 سمات السمات 5.1.1 المحولات 4.25.1
typeguard 2.13.3 typer 0.7.0 typing_extensions 4.1.1
ujson 5.1.0 ترقيات غير مراقبة 0.1 urllib3 1.26.9
virtualenv 20.8.0 الرؤي 0.7.5 الوسابي 0.10.1
wcwidth 0.2.5 ترميزات الويب 0.5.1 عميل websocket 0.58.0
ويركزيوغ 2.0.3 whatthepatch 1.0.4 عجله 0.37.1
عنصر واجهة المستخدم 3.6.1 ملف التفافي 1.12.1 xgboost 1.7.2
yapf 0.31.0 zipp 3.7.0

مكتبات Python على مجموعات GPU

مكتبة إصدار مكتبة إصدار مكتبة إصدار
absl-py 1.0.0 argon2-cffi 21.3.0 روابط argon2-cffi 21.2.0
استور 0.8.1 الرموز المميزة 2.0.5 astunparse 1.6.3
سلاسل السلاسل 21.4.0 azure-core 1.26.3 azure-cosmos 4.2.0
تثبيت خلفي 0.2.0 backports.entry-points-selectable 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.11.1 black 22.3.0 التبييض 4.1.0
نعيم 0.7.9 boto3 1.21.32 روبوت الدردشة 1.24.32
قوالب ذاكرة التخزين المؤقت 4.2.2 كتالوج 2.0.8 ترميز الفئات 2.5.1.post0
شهادة 2021.10.8 cffi 1.15.0 تجزئة 4.0.0
charset-normalizer 2.0.4 انقر فوق 8.0.4 cloudpickle 2.0.0
cmdstanpy 1.1.0 الحلوي 0.0.4 configparser 5.2.0
تاريخ التحويل 2.4.0 التشفير 3.4.8 دورة 0.11.0
cymem 2.0.7 Cython 0.29.28 وقت تشغيل databricks-automl 0.2.15
databricks-cli 0.17.4 databricks-feature-store 0.10.0 dbl-tempo 0.1.12
dbus-python 1.2.16 تصحيح الأخطاء 1.5.1 ديكور 5.1.1
defusedxml 0.7.1 الشبت 0.3.4 diskcache 5.4.0
استياء 0.3.6 docstring-to-markdown 0.11 نقاط الإدخال 0.4
الزوال 4.1.4 تنفيذ 0.8.3 نظرة عامة على الواجهات 1.0.0
fastjsonschema 2.16.2 نص سريع 0.9.2 قفل الملف 3.6.0
Flask 1.1.2 خزائن مسطحة 23.1.21 أصوام الخطوط 4.25.0
fsspec 2022.2.0 future 0.18.2 غاست 0.4.0
gitdb 4.0.10 GitPython 3.1.27 google-auth 1.33.0
google-auth-oauthlib 0.4.6 google-pasta 0.2.0 grpcio 1.42.0
gunicorn 20.1.0 gviz-api 1.10.0 h5py 3.6.0
محول هجري 2.2.4 العطلات 0.18 horovod 0.27.0
htmlmin 0.1.12 huggingface-hub 0.12.0 idna 3.3
ImageHash 4.3.1 التعلم غير المتوازن 0.10.1 بيانات تعريف importlib 4.11.3
ipykernel 6.15.3 ipython 8.5.0 ipython-genutils 0.2.0
عناوين ipywidgets 7.7.2 isodate 0.6.1 غير متزامن 2.0.1
جدي 0.18.1 جينجا 2 2.11.3 مسار jmespath 0.10.0
joblib 1.1.1 joblibspark 0.5.1 jsonschema 4.4.0
jupyter-client 6.1.12 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 keras 2.11.0 kiwisolver 1.3.2
تقويم قمري كوري 0.3.1 رموز langcode 3.3.0 libclang 15.0.6.1
غيغابايت فاتح 3.3.4 llvmlite 0.38.0 LunarCalendar 0.0.9
ماكو 1.2.0 Markdown 3.3.4 العلامات خزينة 2.0.1
matplotlib 3.5.1 matplotlib-inline 0.1.2 مكابي 0.7.0
سوء الحظ 0.8.4 mleap 0.20.0 mlflow-skinny 2.1.1
متعدد التتبع 1.9.1 مورمورهاش 1.0.9 mypy-extensions 0.4.3
nbclient 0.5.13 nbconvert 6.4.4 تنسيق nbformat 5.3.0
nest-asyncio 1.5.5 networkx 2.7.1 nltk 3.7
nodeenv 1.7.0 notebook 6.4.8 numba 0.55.1
numpy 1.21.5 أواتهليب 3.2.0 opt-einsum 3.3.0
التغليف 21.3 pandas 1.4.2 جمع معلومات بانداز 3.6.2
عوامل تصفية pandocfilter 1.5.0 باراميكو 2.9.2 parso 0.8.3
pathspec 0.9.0 مسار 0.10.1 باتسي 0.5.2
عاصفة صغيرة 0.12.1 pexpect 4.8.0 فيك 0.12.3
pickleshare 0.7.5 وساده 9.0.1 pip 21.2.4
المنصات 2.6.2 بشكل مخطط 5.6.0 توصيل 1.0.0
pmdarima 2.0.2 مسبق الوشاية 3.0.8 مجموعة أدوات المطالبة 3.0.20
النبي 1.1.1 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 عملية ptyprocess 0.7.0 تقييم خالص 0.2.2
pyarrow 7.0.0 pyasn1 0.4.8 وحدات pyasn1 0.2.8
pybind11 2.10.3 pycparser 2.21 pydantic 1.10.2
pyflakes 2.5.0 Pygments 2.11.2 PyGObject 3.36.0
PyJWT 2.6.0 PyMeeus 0.5.12 PyNaCl 1.5.0
pyodbc 4.0.32 pyparsing 3.0.4 تمام 1.1.283
pyrsistent 0.18.0 python-dateutil 2.8.2 محرر python 1.0.4
python-lsp-jsonrpc 1.0.0 خادم python-lsp 1.6.0 pytz 2021.3
PyWavelets 1.3.0 PyYAML 6.0 pyzmq 22.3.0
رجاكس 2022.3.15 الطلبات 2.27.1 requests-oauthlib ⁦⁩⁦⁩1.3.1
requests-unixsocket 0.2.0 الحبل 0.22.0 Rsa 4.7.2
s3transfer 0.5.0 scikit-learn 1.0.2 شفرة 1.7.3
بحر محمول 0.11.2 Send2Trash 1.8.0 أدوات الإعداد 61.2.0
setuptools-git 1.2 shap 0.41.0 simplejson 3.17.6
ستة 1.16.0 القطاعه 0.0.7 smart-open 5.2.1
smmap ⁧5.0.0⁧ شوربة الحساء 2.3.1 التباعد 3.4.4
تباعد قديم 3.0.12 مسجلات التباعد 1.0.4 موزع spark-tensorflow 1.0.0
sqlparse 0.4.2 مrsly 2.4.5 ssh-import-id 5.10
بيانات المكدس 0.2.0 نماذج الإحصائيات 0.13.2 جدولة 0.8.9
تشابك لأعلى في unicode 0.2.0 مثابره 8.0.1 لوحة العشرات 2.11.2
خادم بيانات tensorboard 0.6.1 ملف تعريف مكون إضافي من tensorboard 2.11.1 tensorboard-plugin-wit 1.8.1
تدفق العشرات 2.11.0 tensorflow-estimator 2.11.0 tensorflow-io-gcs-filesystem 0.30.0
لون المصطلحات 2.2.0 terminado 0.13.1 مسار الاختبار 0.5.0
رقيق 8.1.7 threadpoolctl 2.2.0 tokenize-rt 4.2.1
الرموز المميزة 0.13.2 tomli 1.2.2 الشعله 1.13.1+cu117
شعلة الشعلة 0.14.1+cu117 اعصار 6.1 tqdm 4.64.0
سمات السمات 5.1.1 المحولات 4.25.1 typeguard 2.13.3
typer 0.7.0 typing_extensions 4.1.1 ujson 5.1.0
ترقيات غير مراقبة 0.1 urllib3 1.26.9 virtualenv 20.8.0
الرؤي 0.7.5 الوسابي 0.10.1 wcwidth 0.2.5
ترميزات الويب 0.5.1 عميل websocket 0.58.0 ويركزيوغ 2.0.3
whatthepatch 1.0.4 عجله 0.37.1 عنصر واجهة المستخدم 3.6.1
ملف التفافي 1.12.1 xgboost 1.7.2 yapf 0.31.0
zipp 3.7.0

مكتبات R

مكتبات R مطابقة لمكتبات R في Databricks Runtime 12.2 LTS.

مكتبات Java وScala (مجموعة Scala 2.12)

بالإضافة إلى مكتبات Java و Scala في Databricks Runtime 12.2 LTS، يحتوي Databricks Runtime 12.2 LTS ML على JARs التالية:

مجموعات وحدة المعالجة المركزية

معرف مجموعة معرف البيانات الاصطناعية إصدار
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow عميل mlflow 2.1.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

مجموعات GPU

معرف مجموعة معرف البيانات الاصطناعية إصدار
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow عميل mlflow 2.1.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0