مشاركة عبر


Databricks Runtime 10.3 ل ML (EoS)

إشعار

انتهى دعم إصدار وقت تشغيل Databricks هذا. للحصول على تاريخ انتهاء الدعم، راجع محفوظات انتهاء الدعم. لجميع إصدارات وقت تشغيل Databricks المدعومة، راجع إصدارات ملاحظات إصدار Databricks Runtime والتوافق.

يوفر Databricks Runtime 10.3 for التعلم الآلي بيئة جاهزة للاستخدام للتعلم الآلي وعلوم البيانات استنادا إلى Databricks Runtime 10.3 (EoS). يحتوي التعلم الآلي من Databricks Runtime على العديد من مكتبات التعلم الآلي الشائعة، بما في ذلك TensorFlow وPyTorch وXGBoost. يتضمن التعلم الآلي من Databricks Runtime AutoML، وهي أداة لتدريب مسارات التعلم الآلي تلقائيا. يدعم التعلم الآلي من Databricks Runtime أيضا التدريب على التعلم العميق الموزع باستخدام Horovod.

لمزيد من المعلومات، بما في ذلك إرشادات إنشاء مجموعة التعلم الآلي من Databricks Runtime، راجع الذكاء الاصطناعي والتعلم الآلي على Databricks.

ميزات وتحسينات جديدة

تم إنشاء Databricks Runtime 10.3 ML أعلى Databricks Runtime 10.3. للحصول على معلومات حول الجديد في Databricks Runtime 10.3، بما في ذلك Apache Spark MLlib وSparkR، راجع ملاحظات إصدار Databricks Runtime 10.3 (EoS ).

تحسينات على AutoML

تم إجراء التحسينات التالية على AutoML.

يدعم AutoML الآن نموذج ARIMA للتنبؤ

بالإضافة إلى النبي، يقوم AutoML الآن بإنشاء وتقييم نماذج ARIMA للتنبؤ بالمشاكل.

استبعاد الأعمدة من مجموعة البيانات

عند استخدام واجهة برمجة تطبيقات AutoML، يمكنك تحديد الأعمدة التي يجب أن يتجاهلها AutoML أثناء حساباته. يتوفر هذا فقط لمشاكل التصنيف والانحدار. راجع مرجع AutoML Python API للحصول على التفاصيل.

استبعاد أطر عمل الخوارزمية من تشغيل AutoML

يمكنك تحديد أطر عمل الخوارزمية، مثل scikit-learn، التي يجب ألا يأخذها AutoML في الاعتبار أثناء تطويره للنماذج. راجع التكوينات المتقدمة ومرجع واجهة برمجة تطبيقات AutoML Python للحصول على التفاصيل.

max_trials اهمالها

max_trials يتم إهمال المعلمة وستتم إزالتها في الإصدار الرئيسي التالي من Databricks Runtime ML. يستخدم timeout_minutes للتحكم في مدة تشغيل AutoML. أيضا، في Databricks Runtime 10.1 ML وما فوق، يتضمن AutoML الإيقاف المبكر؛ سيتوقف عن تدريب النماذج وضبطها إذا لم يعد مقياس التحقق من الصحة يتحسن.

تحسينات على مخزن ميزات Databricks

يمكنك الآن تطبيق عمليات البحث في نقطة زمنية على جداول ميزات السلاسل الزمنية. راجع دعم نقطة زمنية باستخدام جداول ميزات السلسلة الزمنية للحصول على التفاصيل.

Databricks Autologging (GA)

يتوفر الآن التسجيل التلقائي ل Databricks بشكل عام في Databricks Runtime 10.3 ML. Databricks Autologging هو حل بدون تعليمات برمجية يوفر تتبعا تلقائيا للتجربة لجلسات التدريب على التعلم الآلي على Azure Databricks. باستخدام Databricks Autologging، يتم التقاط معلمات النموذج والمقاييس والملفات ومعلومات دورة حياة البيانات تلقائيا عند تدريب النماذج من مجموعة متنوعة من مكتبات التعلم الآلي الشائعة. يتم تسجيل جلسات التدريب ك MLflow Tracking Runs. يتم أيضا تعقب ملفات النموذج حتى تتمكن من تسجيلها بسهولة إلى سجل نموذج MLflow ونشرها لتسجيل النقاط في الوقت الحقيقي باستخدام MLflow Model Serving.

راجع Databricks Autologging لمزيد من المعلومات.

بيئة النظام

تختلف بيئة النظام في Databricks Runtime 10.3 ML عن Databricks Runtime 10.3 كما يلي:

المكتبات

تسرد الأقسام التالية المكتبات المضمنة في Databricks Runtime 10.3 ML التي تختلف عن تلك المضمنة في Databricks Runtime 10.3.

في هذا القسم:

مكتبات من المستوى الأعلى

يتضمن Databricks Runtime 10.3 ML مكتبات الطبقة العليا التالية:

مكتبات Python

يستخدم Databricks Runtime 10.3 ML Virtualenv لإدارة حزمة Python ويتضمن العديد من حزم التعلم الآلي الشائعة.

بالإضافة إلى الحزم المحددة في الأقسام التالية، يتضمن Databricks Runtime 10.3 ML أيضا الحزم التالية:

  • hyperopt 0.2.7.db1
  • sparkdl 2.2.0-db5
  • feature_store 0.3.7
  • automl 1.6.0

مكتبات Python على مجموعات وحدة المعالجة المركزية

مكتبة إصدار مكتبة إصدار مكتبة إصدار
absl-py 0.11.0 Antergos Linux 2015.10 (ISO-Rolling) dirs 1.4.4
argon2-cffi 20.1.0 استور 0.8.1 astunparse 1.6.3
مولد غير متزامن 1.10 سلاسل السلاسل 20.3.0 تثبيت خلفي 0.2.0
bcrypt 3.2.0 بيديكت 0.21.4 بيض 3.3.0
نعيم 0.7.4 boto3 1.16.7 روبوت الدردشة 1.19.7
قوالب ذاكرة التخزين المؤقت 4.2.4 فهرس 2.0.6 شهادة 2020.12.5
cffi 1.14.5 تجزئة 4.0.0 نقر 7.1.2
cloudpickle 1.6.0 cmdstanpy 0.9.68 configparser 5.0.1
تاريخ التحويل 2.3.2 التشفير 3.4.7 دورة 0.10.0
cymem 2.0.5 Cython 0.29.23 وقت تشغيل databricks-automl 0.2.5
databricks-cli 0.16.2 dbl-tempo 0.1.2 dbus-python 1.2.16
ديكور 5.0.6 defusedxml 0.7.1 شبت 0.3.2
diskcache 5.2.1 استياء 0.3.4 معلومات توزيعية 0.23ubuntu1
نقاط الإدخال 0.3 الزوال 4.1.3 نظرة عامة على الواجهات 1.0.0
نص سريع 0.9.2 قفل الملف 3.0.12 Flask 1.1.2
خزائن مسطحة 2.0 fsspec 0.9.0 future 0.18.2
غاست 0.4.0 gitdb 4.0.7 GitPython 3.1.12
google-auth 1.22.1 google-auth-oauthlib 0.4.2 google-pasta 0.2.0
grpcio 1.39.0 gunicorn 20.0.4 gviz-api 1.10.0
h5py 3.1.0 محول هجري 2.2.2 العطلات 0.12
horovod 0.23.0 htmlmin 0.1.12 huggingface-hub 0.1.2
idna 2.10 ImageHash 4.2.1 التعلم غير المتوازن 0.8.1
بيانات تعريف importlib 3.10.0 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 عناوين ipywidgets 7.6.3 isodate 0.6.0
غير متزامن 1.1.0 jedi 0.17.2 جينجا 2 2.11.3
مسار jmespath 0.10.0 joblib 1.0.1 joblibspark 0.3.0
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.7.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keras 2.7.0
Keras-Preprocessing 1.1.2 kiwisolver ⁦⁩⁦⁩1.3.1 الكوالا 1.8.2
تقويم قمري كوري 0.2.1 رموز langcode 3.3.0 libclang 12.0.0
غيغابايت فاتح 3.3.1 llvmlite 0.38.0 LunarCalendar 0.0.9
ماكو 1.1.3 Markdown 3.3.3 MarkupSafe 2.0.1
matplotlib 3.4.2 مفقود 0.5.0 سوء الحظ 0.8.4
mleap 0.18.1 mlflow-skinny 1.23.0 متعدد التتبع 1.6
مورمورهاش 1.0.5 nbclient 0.5.3 nbconvert 6.0.7
تنسيق nbformat 5.1.3 nest-asyncio 1.5.1 networkx 2.5
nltk 3.6.1 notebook 6.3.0 numba 0.55.0
numpy 1.20.1 أواتهليب 3.1.0 opt-einsum 3.3.0
التغليف 21.3 pandas 1.2.4 جمع معلومات بانداز 3.1.0
عوامل تصفية pandocfilter 1.4.3 باراميكو 2.7.2 parso 0.7.0
مسار 0.6.0 بتسي 0.5.1 عاصفة صغيرة 0.11.3
pexpect 4.8.0 فيك 0.12.0 pickleshare 0.7.5
مخدة 8.2.0 pip 21.0.1 بشكل مخطط 5.5.0
pmdarima 1.8.4 مسبق الوشاية 3.0.5 prometheus-client 0.10.1
مجموعة أدوات المطالبة 3.0.17 نبي 1.0.1 protobuf 3.17.2
psutil 5.8.0 psycopg2 2.8.5 عملية ptyprocess 0.7.0
pyarrow 4.0.0 pyasn1 0.4.8 وحدات pyasn1 0.2.8
pybind11 2.9.0 pycparser 2.20 pydantic 1.8.2
Pygments 2.8.1 PyGObject 3.36.0 PyMeeus 0.5.11
PyNaCl 1.4.0 pyodbc 4.0.30 pyparsing 2.4.7
pyrsistent 0.17.3 بستان 2.19.1.1 python-apt 2.0.0+ubuntu0.20.4.6
python-dateutil 2.8.1 محرر python 1.0.4 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 PyWavelets 1.1.1
PyYAML 5.4.1 pyzmq 20.0.0 regex 2021.4.4
الطلبات 2.25.1 requests-oauthlib 1.3.0 requests-unixsocket 0.2.0
rsa 4.7.2 s3transfer 0.3.7 sacremoses 0.0.46
scikit-learn 0.24.1 شفرة 1.6.2 بحر محمول 0.11.1
Send2Trash 1.5.0 أدوات الإعداد 52.0.0 setuptools-git 1.2
shap 0.40.0 simplejson 3.17.2 ستة 1.15.0
القطاعه 0.0.7 smart-open 5.2.0 smmap 3.0.5
التباعد 3.2.1 تباعد قديم 3.0.8 مسجلات التباعد 1.0.1
موزع spark-tensorflow 1.0.0 sqlparse 0.4.1 مrsly 2.4.1
ssh-import-id 5.10 نماذج الإحصائيات 0.12.2 جدولة 0.8.7
تشابك لأعلى في unicode 0.1.0 مثابره 6.2.0 لوحة العشرات 2.7.0
خادم بيانات tensorboard 0.6.1 ملف تعريف مكون إضافي من tensorboard 2.5.0 tensorboard-plugin-wit 1.8.1
tensorflow-cpu 2.7.0 tensorflow-estimator 2.7.0 tensorflow-io-gcs-filesystem 0.23.1
لون المصطلحات 1.1.0 terminado 0.9.4 مسار الاختبار 0.4.4
رقيق 8.0.12 threadpoolctl 2.1.0 الرموز المميزة 0.10.3
مشعل 1.10.1+وحدة المعالجة المركزية شعلة الشعلة 0.11.2+cpu اعصار 6.1
tqdm 4.59.0 سمات السمات 5.0.5 المحولات 4.15.0
typer 0.3.2 ملحقات الكتابة 3.7.4.3 ujson 4.0.2
ترقيات غير مراقبة 0.1 urllib3 1.25.11 virtualenv 20.4.1
الرؤي 0.7.4 الوسابي 0.8.2 wcwidth 0.2.5
ترميزات الويب 0.5.1 عميل websocket 0.57.0 ويركزيوغ 1.0.1
دولاب 0.36.2 عنصر واجهة المستخدم 3.5.1 ملف التفافي 1.12.1
xgboost 1.5.1 zipp 3.4.1

مكتبات Python على مجموعات GPU

مكتبة إصدار مكتبة إصدار مكتبة إصدار
absl-py 0.11.0 Antergos Linux 2015.10 (ISO-Rolling) dirs 1.4.4
argon2-cffi 20.1.0 استور 0.8.1 astunparse 1.6.3
مولد غير متزامن 1.10 سلاسل السلاسل 20.3.0 تثبيت خلفي 0.2.0
bcrypt 3.2.0 بيديكت 0.21.4 بيض 3.3.0
نعيم 0.7.4 boto3 1.16.7 روبوت الدردشة 1.19.7
قوالب ذاكرة التخزين المؤقت 4.2.4 فهرس 2.0.6 شهادة 2020.12.5
cffi 1.14.5 تجزئة 4.0.0 نقر 7.1.2
cloudpickle 1.6.0 cmdstanpy 0.9.68 configparser 5.0.1
تاريخ التحويل 2.3.2 التشفير 3.4.7 دورة 0.10.0
cymem 2.0.5 Cython 0.29.23 وقت تشغيل databricks-automl 0.2.5
databricks-cli 0.16.2 dbl-tempo 0.1.2 dbus-python 1.2.16
ديكور 5.0.6 defusedxml 0.7.1 شبت 0.3.2
diskcache 5.2.1 استياء 0.3.4 معلومات توزيعية 0.23ubuntu1
نقاط الإدخال 0.3 الزوال 4.1.3 نظرة عامة على الواجهات 1.0.0
نص سريع 0.9.2 قفل الملف 3.0.12 Flask 1.1.2
خزائن مسطحة 2.0 fsspec 0.9.0 future 0.18.2
غاست 0.4.0 gitdb 4.0.7 GitPython 3.1.12
google-auth 1.22.1 google-auth-oauthlib 0.4.2 google-pasta 0.2.0
grpcio 1.39.0 gunicorn 20.0.4 gviz-api 1.10.0
h5py 3.1.0 محول هجري 2.2.2 العطلات 0.12
horovod 0.23.0 htmlmin 0.1.12 huggingface-hub 0.1.2
idna 2.10 ImageHash 4.2.1 التعلم غير المتوازن 0.8.1
بيانات تعريف importlib 3.10.0 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 عناوين ipywidgets 7.6.3 isodate 0.6.0
غير متزامن 1.1.0 jedi 0.17.2 جينجا 2 2.11.3
مسار jmespath 0.10.0 joblib 1.0.1 joblibspark 0.3.0
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.7.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keras 2.7.0
Keras-Preprocessing 1.1.2 kiwisolver ⁦⁩⁦⁩1.3.1 الكوالا 1.8.2
تقويم قمري كوري 0.2.1 رموز langcode 3.3.0 libclang 12.0.0
غيغابايت فاتح 3.3.1 llvmlite 0.38.0 LunarCalendar 0.0.9
ماكو 1.1.3 Markdown 3.3.3 MarkupSafe 2.0.1
matplotlib 3.4.2 مفقود 0.5.0 سوء الحظ 0.8.4
mleap 0.18.1 mlflow-skinny 1.23.0 متعدد التتبع 1.6
مورمورهاش 1.0.5 nbclient 0.5.3 nbconvert 6.0.7
تنسيق nbformat 5.1.3 nest-asyncio 1.5.1 networkx 2.5
nltk 3.6.1 notebook 6.3.0 numba 0.55.0
numpy 1.20.1 أواتهليب 3.1.0 opt-einsum 3.3.0
التغليف 21.3 pandas 1.2.4 جمع معلومات بانداز 3.1.0
عوامل تصفية pandocfilter 1.4.3 باراميكو 2.7.2 parso 0.7.0
مسار 0.6.0 بتسي 0.5.1 عاصفة صغيرة 0.11.3
pexpect 4.8.0 فيك 0.12.0 pickleshare 0.7.5
مخدة 8.2.0 pip 21.0.1 بشكل مخطط 5.5.0
pmdarima 1.8.4 مسبق الوشاية 3.0.5 مجموعة أدوات المطالبة 3.0.17
نبي 1.0.1 protobuf 3.17.2 psutil 5.8.0
psycopg2 2.8.5 عملية ptyprocess 0.7.0 pyarrow 4.0.0
pyasn1 0.4.8 وحدات pyasn1 0.2.8 pybind11 2.9.0
pycparser 2.20 pydantic 1.8.2 Pygments 2.8.1
PyGObject 3.36.0 PyMeeus 0.5.11 PyNaCl 1.4.0
pyodbc 4.0.30 pyparsing 2.4.7 pyrsistent 0.17.3
بستان 2.19.1.1 python-apt 2.0.0+ubuntu0.20.4.6 python-dateutil 2.8.1
محرر python 1.0.4 python-engineio 4.3.0 python-socketio 5.4.1
pytz 2020.5 PyWavelets 1.1.1 PyYAML 5.4.1
pyzmq 20.0.0 regex 2021.4.4 الطلبات 2.25.1
requests-oauthlib 1.3.0 requests-unixsocket 0.2.0 rsa 4.7.2
s3transfer 0.3.7 sacremoses 0.0.46 scikit-learn 0.24.1
شفرة 1.6.2 بحر محمول 0.11.1 Send2Trash 1.5.0
أدوات الإعداد 52.0.0 setuptools-git 1.2 shap 0.40.0
simplejson 3.17.2 ستة 1.15.0 القطاعه 0.0.7
smart-open 5.2.0 smmap 3.0.5 التباعد 3.2.1
تباعد قديم 3.0.8 مسجلات التباعد 1.0.1 موزع spark-tensorflow 1.0.0
sqlparse 0.4.1 مrsly 2.4.1 ssh-import-id 5.10
نماذج الإحصائيات 0.12.2 جدولة 0.8.7 تشابك لأعلى في unicode 0.1.0
مثابره 6.2.0 لوحة العشرات 2.7.0 خادم بيانات tensorboard 0.6.1
ملف تعريف مكون إضافي من tensorboard 2.5.0 tensorboard-plugin-wit 1.8.1 تدفق العشرات 2.7.0
tensorflow-estimator 2.7.0 tensorflow-io-gcs-filesystem 0.23.1 لون المصطلحات 1.1.0
terminado 0.9.4 مسار الاختبار 0.4.4 رقيق 8.0.12
threadpoolctl 2.1.0 الرموز المميزة 0.10.3 مشعل 1.10.1+cu111
شعلة الشعلة 0.11.2+cu111 اعصار 6.1 tqdm 4.59.0
سمات السمات 5.0.5 المحولات 4.15.0 typer 0.3.2
ملحقات الكتابة 3.7.4.3 ujson 4.0.2 ترقيات غير مراقبة 0.1
urllib3 1.25.11 virtualenv 20.4.1 الرؤي 0.7.4
الوسابي 0.8.2 wcwidth 0.2.5 ترميزات الويب 0.5.1
عميل websocket 0.57.0 ويركزيوغ 1.0.1 دولاب 0.36.2
عنصر واجهة المستخدم 3.5.1 ملف التفافي 1.12.1 xgboost 1.5.1
zipp 3.4.1

حزم Spark التي تحتوي على وحدات Python

حزمة Spark وحدة Python النمطية إصدار
إطارات الرسم البياني إطارات الرسم البياني 0.8.2-db1-spark3.2

مكتبات R

مكتبات R مطابقة لمكتبات R في Databricks Runtime 10.3.

مكتبات Java وScala (مجموعة Scala 2.12)

بالإضافة إلى مكتبات Java و Scala في Databricks Runtime 10.3، يحتوي Databricks Runtime 10.3 ML على JARs التالية:

مجموعات وحدة المعالجة المركزية

معرف مجموعة معرف البيانات الاصطناعية إصدار
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.18.1-23eb1ef
ml.dmlc xgboost4j-spark_2.12 1.5.1
ml.dmlc xgboost4j_2.12 1.5.1
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow عميل mlflow 1.23.0
org.mlflow mlflow-spark 1.23.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

مجموعات GPU

معرف مجموعة معرف البيانات الاصطناعية إصدار
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.18.1-23eb1ef
ml.dmlc xgboost4j-spark_2.12 1.5.1
ml.dmlc xgboost4j_2.12 1.5.1
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow عميل mlflow 1.23.0
org.mlflow mlflow-spark 1.23.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0