Nota
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Nota:
La compatibilidad con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de finalización del soporte técnico. Para conocer todas las versiones de Databricks Runtime compatibles, consulte las notas de lanzamientos y compatibilidad de Databricks Runtime.
Databricks Runtime 15.2 para Machine Learning proporciona un entornoto-go listo para el aprendizaje automático y la ciencia de datos basado en Databricks Runtime 15.2 (EoS). Databricks Runtime ML contiene muchas bibliotecas de aprendizaje automático populares, como TensorFlow, PyTorch y XGBoost. Databricks Runtime ML incluye AutoML, una herramienta para entrenar automáticamente canalizaciones de aprendizaje automático. Databricks Runtime ML también admite el entrenamiento de aprendizaje profundo distribuido mediante Horovod.
Nuevas características y mejoras
Databricks Runtime 15.2 ML se basa en Databricks Runtime 15.2. Para obtener información sobre las novedades en Databricks Runtime 15.2, incluidas Apache Spark MLlib y SparkR, consulte las notas de la versión de Databricks Runtime 15.2 (EoS).
Agregar StreamingDataset
StreamingDataset se usa para realizar el entrenamiento en grandes conjuntos de datos desde el almacenamiento en la nube lo más rápido, barato y escalable posible. Está preinstalado en Databricks Runtime 15.2 ML.
Compatibilidad con Photon en clústeres de CPU en el entorno ML de Databricks en tiempo de ejecución
A partir de Databricks Runtime 15.2 ML, puede acelerar las cargas de trabajo de Spark SQL y Spark DataFrame habilitando Photon en el clúster de CPU.
En el caso de las aplicaciones de aprendizaje automático, Photon proporciona un rendimiento más rápido para casos de uso como:
- Preparación de datos mediante SQL o DataFrame API.
- Ingeniería de características con búsqueda a un momento dado.
- Análisis de grafos con GraphFrames.
Photon no mejora el rendimiento de las bibliotecas de Python, como TensorFlow, PyTorch y XGBoost.
Las API de RDD de Spark y MLlib de Spark tienen una compatibilidad limitada con Photon. Al procesar grandes conjuntos de datos mediante RDD de Spark o MLlib de Spark, podría experimentar problemas de memoria de Spark. Consulte Problemas de memoria de Spark.
Entorno del sistema
El entorno del sistema en Databricks Runtime 15.2 ML difiere de Databricks Runtime 15.2 de la siguiente manera:
- En el caso de los clústeres de GPU, Databricks Runtime ML incluye las siguientes bibliotecas de GPU de NVIDIA:
- CUDA 12.1
- cusolver 11.4.5.107-1
- cupti 12.1
- cuDNN 8.9.0.131-1
- NCCL 2.17.1
- TensorRT 8.6.1.6-1
Bibliotecas
En las secciones siguientes se enumeran las bibliotecas incluidas en Databricks Runtime 15.2 ML que difieren de las incluidas en Databricks Runtime 15.2.
En esta sección:
- Bibliotecas de nivel superior
- Bibliotecas de Python
- Bibliotecas de R
- Bibliotecas de Java y Scala (clúster de Scala 2.12)
Bibliotecas de nivel superior
Databricks Runtime 15.2 ML incluye las siguientes bibliotecas de nivel superior:
- Conjuntos de datos
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector (conector para Spark y TensorFlow)
- Scikit-learn
- TensorFlow
- TensorBoard
- Transformadores
Bibliotecas de Python
Databricks Runtime 15.2 ML usa virtualenv para la administración de paquetes de Python e incluye muchos paquetes populares de ML.
Además de los paquetes especificados en las secciones siguientes, Databricks Runtime 15.2 ML también incluye los siguientes paquetes:
- hyperopt 0.2.7+db3
- sparkdl 3.0.0_db1
- automl 1.26.0
Para reproducir el entorno de Python de Ml en tiempo de ejecución de Databricks en el entorno virtual local de Python, descargue el archivo requirements-15.2.txt y ejecute pip install -r requirements-15.2.txt. Este comando instala todas las bibliotecas de código abierto que usa Databricks Runtime ML, pero no instala bibliotecas desarrolladas por Databricks, como databricks-automl, databricks-feature-engineeringo la bifurcación de Databricks de hyperopt.
Bibliotecas de Python en clústeres de CPU
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | acelerar | 0.28.0 | aiohttp | 3.8.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | anyio | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | Astor | 0.8.1 |
| "asttokens" | 2.0.5 | astunparse | 1.6.3 | async-timeout | 4.0.2 |
| atributos | 22.1.0 | Audioread | 3.0.1 | azure-core | 1.30.1 |
| azure-cosmos | 4.3.1 | azure-identity | 1.16.0 | azure-storage-blob | 12.19.1 |
| Servicio de Azure Storage File Data Lake | 12.14.0 | llamada de retorno | 0.2.0 | bcrypt | 3.2.0 |
| beautifulsoup4 | 4.12.2 | negro | 23.3.0 | blanquear | 4.1.0 |
| intermitente | 1.4 | felicidad | 0.7.11 | boto3 | 1.34.39 |
| botocore | 1.34.39 | Brotli | 1.0.9 | cachetools | 5.3.3 |
| catálogo | 2.0.10 | codificadores de categorías | 2.6.3 | certifi | 2023.7.22 |
| cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| interruptor automático | 1.4.0 | Haz clic | 8.0.4 | cloudpathlib | 0.16.0 |
| cloudpickle | 2.2.1 | cmdstanpy | 1.2.2 | colorido | 0.5.6 |
| Comm | 0.1.2 | confitería | 0.1.4 | configparser | 5.2.0 |
| contourpy | 1.0.5 | criptografía | 41.0.3 | ciclista | 0.11.0 |
| cymem | 2.0.8 | Cython | 0.29.32 | dacita | 1.8.1 |
| databricks-automl-runtime | 0.2.21 | databricks-feature-engineering (ingeniería de características) | 0.4.0 | SDK de Databricks | 0.20.0 |
| dataclasses-json | 0.6.4 | Conjuntos de datos | 2.18.0 | dbl-tempo | 0.1.26 |
| dbus-python | 1.2.18 | debugpy | 1.6.7 | decorador | 5.1.1 |
| velocidad profunda | 0.14.0 | defusedxml | 0.7.1 | eneldo | 0.3.6 |
| diskcache | 5.6.3 | distlib | 0.3.8 | dm-tree | 0.1.8 |
| puntos de entrada | 0,4 | evaluar | 0.4.1 | Ejecutar | 0.8.3 |
| visión general de las facetas | 1.1.1 | Farama-Notifications | 0.0.4 | fastjsonschema | 2.19.1 |
| fasttext | 0.9.2 | bloqueo de archivos | 3.9.0 | Matraz | 2.2.5 |
| flatbuffers | 24.3.25 | fonttools | 4.25.0 | frozenlist | 1.3.3 |
| fsspec | 2023.5.0 | futuro | 0.18.3 | Gast | 0.4.0 |
| gitdb | 4.0.11 | GitPython | 3.1.27 | google-api-core | 2.18.0 |
| Google Autenticación | 2.21.0 | google-auth-oauthlib | 1.0.0 | google-cloud-core | 2.4.1 |
| Google Cloud Storage (almacenamiento en la nube de Google) | 2.10.0 | google-crc32c | 1.5.0 | google-pasta | 0.2.0 |
| google-resumable-media (medios reanudables de Google) | 2.7.0 | googleapis-common-protos | 1.63.0 | Greenlet | 2.0.1 |
| grpcio | 1.60.0 | grpcio-status | 1.60.0 | gunicorn | 20.1.0 |
| gviz-api | 1.10.0 | gimnasio | 0.28.1 | h11 | 0.14.0 |
| h5py | 3.10.0 | hjson | 3.1.0 | vacaciones | 0.45 |
| Horovod | 0.28.1+db1 | htmlmin | 0.1.12 | httpcore | 1.0.5 |
| httplib2 | 0.20.2 | httpx | 0.27.0 | huggingface-hub | 0.20.2 |
| idna | 3.4 | Hash de imagen | 4.3.1 | imageio | 2.31.1 |
| aprendizaje con datos desequilibrados | 0.11.0 | importlib-metadata | 6.0.0 | importlib_resources | 6.4.0 |
| ipyflow-core | 0.0.198 | ipykernel | 6.25.1 | ipython | 8.15.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 8.0.4 | isodate | 0.6.1 |
| Es peligroso | 2.0.1 | jax-jumpy | 1.0.0 | Jedi | 0.18.1 |
| jeepney | 0.7.1 | Jinja2 | 3.1.2 | jmespath | 0.10.0 |
| joblib | 1.2.0 | joblibspark | 0.5.1 | jsonpatch | 1.33 |
| jsonpointer | 2,4 | jsonschema | 4.17.3 | servidor Jupyter | 1.23.4 |
| jupyter_client | 7.4.9 | jupyter_core | 5.3.0 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgets | 3.0.5 | keras | 3.1.1 | llavero | 23.5.0 |
| kiwisolver | 1.4.4 | langchain | 0.1.13 | langchain-community | 0.0.32 |
| langchain-core | 0.1.41 | Separadores de texto de langchain | 0.0.1 | códigos de idioma | 3.3.0 |
| langsmith | 0.1.45 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | lazy_loader | 0.2 | libclang | 15.0.6.1 |
| librosa | 0.10.1 | lightgbm | 4.3.0 | llvmlite | 0.40.0 |
| lxml | 4.9.2 | lz4 | 4.3.2 | Mako | 1.2.0 |
| Descuento | 3.4.1 | markdown:it-py | 2.2.0 | MarkupSafe | 2.1.1 |
| malvavisco | 3.21.1 | matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 |
| mdurl | 0.1.0 | Mal sintonizado | 0.8.4 | ml-dtypes | 0.3.2 |
| mlflow-skinny | 2.11.3 | more-itertools | 8.10.0 | mosaicml-streaming | 0.7.4 |
| mpmath | 1.3.0 | MSAL | 1.28.0 | Extensiones MSAL | 1.1.0 |
| msgpack | 1.0.8 | Multidic | 6.0.2 | multimétodo | 1.11.2 |
| Multiproceso | 0.70.14 | murmurhash | 1.0.10 | mypy-extensions | 0.4.3 |
| namex | 0.0.7 | nbclassic | 0.5.5 | nbclient | 0.5.13 |
| nbconvert | 6.5.4 | nbformat | 5.7.0 | nest-asyncio | 1.5.6 |
| networkx | 3.1 | ninja | 1.11.1.1 | NLTK | 3.8.1 |
| cuaderno | 6.5.4 | notebook_shim | 0.2.2 | entumecida | 0.57.1 |
| numpy | 1.23.5 | oauthlib | 3.2.0 | oci | 2.125.2 |
| openai | 1.14.3 | opencensus | 0.11.4 | opencensus-context==0.1.2 | 0.1.3 |
| opt-einsum | 3.3.0 | optree | 0.11.0 | orjson | 3.10.0 |
| embalaje | 23.2 | Pandas | 1.5.3 | PandocFiltros | 1.5.0 |
| paramiko | 3.4.0 | parso | 0.8.3 | pathspec | 0.10.3 |
| chivo expiatorio | 0.5.3 | petastorm | 0.12.1 | pexpect | 4.8.0 |
| phik | 0.12.4 | pickleshare | 0.7.5 | Almohada | 9.4.0 |
| pepita | 23.2.1 | platformdirs | 3.10.0 | trazado | 5.9.0 |
| pmdarima | 2.0.4 | chucho | 1.8.1 | portalocker | 2.8.2 |
| preshed | 3.0.9 | Cliente-Prometeo | 0.14.1 | prompt-toolkit | 3.0.36 |
| profeta | 1.1.5 | proto-plus | 1.23.0 | protobuf | 4.24.1 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | py-cpuinfo | 8.0.0 | py-spy | 0.3.14 |
| pyarrow | 14.0.1 | pyarrow-hotfix | 0.6 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.12.0 | pyccolo | 0.0.52 |
| pycparser | 2.21 | pydantic | 1.10.6 | Pygments | 2.15.1 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | PyNaCl | 1.5.0 |
| pynvml | 11.5.0 | pyodbc | 4.0.38 | pyOpenSSL | 23.2.0 |
| pyparsing | 3.0.9 | pyrsistent | 0.18.0 | pytesseract | 0.3.10 |
| Python-dateutil | 2.8.2 | editor de Python | 1.0.4 | python-lsp-jsonrpc | 1.1.1 |
| python-snappy | 0.6.1 | pytz | 2022.7 | PyWavelets | 1.4.1 |
| PyYAML | 6,0 | pyzmq | 23.2.0 | Ray | 2.10.0 |
| regex | 2022.7.9 | solicitudes | 2.31.0 | requests-oauthlib | 1.3.1 |
| respuestas | 0.13.3 | rico | 13.7.1 | RSA | 4,9 |
| s3transfer | 0.10.1 | safetensors | 0.4.2 | scikit-imagen | 0.20.0 |
| scikit-learn | 1.3.0 | scipy | 1.11.1 | biblioteca de visualización de datos de Python llamada seaborn | 0.12.2 |
| SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | transformadores de frases | 2.6.1 |
| frase | 0.1.99 | setuptools | 68.0.0 | Shap | 0.44.0 |
| simplejson | 3.17.6 | Seis | 1.16.0 | rebanador | 0.0.7 |
| smart-open | 5.2.1 | smmap | 5.0.0 | sniffio | 1.2.0 |
| archivo de sonido | 0.12.1 | colador para sopa | 2,4 | soxr | 0.3.7 |
| spaCy | 3.7.2 | spacy-legacy | 3.0.12 | espacy-loggers | 1.0.5 |
| spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 |
| En serio | 2.4.8 | ssh-import-id | 5.11 | stack-data | 0.2.0 |
| estaño | 0.5.0 | statsmodels (paquete de Python para análisis estadístico) | 0.14.0 | Sintonía | 1.11.1 |
| enredado-up-in-unicode | 0.2.0 | tenacidad | 8.2.2 | Tablero tensorizado | 2.16.2 |
| servidor-de-datos-de-tensorboard | 0.7.2 | tensorboard_plugin_profile | 2.15.1 | tensorboardX | 2.6.2.2 |
| tensorflow-cpu | 2.16.1 | Estimador de TensorFlow | 2.15.0 | tensorflow-io-gcs-filesystem | 0.36.0 |
| termcolor | 2.4.0 | terminado | 0.17.1 | thinc | 8.2.3 |
| threadpoolctl | 2.2.0 | Archivo TIFF | 2021.7.2 | tiktoken | 0.5.2 |
| tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | tokenizadores | 0.15.0 |
| antorcha | 2.2.2+cpu | torcheval | 0.0.7 | antorcha | 0.17.2+cpu |
| tornado | 6.3.2 | tqdm | 4.65.0 | traitlets | 5.7.1 |
| Transformadores | 4.39.2 | typeguard | 2.13.3 | Typer | 0.9.4 |
| inspección de escritura | 0.9.0 | typing_extensions | 4.10.0 | tzdata | 2022.1 |
| ujson | 5.4.0 | actualizaciones desatendidas | 0,1 | urllib3 | 1.26.16 |
| virtualenv | 20.21.0 | Visiones | 0.7.5 | wadllib | 1.3.6 |
| wasabi | 1.1.2 | wcwidth | 0.2.5 | comadreja | 0.3.4 |
| codificaciones web | 0.5.1 | cliente de websocket | 0.58.0 | Werkzeug | 2.2.3 |
| rueda | 0.38.4 | widgetsnbextension | 4.0.5 | nube de palabras | 1.9.3 |
| envuelto | 1.14.1 | xgboost | 2.0.3 | xxhash | 3.4.1 |
| Yarl | 1.8.1 | ydata-profiling | 4.5.1 | zipp | 3.11.0 |
Bibliotecas de Python en clústeres de GPU
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | acelerar | 0.28.0 | aiohttp | 3.8.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | anyio | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | Astor | 0.8.1 |
| "asttokens" | 2.0.5 | astunparse | 1.6.3 | async-timeout | 4.0.2 |
| atributos | 22.1.0 | Audioread | 3.0.1 | azure-core | 1.30.1 |
| azure-cosmos | 4.3.1 | azure-identity | 1.16.0 | azure-storage-blob | 12.19.1 |
| Servicio de Azure Storage File Data Lake | 12.14.0 | llamada de retorno | 0.2.0 | bcrypt | 3.2.0 |
| beautifulsoup4 | 4.12.2 | negro | 23.3.0 | blanquear | 4.1.0 |
| intermitente | 1.4 | felicidad | 0.7.11 | boto3 | 1.34.39 |
| botocore | 1.34.39 | Brotli | 1.0.9 | cachetools | 5.3.3 |
| catálogo | 2.0.10 | codificadores de categorías | 2.6.3 | certifi | 2023.7.22 |
| cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| interruptor automático | 1.4.0 | Haz clic | 8.0.4 | cloudpathlib | 0.16.0 |
| cloudpickle | 2.2.1 | cmdstanpy | 1.2.2 | colorido | 0.5.6 |
| Comm | 0.1.2 | confitería | 0.1.4 | configparser | 5.2.0 |
| contourpy | 1.0.5 | criptografía | 41.0.3 | ciclista | 0.11.0 |
| cymem | 2.0.8 | Cython | 0.29.32 | dacita | 1.8.1 |
| databricks-automl-runtime | 0.2.21 | databricks-feature-engineering (ingeniería de características) | 0.4.0 | SDK de Databricks | 0.20.0 |
| dataclasses-json | 0.6.4 | Conjuntos de datos | 2.18.0 | dbl-tempo | 0.1.26 |
| dbus-python | 1.2.18 | debugpy | 1.6.7 | decorador | 5.1.1 |
| velocidad profunda | 0.14.0 | defusedxml | 0.7.1 | eneldo | 0.3.6 |
| diskcache | 5.6.3 | distlib | 0.3.8 | dm-tree | 0.1.8 |
| einops | 0.7.0 | puntos de entrada | 0,4 | evaluar | 0.4.1 |
| Ejecutar | 0.8.3 | visión general de las facetas | 1.1.1 | Farama-Notifications | 0.0.4 |
| fastjsonschema | 2.19.1 | fasttext | 0.9.2 | bloqueo de archivos | 3.9.0 |
| flash-attn | 2.5.6 | Matraz | 2.2.5 | flatbuffers | 24.3.25 |
| fonttools | 4.25.0 | frozenlist | 1.3.3 | fsspec | 2023.5.0 |
| futuro | 0.18.3 | Gast | 0.4.0 | gitdb | 4.0.11 |
| GitPython | 3.1.27 | google-api-core | 2.18.0 | Google Autenticación | 2.21.0 |
| google-auth-oauthlib | 1.0.0 | google-cloud-core | 2.4.1 | Google Cloud Storage (almacenamiento en la nube de Google) | 2.10.0 |
| google-crc32c | 1.5.0 | google-pasta | 0.2.0 | google-resumable-media (medios reanudables de Google) | 2.7.0 |
| googleapis-common-protos | 1.63.0 | Greenlet | 2.0.1 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| gimnasio | 0.28.1 | h11 | 0.14.0 | h5py | 3.10.0 |
| hjson | 3.1.0 | vacaciones | 0.45 | Horovod | 0.28.1+db1 |
| htmlmin | 0.1.12 | httpcore | 1.0.5 | httplib2 | 0.20.2 |
| httpx | 0.27.0 | huggingface-hub | 0.20.2 | idna | 3.4 |
| Hash de imagen | 4.3.1 | imageio | 2.31.1 | aprendizaje con datos desequilibrados | 0.11.0 |
| importlib-metadata | 6.0.0 | importlib_resources | 6.4.0 | ipyflow-core | 0.0.198 |
| ipykernel | 6.25.1 | ipython | 8.15.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 8.0.4 | isodate | 0.6.1 | Es peligroso | 2.0.1 |
| jax-jumpy | 1.0.0 | Jedi | 0.18.1 | jeepney | 0.7.1 |
| Jinja2 | 3.1.2 | jmespath | 0.10.0 | joblib | 1.2.0 |
| joblibspark | 0.5.1 | jsonpatch | 1.33 | jsonpointer | 2,4 |
| jsonschema | 4.17.3 | servidor Jupyter | 1.23.4 | jupyter_client | 7.4.9 |
| jupyter_core | 5.3.0 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 3.0.5 |
| keras | 3.1.1 | llavero | 23.5.0 | kiwisolver | 1.4.4 |
| langchain | 0.1.13 | langchain-community | 0.0.32 | langchain-core | 0.1.41 |
| Separadores de texto de langchain | 0.0.1 | códigos de idioma | 3.3.0 | langsmith | 0.1.45 |
| launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
| lazy_loader | 0.2 | libclang | 15.0.6.1 | librosa | 0.10.1 |
| lightgbm | 4.3.0 | llvmlite | 0.40.0 | lxml | 4.9.2 |
| lz4 | 4.3.2 | Mako | 1.2.0 | Descuento | 3.4.1 |
| markdown:it-py | 2.2.0 | MarkupSafe | 2.1.1 | malvavisco | 3.21.1 |
| matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 | mdurl | 0.1.0 |
| Mal sintonizado | 0.8.4 | ml-dtypes | 0.3.2 | mlflow-skinny | 2.11.3 |
| more-itertools | 8.10.0 | mosaicml-streaming | 0.7.4 | mpmath | 1.3.0 |
| MSAL | 1.28.0 | Extensiones MSAL | 1.1.0 | msgpack | 1.0.8 |
| Multidic | 6.0.2 | multimétodo | 1.11.2 | Multiproceso | 0.70.14 |
| murmurhash | 1.0.10 | mypy-extensions | 0.4.3 | namex | 0.0.7 |
| nbclassic | 0.5.5 | nbclient | 0.5.13 | nbconvert | 6.5.4 |
| nbformat | 5.7.0 | nest-asyncio | 1.5.6 | networkx | 3.1 |
| ninja | 1.11.1.1 | NLTK | 3.8.1 | cuaderno | 6.5.4 |
| notebook_shim | 0.2.2 | entumecida | 0.57.1 | numpy | 1.23.5 |
| nvidia-cublas-cu12 | 12.1.3.1 | nvidia-cuda-cupti-cu12 | 12.1.105 | nvidia-cuda-nvrtc-cu12 | 12.1.105 |
| nvidia-cuda-runtime-cu12 | 12.1.105 | nvidia-cudnn-cu12 | 8.9.2.26 | nvidia-cufft-cu12 | 11.0.2.54 |
| nvidia-curand-cu12 | 10.3.2.106 | nvidia-cusolver-cu12 | 11.4.5.107 | nvidia-cusparse-cu12 | 12.1.0.106 |
| nvidia-nccl-cu12 | 2.19.3 | nvidia-nvjitlink-cu12 | 12.4.127 | nvidia-nvtx-cu12 | 12.1.105 |
| oauthlib | 3.2.0 | oci | 2.125.2 | openai | 1.14.3 |
| opencensus | 0.11.4 | opencensus-context==0.1.2 | 0.1.3 | opt-einsum | 3.3.0 |
| optree | 0.11.0 | orjson | 3.10.0 | embalaje | 23.2 |
| Pandas | 1.5.3 | PandocFiltros | 1.5.0 | paramiko | 3.4.0 |
| parso | 0.8.3 | pathspec | 0.10.3 | chivo expiatorio | 0.5.3 |
| petastorm | 0.12.1 | pexpect | 4.8.0 | phik | 0.12.4 |
| pickleshare | 0.7.5 | Almohada | 9.4.0 | pepita | 23.2.1 |
| platformdirs | 3.10.0 | trazado | 5.9.0 | pmdarima | 2.0.4 |
| chucho | 1.8.1 | portalocker | 2.8.2 | preshed | 3.0.9 |
| Cliente-Prometeo | 0.14.1 | prompt-toolkit | 3.0.36 | profeta | 1.1.5 |
| proto-plus | 1.23.0 | protobuf | 4.24.1 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| py-cpuinfo | 8.0.0 | py-spy | 0.3.14 | pyarrow | 14.0.1 |
| pyarrow-hotfix | 0.6 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.12.0 | pyccolo | 0.0.52 | pycparser | 2.21 |
| pydantic | 1.10.6 | Pygments | 2.15.1 | PyGObject | 3.42.1 |
| PyJWT | 2.3.0 | PyNaCl | 1.5.0 | pynvml | 11.5.0 |
| pyodbc | 4.0.38 | pyOpenSSL | 23.2.0 | pyparsing | 3.0.9 |
| pyrsistent | 0.18.0 | pytesseract | 0.3.10 | Python-dateutil | 2.8.2 |
| editor de Python | 1.0.4 | python-lsp-jsonrpc | 1.1.1 | python-snappy | 0.6.1 |
| pytz | 2022.7 | PyWavelets | 1.4.1 | PyYAML | 6,0 |
| pyzmq | 23.2.0 | Ray | 2.10.0 | regex | 2022.7.9 |
| solicitudes | 2.31.0 | requests-oauthlib | 1.3.1 | respuestas | 0.13.3 |
| rico | 13.7.1 | RSA | 4,9 | s3transfer | 0.10.1 |
| safetensors | 0.4.2 | scikit-imagen | 0.20.0 | scikit-learn | 1.3.0 |
| scipy | 1.11.1 | biblioteca de visualización de datos de Python llamada seaborn | 0.12.2 | SecretStorage | 3.3.1 |
| Send2Trash | 1.8.0 | transformadores de frases | 2.6.1 | frase | 0.1.99 |
| setuptools | 68.0.0 | Shap | 0.44.0 | simplejson | 3.17.6 |
| Seis | 1.16.0 | rebanador | 0.0.7 | smart-open | 5.2.1 |
| smmap | 5.0.0 | sniffio | 1.2.0 | archivo de sonido | 0.12.1 |
| colador para sopa | 2,4 | soxr | 0.3.7 | spaCy | 3.7.2 |
| spacy-legacy | 3.0.12 | espacy-loggers | 1.0.5 | spark-tensorflow-distributor | 1.0.0 |
| SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 | En serio | 2.4.8 |
| ssh-import-id | 5.11 | stack-data | 0.2.0 | estaño | 0.5.0 |
| statsmodels (paquete de Python para análisis estadístico) | 0.14.0 | Sintonía | 1.11.1 | enredado-up-in-unicode | 0.2.0 |
| tenacidad | 8.2.2 | Tablero tensorizado | 2.16.2 | servidor-de-datos-de-tensorboard | 0.7.2 |
| tensorboard_plugin_profile | 2.15.1 | tensorboardX | 2.6.2.2 | tensorflow | 2.16.1 |
| Estimador de TensorFlow | 2.15.0 | tensorflow-io-gcs-filesystem | 0.36.0 | termcolor | 2.4.0 |
| terminado | 0.17.1 | thinc | 8.2.3 | threadpoolctl | 2.2.0 |
| Archivo TIFF | 2021.7.2 | tiktoken | 0.5.2 | tinycss2 | 1.2.1 |
| tokenize-rt | 4.2.1 | tokenizadores | 0.15.0 | antorcha | 2.2.2+cu121 |
| torcheval | 0.0.7 | antorcha | 0.17.2+cu121 | tornado | 6.3.2 |
| tqdm | 4.65.0 | traitlets | 5.7.1 | Transformadores | 4.39.2 |
| Tritón | 2.2.0 | typeguard | 2.13.3 | Typer | 0.9.4 |
| inspección de escritura | 0.9.0 | typing_extensions | 4.10.0 | tzdata | 2022.1 |
| ujson | 5.4.0 | actualizaciones desatendidas | 0,1 | urllib3 | 1.26.16 |
| virtualenv | 20.21.0 | Visiones | 0.7.5 | wadllib | 1.3.6 |
| wasabi | 1.1.2 | wcwidth | 0.2.5 | comadreja | 0.3.4 |
| codificaciones web | 0.5.1 | cliente de websocket | 0.58.0 | Werkzeug | 2.2.3 |
| rueda | 0.38.4 | widgetsnbextension | 4.0.5 | nube de palabras | 1.9.3 |
| envuelto | 1.14.1 | xgboost | 2.0.3 | xxhash | 3.4.1 |
| Yarl | 1.8.1 | ydata-profiling | 4.5.1 | zipp | 3.11.0 |
| zstd | 1.5.5.1 |
Bibliotecas de R
Las bibliotecas de R son idénticas a las bibliotecas de R en Databricks Runtime 15.2.
Bibliotecas de Java y Scala (clúster de Scala 2.12)
Además de las bibliotecas de Java y Scala en Databricks Runtime 15.2, Databricks Runtime 15.2 ML contiene los siguientes JAR:
Clústeres de CPU
| Identificador de grupo | Id. de artefacto | Versión |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.3-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.11.1 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
Clústeres de GPU
| Identificador de grupo | Id. de artefacto | Versión |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.3-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.11.1 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |