Nuta
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować się zalogować lub zmienić katalog.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Uwaga
Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w temacie Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime).
Środowisko Databricks Runtime 10.1 for Machine Learning zapewnia gotowe do użycia środowisko do uczenia maszynowego i nauki o danych oparte na środowisku Databricks Runtime 10.1 (EoS). Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Obsługuje również trenowanie rozproszonego uczenia głębokiego przy użyciu struktury Horovod.
Aby uzyskać więcej informacji, w tym instrukcje dotyczące tworzenia klastra uczenia maszynowego usługi Databricks Runtime, zobacz Sztuczna inteligencja i uczenie maszynowe w usłudze Databricks.
Nowe funkcje i ulepszenia
Środowisko Databricks Runtime 10.1 ML jest oparte na środowisku Databricks Runtime 10.1. pl-PL: Aby uzyskać informacje o nowościach w Databricks Runtime 10.1, w tym Apache Spark MLlib i SparkR, zobacz Databricks Runtime 10.1 (EoS) release notes.
Ulepszenia rozwiązania AutoML
W środowisku Databricks Runtime 10.1 rozwiązanie AutoML obejmuje ulepszone wykrywanie typów semantycznych, nowe alerty dotyczące potencjalnych problemów z danymi podczas trenowania, nowe możliwości zapobiegania nadmiernemu dopasowaniu modeli oraz możliwość dzielenia wejściowego zestawu danych na trenowanie, walidację i zestawy testów chronologicznie.
Dodatkowe wykrycia typów semantycznych
Rozwiązanie AutoML obsługuje teraz dodatkowe wykrywanie typów semantycznych:
- Kolumny liczbowe zawierające etykiety kategorii są traktowane jako typ kategorii.
- Kolumny ciągów zawierające tekst w języku angielskim są traktowane jako funkcja tekstowa.
Teraz możesz również dodać adnotacje, aby określić typ danych kolumny. Aby uzyskać szczegółowe informacje, zobacz Wykrywanie typu semantycznego.
Alerty podczas trenowania potencjalnych problemów z danymi
Rozwiązanie AutoML wykrywa teraz i generuje alerty dotyczące potencjalnych problemów z zestawem danych. Przykładowe alerty obejmują nieobsługiwane typy kolumn i kolumny o wysokiej kardynalności. Te alerty są wyświetlane na stronie eksperymentu na nowej karcie Alerty . Dodatkowe informacje o alertach znajdują się w notesie eksploracji danych. Aby uzyskać więcej informacji, zobacz Uruchamianie eksperymentu i monitorowanie wyników.
Zmniejszenie nadmiernego dopasowania modelu
Dwie nowe możliwości zmniejszają prawdopodobieństwo nadmiernego dopasowania modelu podczas korzystania z rozwiązania AutoML:
- Rozwiązanie AutoML raportuje teraz metryki testowe w dodatkowych metrykach weryfikacji i trenowania.
- Rozwiązanie AutoML używa teraz wczesnego zatrzymywania. Zatrzymuje trenowanie i dostrajanie modeli, jeśli metryka walidacji nie jest już ulepszana.
Podziel zestaw danych na zestawy trenowania/walidacji/testowania chronologicznie
W przypadku problemów klasyfikacji i regresji można podzielić zestaw danych na zestawy trenowania, walidacji i testowania chronologicznie. Aby uzyskać szczegółowe informacje, zobacz Dzielenie danych na trenowanie, walidację i zestawy testów.
Ulepszenia magazynu funkcji usługi Databricks
Magazyn funkcji usługi Databricks obsługuje teraz dodatkowe typy danych dla tabel funkcji: BinaryType, DecimalTypei MapType.
Przepływ uczenia maszynowego
Poniższe ulepszenia są dostępne począwszy od platformy MLflow w wersji 1.21.0, która jest zawarta w środowisku Databricks Runtime 10.1 ML.
- [Modele] Uaktualnij wariant modelu,
fastaiaby obsługiwać wersję fastai w wersji 2 (2.4.1 lub nowszej). - [Modele] Wprowadzenie do modelu mlflow.prophet dla modeli szeregów czasowych Proroka.
- [Ocenianie] Napraw błąd wymuszania schematu, który niepoprawnie rzutuje ciągi podobne do daty/godziny do obiektów datetime.
Funkcja Hyperopt
SparkTrials teraz obsługuje parametr dla parametru early_stopping_fnfmin. Za pomocą funkcji wczesnego zatrzymywania można określić warunki, gdy funkcja Hyperopt powinna zatrzymać dostrajanie hiperparametrów przed osiągnięciem maksymalnej liczby ocen. Na przykład można użyć tego parametru, aby zakończyć dostrajanie, jeśli funkcja celu nie będzie już maleć. Aby uzyskać szczegółowe informacje, zobacz fmin().
Istotne zmiany w środowisku języka Python środowiska Databricks Runtime ML
Uaktualnione pakiety języka Python
- automl 1.3.1 => 1.4.1
- feature_store 0.3.4 => 0.3.5
- dni wolne 0.11.2 => 0.11.3.1
- horovod 0.22.1 => 0.23.0
- hyperopt 0.2.5.db2 => 0.2.5.db4
- niezrównoważony-learn 0.8.0 => 0.8.1
- lightgbm 3.1.1 => 3.3.0
- mlflow 1.20.2 => 1.21.0
- petastorm 0.11.2 => 0.11.3
- plotly 5.1.0 => 5.3.0
- pytorch 1.9.0 => 1.9.1
- spacy 3.1.2 => 3.1.3
- sparkdl 2.2.0_db3 => 2.2.0_db4
- torchvision 0.10.0 => 0.10.1
- transformatory 4.9.2 => 4.11.3
Dodane pakiety języka Python
- fasttext => 0.9.2
- tensorboard-plugin-profile => 2.5.0
Przestarzałe elementy
Zautomatyzowane śledzenie MLflow MLlib jest przestarzałe w klastrach z uruchomionym środowiskiem Databricks Runtime 10.1 ML lub nowszym. Zamiast tego użyj automatycznego rejestrowania uczenia maszynowego MLflow PySpark, wywołując metodę mlflow.pyspark.ml.autolog(). Automatyczne rejestrowanie jest domyślnie włączone w usłudze Databricks Autologging.
Środowisko systemu
Środowisko systemowe w środowisku Databricks Runtime 10.1 ML różni się od środowiska Databricks Runtime 10.1 w następujący sposób:
-
DBUtils: Środowisko uruchomieniowe Databricks Runtime ML nie zawiera narzędzia biblioteki (dbutils.library) (starsza wersja).
Zamiast tego użyj
%pippoleceń. Zobacz Biblioteki języka Python o zakresie notesu. - W przypadku klastrów gpu środowisko Databricks Runtime ML obejmuje następujące biblioteki procesora GPU FIRMY NVIDIA:
- CUDA 11.0
- cuDNN 8.0.5.39
- NCCL 2.10.3
- TensorRT 7.2.2
Biblioteki
W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 10.1 ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 10.1.
W tej sekcji:
- Biblioteki najwyższego poziomu
- Biblioteki języka Python
- Biblioteki języka R
- Biblioteki Java i Scala (klaster Scala 2.12)
Biblioteki najwyższego poziomu
Środowisko Databricks Runtime 10.1 ML obejmuje następujące biblioteki najwyższego poziomu:
- Ramki programu Graph
- Horovod i HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector (konektor dla integracji Spark i TensorFlow)
- TensorFlow
- TensorBoard
Biblioteki języka Python
Środowisko Databricks Runtime 10.1 ML używa usługi Virtualenv do zarządzania pakietami języka Python i zawiera wiele popularnych pakietów uczenia maszynowego.
Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 10.1 ML zawiera również następujące pakiety:
- hyperopt 0.2.5.db4
- sparkdl 2.2.0-db4
- feature_store 0.3.5
- automl 1.4.0
Uwaga
Środowisko Databricks Runtime 10.1 ML zawiera bibliotekę scikit-learn w wersji 0.24 zamiast wersji 1.0 z powodu problemów z niezgodnością. Pakiet scikit-learn współdziała z wieloma innymi pakietami w środowisku Databricks Runtime 10.1 ML.
Możesz przeprowadzić uaktualnienie do biblioteki scikit-learn w wersji 1.0; jednak usługa Databricks nie obsługuje tej wersji.
Aby uaktualnić, użyj bibliotek o zakresie notesu. W notesie uruchom polecenie %pip install --upgrade "scikit-learn>=1.0,<1.1".
Alternatywą jest użycie tego skryptu inicjowania klastra:
#!/bin/bash
set -e
pip install --upgrade "scikit-learn>=1.0,<1.1"
Biblioteki języka Python w klastrach procesora CPU
| Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
|---|---|---|---|---|---|
| absl-py | 0.11.0 | Antergos Linux | 2015.10 (rolling ISO) | appdirs | 1.4.4 |
| argon2-cffi | 20.1.0 | Astor | 0.8.1 | astunparse | 1.6.3 |
| generator asynchroniczny | 1.10 | attrs | 20.3.0 | Wezwanie zwrotne | 0.2.0 |
| bcrypt | 3.2.0 | wybielacz | 3.3.0 | błogość | 0.7.4 |
| boto3 | 1.16.7 | botocore | 1.19.7 | cachetools (narzędzia do zarządzania pamięcią podręczną) | 4.2.4 |
| katalog | 2.0.6 | certyfikat | 2020.12.5 | cffi | 1.14.5 |
| chardet | 4.0.0 | brzęczeć | 5,0 | kliknięcie | 7.1.2 |
| cloudpickle (biblioteka Python do serializacji obiektów) | 1.6.0 | cmdstanpy | 0.9.68 | configparser | 5.0.1 |
| konwertuj | 2.3.2 | kryptografia | 3.4.7 | rowerzysta | 0.10.0 |
| cymem | 2.0.5 | Cython | 0.29.23 | databricks-automl-runtime | 0.2.3 |
| databricks-cli | 0.14.3 | dbus-python | 1.2.16 | dekorator | 5.0.6 |
| defusedxml (biblioteka zabezpieczająca przetwarzanie XML) | 0.7.1 | koper | 0.3.2 | bufor dyskowy | 5.2.1 |
| distlib | 0.3.3 | dystrybucja informacji | 0.23ubuntu1 | punkty wejścia | 0,3 |
| efem | 4.1 | aspekty — omówienie | 1.0.0 | FastText | 0.9.2 |
| blokada plików | 3.0.12 | Flask | 1.1.2 | flatbuffers | 1.12 |
| fsspec | 0.9.0 | przyszłość | 0.18.2 | Gast | 0.4.0 |
| gitdb (baza danych Git) | 4.0.7 | GitPython | 3.1.12 | google-auth (autoryzacja Google) | 1.22.1 |
| google-auth-oauthlib (biblioteka uwierzytelniania OAuth dla Google) | 0.4.2 | makaron google | 0.2.0 | grpcio | 1.39.0 |
| gunicorn | 20.0.4 | Gviz-API | 1.10.0 | h5py | 3.1.0 |
| konwerter hidżri | 2.2.2 | wakacje | 0.11.3.1 | korowód | 0.23.0 |
| htmlmin | 0.1.12 | przytulanieface-hub | 0.0.19 | IDNA | 2.10 |
| ImageHash | 4.2.1 | niezrównoważona nauka | 0.8.1 | importlib-metadata | 3.10.0 |
| ipykernel | 5.3.4 | ipython | 7.22.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.6.3 | isodate | 0.6.0 | jegodangerous | 1.1.0 |
| Jedi | 0.17.2 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.0.1 | joblibspark | 0.3.0 | jsonschema | 3.2.0 |
| jupyter-client | 6.1.12 | jupyter-core | 4.7.1 | jupyterlab-pygments | 0.1.2 |
| Widżety JupyterLab | 1.0.0 | Keras | 2.6.0 | Przetwarzanie wstępne protokołu Keras | 1.1.2 |
| kiwisolver | 1.3.1 | Koale | 1.8.2 | koreański kalendarz księżycowy | 0.2.1 |
| lightgbm | 3.3.0 | llvmlite | 0.37.0 | KsiężycowyCalendar | 0.0.9 |
| Mako | 1.1.3 | Markdown | 3.3.3 | MarkupSafe | 2.0.1 |
| biblioteka matplotlib | 3.4.2 | missingno (błąd w grze Pokémon) | 0.5.0 | Mistune | 0.8.4 |
| mleap | 0.18.1 | mlflow-skinny | 1.21.0 | wielometoda | 1.6 |
| szmurhash | 1.0.5 | NBClient | 0.5.3 | nbconvert - narzędzie do konwersji plików Jupyter Notebook | 6.0.7 |
| nbformat | 5.1.3 | nest-asyncio | 1.5.1 | networkx | 2,5 |
| Natural Language Toolkit (nltk) | 3.6.1 | notes | 6.3.0 | numba | 0.54.1 |
| numpy | 1.19.2 | oauthlib | 3.1.0 | opt-einsum | 3.3.0 |
| opakowanie | 20.9 | Pandas | 1.2.4 | Profilowanie biblioteki pandas | 3.1.0 |
| pandocfilters | 1.4.3 | paramiko - biblioteka do protokołu SSH2 dla języka Python | 2.7.2 | parso | 0.7.0 |
| patia | 0.6.0 | Patsy | 0.5.1 | petastorm | 0.11.3 |
| pexpect | 4.8.0 | phik | 0.12.0 | pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) | 0.7.5 |
| Poduszka | 8.2.0 | pip (menedżer pakietów Pythona) | 21.0.1 | kreślenie | 5.3.0 |
| przeszhetowany | 3.0.5 | prometheus-client | 0.10.1 | zestaw narzędzi prompt | 3.0.17 |
| prorok | 1.0.1 | Protobuf (w skrócie od Protocol Buffers) | 3.17.2 | psutil | 5.8.0 |
| psycopg2 | 2.8.5 | ptyprocess | 0.7.0 | pyarrow | 4.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 2.8.0 |
| pycparser | 2,20 | pydantic (biblioteka Python do walidacji danych i zarządzania ustawieniami) | 1.8.2 | Pygments | 2.8.1 |
| PyGObject | 3.36.0 | PyMeeus | 0.5.11 | PyNaCl | 1.4.0 |
| pyodbc | 4.0.30 | pyparsing – biblioteka do przetwarzania tekstu w Pythonie | 2.4.7 | pirstent | 0.17.3 |
| pystan | 2.19.1.1 | python-apt | 2.0.0+ubuntu0.20.4.6 | python-dateutil (biblioteka Pythona do zarządzania datami) | 2.8.1 |
| Python-editor | 1.0.4 | pytz (biblioteka Pythona do obliczeń stref czasowych) | 2020.5 | PyWavelets | 1.1.1 |
| PyYAML | 5.4.1 | pyzmq | 20.0.0 | wyrażenie regularne | 2021.4.4 |
| żądania | 2.25.1 | requests-oauthlib | 1.3.0 | requests-unixsocket | 0.2.0 |
| RSA | 4.7.2 | s3transfer | 0.3.7 | sacremoses | 0.0.46 |
| scikit-learn | 0.24.1 | scipy (biblioteka naukowa dla Pythona) | 1.6.2 | urodzony na morzu | 0.11.1 |
| Send2Trash | 1.5.0 | setuptools | 52.0.0 | setuptools-git | 1.2 |
| Shap | 0.39.0 | simplejson | 3.17.2 | Sześć | 1.15.0 |
| fragmentator | 0.0.7 | inteligentne-otwarcie | 5.2.0 | smmap | 3.0.5 |
| przestronny | 3.1.3 | spacy-legacy | 3.0.8 | spark-tensorflow-distributor (biblioteka do dystrybucji TensorFlow w Spark) | 1.0.0 |
| sqlparse | 0.4.1 | serio | 2.4.1 | ssh-import-id (narzędzie do importowania kluczy SSH) | 5.10 |
| statsmodels - biblioteka do modelowania statystycznego | 0.12.2 | tabulacji | 0.8.7 | splątane-up-in-unicode | 0.1.0 |
| Wytrzymałość | 6.2.0 | tablica tensorboard | 2.6.0 | serwer danych TensorBoard | 0.6.1 |
| wtyczka TensorBoard do profilowania | 2.5.0 | wtyczka-tensorboard-wit | 1.8.0 | tensorflow-cpu | 2.6.0 |
| tensorflow-estimator (moduł TensorFlow do estymacji) | 2.6.0 | termcolor (narzędzie do zarządzania kolorami w terminalu) | 1.1.0 | zakończony | 0.9.4 |
| ścieżka testowa | 0.4.4 | cienki | 8.0.9 | threadpoolctl | 2.1.0 |
| tokenizatory | 0.10.3 | pochodnia | 1.9.1+ procesor | TorchVision (Wizja Pochodni | 0.10.1+procesor |
| tornado | 6.1 | tqdm | 4.59.0 | traitlety | 5.0.5 |
| Transformatory | 4.11.3 | pisarz | 0.3.2 | wpisywanie rozszerzeń | 3.7.4.3 |
| ujson (szybka biblioteka do obsługi formatu JSON) | 4.0.2 | nienadzorowane uaktualnienia | 0.1 | urllib3 | 1.25.11 |
| virtualenv | 20.4.1 | Wizje | 0.7.4 | wasabi | 0.8.2 |
| szerokość(wcwidth) | 0.2.5 | kodowania webowe | 0.5.1 | websocket-klient | 0.57.0 |
| Narzędzie | 1.0.1 | wheel | 0.36.2 | widgetsnbextension | 3.5.1 |
| zawijanie | 1.12.1 | xgboost | 1.4.2 | zamek błyskawiczny | 3.4.1 |
Biblioteki języka Python w klastrach gpu
| Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
|---|---|---|---|---|---|
| absl-py | 0.11.0 | Antergos Linux | 2015.10 (rolling ISO) | appdirs | 1.4.4 |
| argon2-cffi | 20.1.0 | Astor | 0.8.1 | astunparse | 1.6.3 |
| generator asynchroniczny | 1.10 | attrs | 20.3.0 | Wezwanie zwrotne | 0.2.0 |
| bcrypt | 3.2.0 | wybielacz | 3.3.0 | błogość | 0.7.4 |
| boto3 | 1.16.7 | botocore | 1.19.7 | cachetools (narzędzia do zarządzania pamięcią podręczną) | 4.2.4 |
| katalog | 2.0.6 | certyfikat | 2020.12.5 | cffi | 1.14.5 |
| chardet | 4.0.0 | brzęczeć | 5,0 | kliknięcie | 7.1.2 |
| cloudpickle (biblioteka Python do serializacji obiektów) | 1.6.0 | cmdstanpy | 0.9.68 | configparser | 5.0.1 |
| konwertuj | 2.3.2 | kryptografia | 3.4.7 | rowerzysta | 0.10.0 |
| cymem | 2.0.5 | Cython | 0.29.23 | databricks-automl-runtime | 0.2.3 |
| databricks-cli | 0.14.3 | dbus-python | 1.2.16 | dekorator | 5.0.6 |
| defusedxml (biblioteka zabezpieczająca przetwarzanie XML) | 0.7.1 | koper | 0.3.2 | bufor dyskowy | 5.2.1 |
| distlib | 0.3.3 | dystrybucja informacji | 0.23ubuntu1 | punkty wejścia | 0,3 |
| efem | 4.1 | aspekty — omówienie | 1.0.0 | FastText | 0.9.2 |
| blokada plików | 3.0.12 | Flask | 1.1.2 | flatbuffers | 1.12 |
| fsspec | 0.9.0 | przyszłość | 0.18.2 | Gast | 0.4.0 |
| gitdb (baza danych Git) | 4.0.7 | GitPython | 3.1.12 | google-auth (autoryzacja Google) | 1.22.1 |
| google-auth-oauthlib (biblioteka uwierzytelniania OAuth dla Google) | 0.4.2 | makaron google | 0.2.0 | grpcio | 1.39.0 |
| gunicorn | 20.0.4 | Gviz-API | 1.10.0 | h5py | 3.1.0 |
| konwerter hidżri | 2.2.2 | wakacje | 0.11.3.1 | korowód | 0.23.0 |
| htmlmin | 0.1.12 | przytulanieface-hub | 0.0.19 | IDNA | 2.10 |
| ImageHash | 4.2.1 | niezrównoważona nauka | 0.8.1 | importlib-metadata | 3.10.0 |
| ipykernel | 5.3.4 | ipython | 7.22.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.6.3 | isodate | 0.6.0 | jegodangerous | 1.1.0 |
| Jedi | 0.17.2 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.0.1 | joblibspark | 0.3.0 | jsonschema | 3.2.0 |
| jupyter-client | 6.1.12 | jupyter-core | 4.7.1 | jupyterlab-pygments | 0.1.2 |
| Widżety JupyterLab | 1.0.0 | Keras | 2.6.0 | Przetwarzanie wstępne protokołu Keras | 1.1.2 |
| kiwisolver | 1.3.1 | Koale | 1.8.2 | koreański kalendarz księżycowy | 0.2.1 |
| lightgbm | 3.3.0 | llvmlite | 0.37.0 | KsiężycowyCalendar | 0.0.9 |
| Mako | 1.1.3 | Markdown | 3.3.3 | MarkupSafe | 2.0.1 |
| biblioteka matplotlib | 3.4.2 | missingno (błąd w grze Pokémon) | 0.5.0 | Mistune | 0.8.4 |
| mleap | 0.18.1 | mlflow-skinny | 1.21.0 | wielometoda | 1.6 |
| szmurhash | 1.0.5 | NBClient | 0.5.3 | nbconvert - narzędzie do konwersji plików Jupyter Notebook | 6.0.7 |
| nbformat | 5.1.3 | nest-asyncio | 1.5.1 | networkx | 2,5 |
| Natural Language Toolkit (nltk) | 3.6.1 | notes | 6.3.0 | numba | 0.54.1 |
| numpy | 1.19.2 | oauthlib | 3.1.0 | opt-einsum | 3.3.0 |
| opakowanie | 20.9 | Pandas | 1.2.4 | Profilowanie biblioteki pandas | 3.1.0 |
| pandocfilters | 1.4.3 | paramiko - biblioteka do protokołu SSH2 dla języka Python | 2.7.2 | parso | 0.7.0 |
| patia | 0.6.0 | Patsy | 0.5.1 | petastorm | 0.11.3 |
| pexpect | 4.8.0 | phik | 0.12.0 | pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) | 0.7.5 |
| Poduszka | 8.2.0 | pip (menedżer pakietów Pythona) | 21.0.1 | kreślenie | 5.3.0 |
| przeszhetowany | 3.0.5 | zestaw narzędzi prompt | 3.0.17 | prorok | 1.0.1 |
| Protobuf (w skrócie od Protocol Buffers) | 3.17.2 | psutil | 5.8.0 | psycopg2 | 2.8.5 |
| ptyprocess | 0.7.0 | pyarrow | 4.0.0 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.8.1 | pycparser | 2,20 |
| pydantic (biblioteka Python do walidacji danych i zarządzania ustawieniami) | 1.8.2 | Pygments | 2.8.1 | PyGObject | 3.36.0 |
| PyMeeus | 0.5.11 | PyNaCl | 1.4.0 | pyodbc | 4.0.30 |
| pyparsing – biblioteka do przetwarzania tekstu w Pythonie | 2.4.7 | pirstent | 0.17.3 | pystan | 2.19.1.1 |
| python-apt | 2.0.0+ubuntu0.20.4.6 | python-dateutil (biblioteka Pythona do zarządzania datami) | 2.8.1 | Python-editor | 1.0.4 |
| pytz (biblioteka Pythona do obliczeń stref czasowych) | 2020.5 | PyWavelets | 1.1.1 | PyYAML | 5.4.1 |
| pyzmq | 20.0.0 | wyrażenie regularne | 2021.4.4 | żądania | 2.25.1 |
| requests-oauthlib | 1.3.0 | requests-unixsocket | 0.2.0 | RSA | 4.7.2 |
| s3transfer | 0.3.7 | sacremoses | 0.0.46 | scikit-learn | 0.24.1 |
| scipy (biblioteka naukowa dla Pythona) | 1.6.2 | urodzony na morzu | 0.11.1 | Send2Trash | 1.5.0 |
| setuptools | 52.0.0 | setuptools-git | 1.2 | Shap | 0.39.0 |
| simplejson | 3.17.2 | Sześć | 1.15.0 | fragmentator | 0.0.7 |
| inteligentne-otwarcie | 5.2.0 | smmap | 3.0.5 | przestronny | 3.1.3 |
| spacy-legacy | 3.0.8 | spark-tensorflow-distributor (biblioteka do dystrybucji TensorFlow w Spark) | 1.0.0 | sqlparse | 0.4.1 |
| serio | 2.4.1 | ssh-import-id (narzędzie do importowania kluczy SSH) | 5.10 | statsmodels - biblioteka do modelowania statystycznego | 0.12.2 |
| tabulacji | 0.8.7 | splątane-up-in-unicode | 0.1.0 | Wytrzymałość | 6.2.0 |
| tablica tensorboard | 2.6.0 | serwer danych TensorBoard | 0.6.1 | wtyczka TensorBoard do profilowania | 2.5.0 |
| wtyczka-tensorboard-wit | 1.8.0 | TensorFlow | 2.6.0 | tensorflow-estimator (moduł TensorFlow do estymacji) | 2.6.0 |
| termcolor (narzędzie do zarządzania kolorami w terminalu) | 1.1.0 | zakończony | 0.9.4 | ścieżka testowa | 0.4.4 |
| cienki | 8.0.9 | threadpoolctl | 2.1.0 | tokenizatory | 0.10.3 |
| pochodnia | 1.9.1+cu111 | TorchVision (Wizja Pochodni | 0.10.1+cu111 | tornado | 6.1 |
| tqdm | 4.59.0 | traitlety | 5.0.5 | Transformatory | 4.11.3 |
| pisarz | 0.3.2 | wpisywanie rozszerzeń | 3.7.4.3 | ujson (szybka biblioteka do obsługi formatu JSON) | 4.0.2 |
| nienadzorowane uaktualnienia | 0.1 | urllib3 | 1.25.11 | virtualenv | 20.4.1 |
| Wizje | 0.7.4 | wasabi | 0.8.2 | szerokość(wcwidth) | 0.2.5 |
| kodowania webowe | 0.5.1 | websocket-klient | 0.57.0 | Narzędzie | 1.0.1 |
| wheel | 0.36.2 | widgetsnbextension | 3.5.1 | zawijanie | 1.12.1 |
| xgboost | 1.4.2 | zamek błyskawiczny | 3.4.1 |
Pakiety platformy Spark zawierające moduły języka Python
| Pakiet Platformy Spark | Moduł języka Python | Wersja |
|---|---|---|
| ramki grafu | ramki grafu | 0.8.2-db1-spark3.2 |
Biblioteki R
Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 10.1.
Biblioteki Java i Scala (klaster Scala 2.12)
Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 10.1 środowisko Databricks Runtime 10.1 ML zawiera następujące dane JAR:
Klastry procesora CPU
| Identyfikator grupy | Identyfikator artefaktu | Wersja |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.17.0-4882dc3 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.4.1 |
| ml.dmlc | xgboost4j_2.12 | 1.4.1 |
| org.graphframes | graphframes_2.12 | 0.8.1-db6-spark3.2 |
| org.mlflow | mlflow-client | 1.20.2 |
| org.mlflow | mlflow-spark | 1.20.2 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
Klastry procesora GPU
| Identyfikator grupy | Identyfikator artefaktu | Wersja |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.18.1-23eb1ef |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.4.1 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.4.1-spark3.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.21.0 |
| org.mlflow | mlflow-spark | 1.21.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |