Nuta
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować się zalogować lub zmienić katalog.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
W tym artykule opisano informacje o środowisku systemowym dla środowiska bezserwerowego w wersji 4.
Aby zapewnić zgodność aplikacji, obciążenia bezserwerowe używają interfejsu API w wersji znanej jako wersja środowiska, która pozostaje zgodna z nowszymi wersjami serwera.
Możesz wybrać wersję środowiska przy użyciu panelu bocznego Środowisko w notesach bezserwerowych. Zobacz Wybieranie wersji środowiska.
Nowe funkcje i ulepszenia
Następujące nowe funkcje i ulepszenia są dostępne w środowisku bezserwerowym 4.
Obsługa uczenia maszynowego platformy Spark w obliczeniach bezserwerowych
Obliczenia bezserwerowe obsługują teraz platformę Spark ML w programie PySpark (pyspark.ml) i MLflow dla platformy Spark (mlflow.spark) w środowisku w wersji 4. W przypadku dostrajania hiperparametrów w obliczeniach bezserwerowych usługa Databricks zaleca korzystanie z platformy Optuna i Joblib Spark.
Podczas uruchamiania języka SparkML na obliczeniach bezserwerowych obowiązują następujące ograniczenia:
- Maksymalny rozmiar modelu to 100 MB.
- Maksymalny całkowity rozmiar modeli w pamięci na sesję wynosi 1 GB.
- Trenowanie modelu drzewa zatrzymuje się wcześnie, jeśli rozmiar modelu ma przekroczyć 100 MB.
- Następujące modele SparkML nie są obsługiwane:
- DistributedLDAModel
- FPGrowthModel
Skalarne funkcje zdefiniowane przez użytkownika języka Python obsługują teraz poświadczenia usługi
Scalar Python UDF umożliwia bezpieczne uzyskiwanie dostępu do zewnętrznych usług w chmurze przy użyciu poświadczeń usługi wykazu aparatu Unity. Aby uzyskać więcej informacji, zobacz Poświadczenia usługi w scalar Python UDF.
PySpark i Spark Connect obsługują teraz interfejs API ramek df.mergeInto danych
PySpark i Spark Connect obsługują df.mergeInto teraz interfejs API, który był wcześniej dostępny tylko dla języka Scala.
Aktualizacje interfejsu API
Środowisko bezserwerowe 4 zawiera następujące aktualizacje interfejsu API:
-
SPARK-50915 Dodawanie
getConditioni oznaczanie jako przestarzałegetErrorClassPySparkException -
SPARK-50719 Obsługa
interruptOperationprogramu PySpark -
SPARK-50718 Obsługa
addArtifact(s)programu PySpark - SPARK-49530 Obsługa podplodów kołowych na wykresie PySpark
-
SPARK-50357 Obsługa
Interrupt(Tag|All)interfejsów API dla rozwiązania PySpark -
SPARK-51178 Zgłoś prawidłowy błąd PySpark zamiast
SparkConnectGrpcException -
SPARK-51227 Naprawiono połączenie PySpark z
_minimum_grpc_versionprogramem 1.67.0 -
SPARK-50778 Dodawanie
metadataColumndo ramki danych PySpark -
SPARK-50311 Obsługa
(add|remove|get|clear)Tag(s)interfejsów API dla rozwiązania PySpark -
SPARK-50310 Dodawanie flagi do wyłączenia
DataFrameQueryContextdla programu PySpark - SPARK-50238 Dodawanie obsługi wariantów w funkcjach zdefiniowanych przez użytkownika PySpark/udTFs/UDAFs i UC UC w języku Python
- SPARK-50183 Ujednolicenie funkcji wewnętrznych dla interfejsu API biblioteki Pandas i funkcji PySpark Plotting
-
SPARK-50170 Przenieś
_invoke_internal_function_over_columnsdopyspark.sql.utils - SPARK-50167 Ulepszanie kreślenia komunikatów o błędach i importowania przez narzędzie PySpark
-
SPARK-48961 Ustaw nazwę parametru na spójną
PySparkExceptionz maszyną JVM - SPARK-49567 Używanie klasycznego zamiast wanilii z bazy kodu PySpark
-
SPARK-48755
transformWithStateImplementacjaValueStatei obsługa bazy PySpark -
SPARK-48714 Implementowanie
DataFrame.mergeIntow narzędziu PySpark -
SPARK-47365 Dodawanie
toArrow()metody ramki danych do programu PySpark - SPARK-48075 Sprawdzanie typów funkcji PySpark avro
-
SPARK-46984 Usunąć
pyspark.copy_func -
SPARK-46213 Wprowadzenie
PySparkImportErrordo struktury błędów -
SPARK-46226 Migrowanie wszystkich pozostałych
RuntimeErrordo platformy błędów PySpark -
SPARK-45450 Napraw import zgodnie z PEP8:
pyspark.pandasipyspark(core)
Środowisko systemu
- System operacyjny: Ubuntu 24.04.2 LTS
- Python: 3.12.3
-
Databricks Connect: 17 (Usługa Databricks Connect jest stale aktualizowana w najnowszej wersji środowiska bezserwerowego. Uruchom polecenie
pip list, aby potwierdzić dokładną wersję w bieżącym środowisku). - Scala: 2.13.16
- JDK: 17
Zainstalowane biblioteki języka Python
Aby odtworzyć środowisko bezserwerowe 4 w lokalnym środowisku wirtualnym języka Python, pobierz plik requirements-env-4.txt i uruchom polecenie pip install -r requirements-env-4.txt. To polecenie instaluje wszystkie biblioteki open source ze środowiska bezserwerowego 4.
| Library | wersja | Library | wersja | Library | wersja |
|---|---|---|---|---|---|
| typy z adnotacjami | 0.7.0 | anyio | 4.6.2 | argon2-cffi | 21.3.0 |
| argon2-cffi-bindings | 21.2.0 | strzała | 1.3.0 | asttokens | 2.0.5 |
| astunparse | 1.6.3 | async-lru | 2.0.4 | attrs | 24.3.0 |
| autopolecenia | 2.2.2 | typowe dla platformy Azure | 1.1.28 | azure-core | 1.34.0 |
| azure-identity | 1.20.0 | azure-mgmt-core | 1.5.0 | azure-mgmt-web | 8.0.0 |
| azure-storage-blob | 12.23.0 | azure-storage-file-datalake | 12.17.0 | Babel | 2.16.0 |
| backports.tarfile | 1.2.0 | beautifulsoup4 | 4.12.3 | czarny | 24.10.0 |
| wybielacz | 6.2.0 | kierunkowskaz | 1.7.0 | boto3 | 1.36.2 |
| botocore | 1.36.3 | cachetools | 5.5.1 | certyfikat | 2025.1.31 |
| cffi | 1.17.1 | chardet | 4.0.0 | charset-normalizer | 3.3.2 |
| klikać | 8.1.7 | cloudpickle (biblioteka Python do serializacji obiektów) | 3.0.0 | Comm | 0.2.1 |
| konturowy | 1.3.1 | kryptografia | 43.0.3 | rowerzysta | 0.11.0 |
| Cython | 3.0.12 | databricks-connect | 17.2.3 | databricks-sdk | 0.49.0 |
| dbus-python | 1.3.2 | debugpy | 1.8.11 | dekorator | 5.1.1 |
| defusedxml | 0.7.1 | Deprecated | 1.2.13 | distlib | 0.3.9 |
| docstring-to-markdown | 0.11 | Wykonywanie | 0.8.3 | aspekty — omówienie | 1.1.1 |
| fastapi | 0.115.12 | fastjsonschema | 2.21.1 | filelock | 3.18.0 |
| fonttools | 4.55.3 | Fqdn | 1.5.1 | fsspec | 2023.5.0 |
| gitdb | 4.0.11 | GitPython | 3.1.43 | google-api-core | 2.20.0 |
| google-auth | 2.40.0 | google-cloud-core | 2.4.3 | google-cloud-storage | 3.1.0 |
| google-crc32c | 1.7.1 | google-resumable-media | 2.7.2 | googleapis-common-protos | 1.65.0 |
| grpcio | 1.67.0 | stan obiektu grpcio | 1.67.0 | h11 | 0.14.0 |
| httpcore | 1.0.2 | httplib2 | 0.20.4 | httpx | 0.27.0 |
| IDNA | 3.7 | importlib-metadata | 6.6.0 | importlib_resources | 6.4.0 |
| odchylić | 7.3.1 | iniconfig | 1.1.1 | ipyflow-core | 0.0.209 |
| ipykernel | 6.29.5 | ipython | 8.30.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.8.1 | isodate | 0.6.1 | isoduration | 20.11.0 |
| jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 |
| jedi | 0.19.2 | Jinja2 | 3.1.5 | jmespath | 1.0.1 |
| joblib | 1.4.2 | json5 | 0.9.25 | jsonpointer | 3.0.0 |
| jsonschema | 4.23.0 | jsonschema-specifications | 2023.7.1 | jupyter-events | 0.10.0 |
| jupyter-lsp | 2.2.0 | jupyter_client | 8.6.3 | jupyter_core | 5.7.2 |
| jupyter_server | 2.14.1 | jupyter_server_terminals | 0.4.4 | jupyterlab | 4.3.4 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | jupyterlab_server | 2.27.3 |
| kiwisolver | 1.4.8 | launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 |
| lazr.uri | 1.0.6 | markdown —it-py | 2.2.0 | MarkupSafe | 3.0.2 |
| biblioteka matplotlib | 3.10.0 | biblioteka matplotlib-inline | 0.1.7 | Mccabe | 0.7.0 |
| mdurl | 0.1.0 | Mistune | 2.0.4 | mlflow-skinny | 2.22.0 |
| mmh3 | 5.1.0 | więcej itertools | 10.3.0 | msal | 1.32.3 |
| msal-extensions | 1.3.1 | mypy-extensions | 1.0.0 | nbclient | 0.8.0 |
| nbconvert - narzędzie do konwersji plików Jupyter Notebook | 7.16.4 | nbformat | 5.10.4 | nest-asyncio | 1.6.0 |
| nodeenv | 1.9.1 | notes | 7.3.2 | notebook_shim | 0.2.3 |
| numpy | 2.1.3 | oauthlib | 3.2.2 | opentelemetry-api | 1.32.1 |
| opentelemetry-sdk | 1.32.1 | opentelemetry-semantic-conventions | 0.53b1 | Zastępuje | 7.4.0 |
| opakowanie | 24.1 | Pandas | 2.2.3 | pandocfilters | 1.5.0 |
| parso | 0.8.4 | pathspec | 0.10.3 | Patsy | 1.0.1 |
| pexpect | 4.8.0 | poduszka | 11.1.0 | pip (menedżer pakietów Pythona) | 25.0.1 |
| platformdirs | 3.10.0 | kreślenie | 5.24.1 | wtyczka | 1.5.0 |
| prometheus_client | 0.21.0 | zestaw narzędzi prompt | 3.0.43 | proto-plus | 1.26.1 |
| Protobuf (w skrócie od Protocol Buffers) | 5.29.4 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | py4j | 0.10.9.9 |
| pyarrow | 19.0.1 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pyccolo | 0.0.71 | pycparser | 2.21 | pydantic | 2.10.6 |
| pydantic_core | 2.27.2 | pyflakes | 3.2.0 | Pygments | 2.15.1 |
| PyGObject | 3.48.2 | pyiceberg | 0.9.0 | PyJWT | 2.10.1 |
| pyodbc | 5.2.0 | pyparsing – biblioteka do przetwarzania tekstu w Pythonie | 3.2.0 | pyright | 1.1.394 |
| pyspark | 4.0.0+databricks.connect.17.2.3 | pytest | 8.3.5 | python-dateutil (biblioteka Pythona do zarządzania datami) | 2.9.0.post0 |
| python-json-logger | 3.2.1 | python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.12.0 |
| pytoolconfig | 1.2.6 | pytz (biblioteka Pythona do obliczeń stref czasowych) | 2024.1 | PyYAML | 6.0.2 |
| pyzmq | 26.2.0 | Odwoływanie się do | 0.30.2 | żądania | 2.32.3 |
| rfc3339-validator | 0.1.4 | rfc3986-validator | 0.1.1 | bogaty | 13.9.4 |
| lina | 1.12.0 | rpds-py | 0.22.3 | RSA | 4.9.1 |
| s3transfer | 0.11.3 | scikit-learn | 1.6.1 | scipy (biblioteka naukowa dla Pythona) | 1.15.1 |
| urodzony na morzu | 0.13.2 | Send2Trash | 1.8.2 | setuptools | 74.0.0 |
| Sześć | 1.16.0 | smmap | 5.0.0 | wąchanie | 1.3.0 |
| sortedcontainers | 2.4.0 | zupy | 2.5 | sqlparse | 0.5.3 |
| ssh-import-id | 5.11 | stack-data | 0.2.0 | gwiazdka | 0.46.2 |
| statsmodels - biblioteka do modelowania statystycznego | 0.14.4 | strictyaml | 1.7.3 | Wytrzymałość | 9.0.0 |
| terminado | 0.17.1 | threadpoolctl | 3.5.0 | tinycss2 | 1.4.0 |
| tokenize_rt | 6.1.0 | tomli | 2.0.1 | tornado | 6.4.2 |
| traitlety | 5.14.3 | osłona typów | 4.3.0 | types-python-dateutil | 2.9.0.20241206 |
| typing_extensions | 4.12.2 | tzdata | 2024.1 | ujson | 5.10.0 |
| nienadzorowane uaktualnienia | 0.1 | Szablon identyfikatora URI | 1.3.0 | urllib3 | 2.3.0 |
| uvicorn | 0.34.2 | virtualenv | 20.29.3 | wadllib | 1.3.6 |
| szerokość(wcwidth) | 0.2.5 | kolory sieci Web | 24.11.1 | kodowania webowe | 0.5.1 |
| websocket-client | 1.8.0 | whatthepatch | 1.0.2 | wheel | 0.45.1 |
| widgetsnbextension | 3.6.6 | zawijanie | 1.17.0 | yapf | 0.40.2 |
| zipp | 3.21.0 | zstandard | 0.23.0 |
Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.13)
| Identyfikator grupy | Identyfikator artefaktu | wersja |
|---|---|---|
| com.databricks | databricks-connect_2.13 | 17.2.0 |
| com.fasterxml.jackson.core | Jackson - adnotacje | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.lihaoyi | ammonite-compiler-interface_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-compiler_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-interp-api_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-interp_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-repl-api_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-repl_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-runtime_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-util_2.13 | 3.0.2 |
| com.lihaoyi | fansi_2.13 | 0.5.0 |
| com.lihaoyi | os-lib_2.13 | 0.11.3 |
| com.lihaoyi | pprint_2.13 | 0.9.0 |
| com.lihaoyi | scalaparse_2.13 | 3.1.1 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.json4s | json4s-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson_2.13 | 4.0.7 |
| sh.almond | channels_2.13 | 0.14.1-1 |
| sh.almond | interpreter-api_2.13 | 0.14.1-1 |
| sh.almond | interpreter_2.13 | 0.14.1-1 |
| sh.almond | jupyter-api_2.13 | 0.14.1-1 |
| sh.almond | kernel_2.13 | 0.14.1-1 |
| sh.almond | logger_2.13 | 0.14.1-1 |
| sh.almond | protocol_2.13 | 0.14.1-1 |
| sh.almond | scala-interpreter_2.13.16 | 0.14.1-1 |
| sh.almond | scala-kernel_2.13.16 | 0.14.1-1 |
| sh.almond | shared-directives_2.13 | 0.14.1-1 |