Środowisko bezserwerowe w wersji 5

Na tej stronie przedstawiono informacje o środowisku systemowym dla środowiska bezserwerowego w wersji 5.

Aby zapewnić zgodność aplikacji, obciążenia bezserwerowe używają interfejsu API w wersji znanej jako wersja środowiska, która pozostaje zgodna z nowszymi wersjami bezserwerowymi.

Aby wybrać środowisko podstawowe, użyj selektora podstawowego środowiska w panelu bocznym Środowisko w notesach bezserwerowych. Zobacz Wybieranie środowiska podstawowego.

Nowe funkcje i ulepszenia

Następujące nowe funkcje i ulepszenia są dostępne w środowisku bezserwerowym 5.

Obsługa platformy MLflow 3.8.1

Środowisko bezserwerowe 5 obejmuje MLflow 3.8.1, dużą aktualizację z MLflow 2.22.0 w wersji środowiska 4. To uaktualnienie obejmuje wiele nowych funkcji, ulepszeń i poprawek błędów. Aby uzyskać pełną listę zmian, zobacz notatki o wydaniu MLflow.

Zadania JAR bezserwerowe

Ważna

Ta funkcja jest dostępna w publicznej wersji testowej.

Zadania JAR bezserwerowe są teraz obsługiwane w środowisku w wersji 5. Ta funkcja umożliwia uruchamianie aplikacji opartych na protokole JAR w bezserwerowej infrastrukturze obliczeniowej.

Optymalizacja Arrow jest domyślnie włączona dla funkcji UDF w języku Python

W środowisku w wersji 5 optymalizacja strzałek jest domyślnie włączona dla funkcji zdefiniowanych przez użytkownika języka Python, co znacznie poprawia wydajność wykonywania funkcji zdefiniowanej przez użytkownika. Ponadto konwersja serializatora pandas oparta na strzałkach została ulepszona w celu uzyskania lepszej wydajności.

Reprezentuje to zmianę zachowania z poprzednich wersji, w których optymalizacja strzałki została wybrana.

Zmiany zachowania

Następujące zmiany behawioralne są wprowadzane w środowisku bezserwerowym 5.

Typ BinaryType przekłada się konsekwentnie na bajty języka Python.

W PySpark BinaryType jest teraz konsekwentnie mapowane do Pythona bytes. Wcześniej, w zależności od kontekstu, PySpark mapował BinaryType na bytes lub bytearray.

Aby uzyskać więcej informacji, zobacz SPARK-53696.

Interfejs API gniazda na poziomie jądra systemu Linux na potrzeby kryptografii

Począwszy od środowiska w wersji 5, interfejs API gniazda kryptograficznego na poziomie jądra systemu Linux, który działa na niezgodnych ze standardem FIPS szyfrach, może zakończyć się niepowodzeniem w sposób niedeterministyczny. Nie używaj tego interfejsu API na potrzeby operacji kryptograficznych niezgodnych ze standardem FIPS.

Aktualizacje interfejsu API

Środowisko bezserwerowe 5 zawiera następujące aktualizacje interfejsu API:

• SPARK-53635 Obsługa funkcji UDF języka Scala z argami wejściowymi typu Seq[Row]
• SPARK-54220 Obsługa typu NullType/VOID/UNKNOWN w Parquet
• SPARK-54153 Obsługa profilowania iteracyjnych funkcji zdefiniowanych przez użytkownika w języku Python
• SPARK-54213 Usuwanie języka Python 3.9 z programu Spark Connect
• SPARK-53977 Obsługa logowania w funkcjach zdefiniowanych przez użytkownika
• SPARK-53976 Obsługa logowania w UDF-ach w bibliotece Pandas/Arrow
• SPARK-53573 Pozwól na łącznie literałów ciągów w każdym miejscu
• SPARK-54269 Uaktualnianie pakietu cloudpickle do wersji 3.1.2 dla języka Python w wersji 3.14
• SPARK-54287 Dodawanie obsługi języka Python 3.14 w programie pyspark-client i pyspark-connect
• SPARK-53614 Dodaj Iterator[pandas.DataFrame] obsługę do applyInPandas
• SPARK-53921 Wprowadzenie GeometryType i GeographyType do interfejsu API PySpark
• SPARK-53920 Wprowadzenie GeometryType i GeographyType do interfejsu API języka Java
• SPARK-53956 Obsługa czasu w funkcji try_make_timestamp w PySpark
• SPARK-53930 Obsługa czasu w funkcji make_timestamp w PySpark
• SPARK-53111 Implementowanie funkcji time_diff w narzędziu PySpark
• SPARK-53877 Wprowadzenie funkcji BITMAP_AND_AGG
• SPARK-53357 Aktualizacja pandas do wersji 2.3.2
• SPARK-52980 Obsługa funkcji tabelarycznych UDTF języka Python przy użyciu Arrow
• SPARK-52844 Aktualizacja numpy do wersji 1.22
• SPARK-50359 Uaktualnianie PyArrow do wersji 18.0
• SPARK-50564 Uaktualnianie pakietu protobuf python do wersji 5.29.1
• SPARK-50601 Obsługa funkcjiColumns / withColumnsRenamed w podzapytaniach
• SPARK-51814 Wprowadzenie nowego interfejsu API transformWithState w programie PySpark
• SPARK-52821 add int-DecimalType> pyspark udf return type coercion
• SPARK-53112 Obsługa czasu w funkcjach make_timestamp_ntz i try_make_timestamp_ntz w PySpark
• SPARK-53319 Wsparcie dla typu czasu przez funkcję try_make_timestamp_ltz()
• SPARK-53696 Domyślnie do bajtów dla elementu BinaryType w PySpark
• SPARK-55090 Implementowanie pliku DataFrame.toJSON w kliencie języka Python

Środowisko systemu

• System operacyjny: Ubuntu 24.04.3 LTS
• Python: 3.12.3
• Databricks Connect: 18 (Usługa Databricks Connect jest stale aktualizowana w najnowszej wersji środowiska bezserwerowego. Uruchom polecenie pip list , aby potwierdzić dokładną wersję w bieżącym środowisku).
• Scala: 2.13.16
• JDK: 21

Zainstalowane biblioteki języka Python

Aby odtworzyć środowisko bezserwerowe 5 w lokalnym środowisku wirtualnym języka Python, pobierz plik requirements-env-5.txt i uruchom polecenie pip install -r requirements-env-5.txt. To polecenie instaluje wszystkie biblioteki open source ze środowiska bezserwerowego 5.

Biblioteka	Wersja	Biblioteka	Wersja	Biblioteka	Wersja
aiohappyeyeballs	2.4.4	aiohttp	3.11.10	aiosignal	1.2.0
dokument z adnotacjami	0.0.4	typy z adnotacjami	0.7.0	anyio	4.7.0
argon2-cffi	21.3.0	argon2-cffi-bindings	21.2.0	arro3-core	0.6.5
strzałka	1.3.0	asttokens	3.0.0	astunparse	1.6.3
async-lru	2.0.4	attrs	24.3.0	autokomenda	2.2.2
azure-common	1.1.28	azure-core	1.37.0	azure-identity	1.20.0
azure-mgmt-core (rdzeń zarządzania Azure)	1.6.0	azure-mgmt-web	8.0.0	Azure Storage Blob	12.28.0
Usługa przechowywania w chmurze Azure (azure-storage-file-datalake)	12.22.0	Babel	2.16.0	backports.tarfile	1.2.0
beautifulsoup4	4.12.3	czarny	24.10.0	wybielacz	6.2.0
kierunkowskaz	1.7.0	boto3	1.40.45	botocore	1.40.45
cachetools (narzędzia do zarządzania pamięcią podręczną)	5.5.1	certyfikat	2025.4.26	cffi	1.17.1
chardet	4.0.0	normalizator zestawu znaków	3.3.2	kliknij	8.1.8
cloudpickle (biblioteka Python do serializacji obiektów)	3.0.0	komunikacja	0.2.1	ContourPy	1.3.1
kryptografia	44.0.1	rowerzysta	0.11.0	Cython	3.1.5
databricks-agents	1.9.1	databricks-connect	18.0.5	databricks-sdk	0.67.0
dataclasses-json	0.6.7	dbus-python	1.3.2	debugpy	1.8.11
dekorator	5.1.1	defusedxml (biblioteka zabezpieczająca przetwarzanie XML)	0.7.1	deltalake	1.1.4
Deprecated	1.2.18	distlib	0.3.9	Konwertowanie docstringów na markdown	0,11
wykonywanie	1.2.0	aspekty — omówienie	1.1.1	fastapi	0.128.0
fastjsonschema	2.21.1	blokada plików	3.17.0	fonttools	4.55.3
Fqdn	1.5.1	zablokowana lista	1.5.0	fsspec	2023.5.0
gitdb (baza danych Git)	4.0.11	GitPython	3.1.43	google-api-core	2.28.1
google-auth (autoryzacja Google)	2.47.0	google-cloud-core	2.5.0	Google Cloud Storage (usługa przechowywania danych w chmurze od Google)	3.7.0
google-crc32c (biblioteka do obsługi algorytmu crc32c od Google)	1.8.0	Google Media z Możliwością Wznowienia	2.8.0	googleapis-common-protos	1.65.0
grpcio	1.67.0	grpcio-status	1.67.0	h11	0.16.0
hf-xet	1.2.0	httpcore	1.0.9	httplib2	0.20.4
httpx	0.28.1	huggingface_hub	1.2.4	IDNA	3.7
importlib_metadata	8.5.0	odchylić	7.3.1	iniconfig	1.1.1
ipyflow-core	0.0.209	ipykernel	6.29.5	ipython	8.30.0
ipython-genutils	0.2.0	ipywidgets	7.8.1	isodate	0.7.2
izoduracja	20.11.0	jaraco.collections	5.1.0	jaraco.context	5.3.0
jaraco.functools	4.0.1	jaraco.text	3.12.1	Jedi	0.19.2
Jinja2	3.1.6	drżenie	0.12.0	jmespath	1.0.1
joblib	1.4.2	json5	0.9.25	jsonpatch	1.33
JsonPointer	3.0.0	jsonschema	4.23.0	Specyfikacje schematu JSON	2023.7.1
If the term needs to stay in English, it should remain "jupyter-events". If a translation is needed, it could potentially be "wydarzenia jupyter", depending on the context and recognition among the target audience.	0.12.0	jupyter-lsp	2.2.5	jupyter_client	8.6.3
jupyter_core	5.7.2	jupyter_server	2.15.0	jupyter_server_terminals (terminale serwera Jupyter)	0.5.3
jupyterlab	4.3.4	jupyterlab_pygments	0.3.0	jupyterlab_server	2.27.3
jupyterlab_widgets	1.1.11	kiwisolver	1.4.8	langchain-core	1.2.6
langchain-openai	1.1.6	langsmith	0.6.1	launchpadlib	1.11.0
lazr.restfulclient	0.14.6	lazr.uri	1.0.6	litellm	1.75.9
markdown —it-py	2.2.0	MarkupSafe	3.0.2	pianka cukrowa	3.26.2
matplotlib	3.10.0	matplotlib-inline	0.1.7	Mccabe	0.7.0
mdurl	0.1.0	Mistune	3.1.2	mlflow-skinny	3.8.1
mmh3	5.2.0	more-itertools	10.3.0	msal	1.34.0
msal-extensions	1.3.1	multidict	6.1.0	mypy-extensions	1.0.0
NBClient	0.10.2	nbconvert - narzędzie do konwersji plików Jupyter Notebook	7.16.6	nbformat	5.10.4
nest-asyncio	1.6.0	nodeenv	1.10.0	notes	7.3.2
notebook_shim	0.2.4	numpy	2.1.3	oauthlib	3.2.2
openai	2.14.0	opentelemetry-api	1.39.1	opentelemetry-proto	1.39.1
opentelemetry-sdk	1.39.1	opentelemetry-semantic-conventions (standardowe konwencje semantyczne w OpenTelemetry)	0.60b1	orjson	3.11.5
Zastępuje	7.4.0	opakowanie	24,2	Pandas	2.2.3
pandocfilters	1.5.0	parso	0.8.4	specyfikacja ścieżki	0.10.3
ofiara	1.0.1	pexpect	4.8.0	poduszka	11.1.0
pip	25.0.1	platformdirs	4.3.7	kreślenie	5.24.1
wtyczkowy	1.5.0	prometheus_client	0.21.1	zestaw narzędzi prompt	3.0.43
propcache	0.3.1	proto-plus	1.27.0	Protobuf (w skrócie od Protocol Buffers)	5.29.4
psutil	5.9.0	psycopg2	2.9.11	ptyprocess	0.7.0
pure-eval	0.2.2	py4j	0.10.9.9	pyarrow	21.0.0
pyasn1	0.4.8	pyasn1-modules	0.2.8	pyccolo	0.0.71
pycparser	2.21	pydantic (biblioteka Python do walidacji danych i zarządzania ustawieniami)	2.10.6	pydantic_core	2.27.2
pyflakes (narzędzie do analizy statycznej kodu Python)	3.2.0	Pygments	2.19.1	PyGObject	3.48.2
pyiceberg	0.10.0	PyJWT	2.10.1	pyodbc	5.2.0
pyparsing – biblioteka do przetwarzania tekstu w Pythonie	3.2.0	pyright	1.1.394	piroaring	1.0.3
pytest	8.3.5	python-dateutil (biblioteka Pythona do zarządzania datami)	2.9.0.post0	python-dotenv	1.2.1
python-json-logger	3.2.1	python-lsp-jsonrpc	1.1.2	python-lsp-server	1.12.2
pytoolconfig	1.2.6	pytz (biblioteka Pythona do obliczeń stref czasowych)	2024.1	PyYAML	6.0.2
pyzmq	26.2.0	odwoływanie się	0.30.2	wyrażenie regularne	2024.11.6
żądania	2.32.3	requests-toolbelt (narzędzie wspomagające dla biblioteki requests w Pythonie)	1.0.0	rfc3339-validator	0.1.4
rfc3986-validator	0.1.1	bogaty	13.9.4	lina	1.13.0
rpds-py	0.22.3	rsa	4.9.1	s3transfer	0.14.0
scikit-learn	1.6.1	scipy (biblioteka naukowa dla Pythona)	1.15.3	urodzony na morzu	0.13.2
Send2Trash	1.8.2	setuptools	78.1.1	shellingham	1.5.4
sześć	1.17.0	smmap	5.0.0	Sniffio	1.3.0
posortowane kontenery	2.4.0	soupsieve	2.5	sqlparse	0.5.5
ssh-import-id (narzędzie do importowania kluczy SSH)	5.11	stos danych	0.6.3	gwiazdka	0.50.0
strictyaml	1.7.3	Wytrzymałość	9.0.0	zakończony	0.17.1
threadpoolctl	3.5.0	tiktoken	0.12.0	tinycss2	1.4.0
tokenize_rt	6.1.0	narzędzia tokenizacji	0.22.2	tomli	2.0.1
tornado	6.5.1	tqdm	4.67.1	traitlets	5.14.3
typeguard	4.3.0	typer-slim	0.21.1	types-python-dateutil	2.9.0.20251115
monitorowanie pisania	0.9.0	moduł typing_extensions	4.12.2	tzdata	2024.1
ujson (szybka biblioteka do obsługi formatu JSON)	5.10.0	nienadzorowane uaktualnienia	0.1	Szablon adresu URI	1.3.0
urllib3	2.3.0	uuid_utils	0.12.0	uvicorn	0.40.0
virtualenv	20.29.3	wadllib	1.3.6	szerokość(wcwidth)	0.2.5
kolory sieci Web	25.10.0	kodowania webowe	0.5.1	websocket-klient	1.8.0
czymjestłatka	1.0.2	wheel	0.45.1	ilekroć	0.7.3
widgetsnbextension	3.6.6	zawinięty	1.17.0	yapf (Yet Another Python Formatter - Kolejny Formatator Pythona)	0.40.2
Yarl	1.18.0	zamek błyskawiczny	3.21.0	zstandard	0.23.0

Zainstalowane biblioteki Java i Scala (Scala 2.13)

Identyfikator grupy	Identyfikator artefaktu	Wersja
com.databricks	databricks-connect_2.13	18.0.0
com.fasterxml.jackson.core	Jackson - adnotacje	2.15.2
com.fasterxml.jackson.core	jackson-core	2.15.2
com.fasterxml.jackson.core	jackson-databind	2.15.2
com.lihaoyi	ammonite-compiler-interface_2.13.16	3.0.2
com.lihaoyi	ammonite-compiler_2.13.16	3.0.2
com.lihaoyi	ammonite-interp-api_2.13.16	3.0.2
com.lihaoyi	ammonite-interp_2.13.16	3.0.2
com.lihaoyi	ammonite-repl-api_2.13.16	3.0.2
com.lihaoyi	ammonite-repl_2.13.16	3.0.2
com.lihaoyi	ammonite-runtime_2.13.16	3.0.2
com.lihaoyi	ammonite-util_2.13	3.0.2
com.lihaoyi	fansi_2.13	0.5.0
com.lihaoyi	os-lib_2.13	0.11.3
com.lihaoyi	pprint_2.13	0.9.0
com.lihaoyi	scalaparse_2.13	3.1.1
org.apache.logging.log4j	log4j-api	2.20.0
org.apache.logging.log4j	log4j-core	2.20.0
org.json4s	json4s-core_2.13	4.0.7
org.json4s	json4s-jackson_2.13	4.0.7
sh.almond	channels_2.13	0.14.1-1
sh.almond	interpreter-api_2.13	0.14.1-1
sh.almond	interpreter_2.13	0.14.1-1
sh.almond	jupyter-api_2.13	0.14.1-1
sh.almond	kernel_2.13	0.14.1-1
sh.almond	logger_2.13	0.14.1-1
sh.almond	protocol_2.13	0.14.1-1
sh.almond	scala-interpreter_2.13.16	0.14.1-1
sh.almond	scala-kernel_2.13.16	0.14.1-1
sh.almond	shared-directives_2.13	0.14.1-1