Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Tato stránka popisuje informace o systémovém prostředí pro bezserverové prostředí verze 5.
Kvůli zajištění kompatibility aplikací používají bezserverové úlohy rozhraní API verze označované jako verze prostředí, které zůstává kompatibilní s novějšími bezserverovými verzemi.
Pokud chcete vybrat základní prostředí, použijte selektor základního prostředí na bočním panelu Prostředí v bezserverových poznámkových blocích. Viz Výběr základního prostředí.
Nové funkce a vylepšení
Následující nové funkce a vylepšení jsou k dispozici v bezserverovém prostředí 5.
Podpora MLflow 3.8.1
Bezserverové prostředí 5 zahrnuje MLflow 3.8.1, hlavní upgrade z MLflow 2.22.0 v prostředí verze 4. Tento upgrade zahrnuje řadu nových funkcí, vylepšení a oprav chyb. Úplný seznam změn najdete v poznámkách k verzi MLflow.
Bezserverové úlohy JAR
Důležité
Tato funkce je ve verzi Public Preview.
Bezserverové úlohy JAR jsou nyní podporovány v prostředí verze 5. Tato funkce umožňuje spouštět aplikace založené na JAR na bezserverové výpočetní infrastruktuře.
Optimalizace šipky povolená ve výchozím nastavení pro uživatelem definované funkce Pythonu
V prostředí verze 5 je optimalizace Arrow povolena ve výchozím nastavení pro uživatelem definované funkce (UDF) v Pythonu, což výrazně zlepšuje výkon provádění UDF. Kromě toho byl převod serializátoru pandas založený na šipkách vylepšen pro lepší efektivitu.
To představuje změnu chování z předchozích verzí, kdy byla optimalizace šipky opt-in.
Změny chování
Následující změny chování jsou zavedeny v bezserverovém prostředí 5.
BinaryType konzistentně mapuje na bajty Pythonu
V PySpark BinaryType je nyní konzistentně mapován na Python bytes. Dříve Pyspark mapoval BinaryType na bytes nebo bytearray v závislosti na kontextu.
Další informace najdete v tématu SPARK-53696.
Rozhraní socketového API na úrovni jádra Linuxu pro kryptografii
Počínaje verzí prostředí 5 může rozhraní API kryptografických soketů na úrovni jádra Linuxu, které funguje na šifrách nekompatibilních se standardem FIPS, nedeterministicky selhat. Toto rozhraní API nepoužívejte pro kryptografické operace, které nedodržují předpisy FIPS.
Aktualizace rozhraní API
Bezserverové prostředí 5 zahrnuje následující aktualizace rozhraní API:
- SPARK-53635 Podpora Scala UDF s argumenty vstupu typu Seq[Row]
- SPARK-54220 Podpora typu NullType/VOID/UNKNOWN v Parquet
- SPARK-54153 Podpora profilování Python UDF založených na iterátorech
- SPARK-54213 Odebrání Pythonu 3.9 z Spark Connect
- SPARK-53977 Podpora protokolování v UDTF
- SPARK-53976 Podpora protokolování v Pandas/Arrow UDFs
- SPARK-53573 Povolit spojené řetězcové literály všude
- SPARK-54269 Upgrade cloudpickle na verzi 3.1.2 pro Python 3.14
- SPARK-54287 Přidání podpory Pythonu 3.14 v pyspark-client a pyspark-connect
- SPARK-53614 Přidat podporu pro Iterator[pandas.DataFrame] v applyInPandas
- SPARK-53921 Zavedení geometryType a GeographyType do rozhraní PySpark API
- SPARK-53920 Seznámení s geometryType a GeographyType v rozhraní Java API
- SPARK-53956 Podpora datového typu TIME ve funkci try_make_timestamp v PySpark
- SPARK-53930 Podpora datového typu TIME ve funkci make_timestamp v rámci PySparku
- SPARK-531111 Implementace funkce time_diff v PySpark
- SPARK-53877 Představení funkce BITMAP_AND_AGG
- SPARK-53357 Aktualizace knihovny pandas na verzi 2.3.2
- SPARK-52980 Podpora Arrow Python UDTFs
- SPARK-52844 Aktualizace numpy na 1.22
- SPARK-50359 Upgrade PyArrow na verzi 18.0
- SPARK-50564 Upgrade balíčku Protobuf Python na verzi 5.29.1
- SPARK-50601 Podpora withColumns / withColumnsRenamed v poddotazech
- SPARK-51814 Zavedení nové transformace rozhraní APIWithState v PySparku
- Spark-52821 add int-DecimalType> pyspark udf return type coercion
- SPARK-53112 Podpora TIME ve funkcích make_timestamp_ntz a try_make_timestamp_ntz v PySpark
- SPARK-53319 Podporovat typ času prostřednictvím funkce try_make_timestamp_ltz()
- SPARK-53696 Výchozí bajty pro BinaryType v PySpark
- SPARK-55090 Implementace objektu DataFrame.toJSON v klientovi Pythonu
Systémové prostředí
- Operační systém: Ubuntu 24.04.3 LTS
- Python: 3.12.3
-
Databricks Connect: 18 (Databricks Connect se průběžně aktualizuje v nejnovější verzi bezserverového prostředí. Spuštěním potvrďte
pip listpřesnou verzi v aktuálním prostředí.) - Scala: 2.13.16
- JDK: 21
Nainstalované knihovny Pythonu
Pokud chcete reprodukovat bezserverové prostředí 5 v místním virtuálním prostředí Pythonu, stáhněte requirements-env-5.txt soubor a spusťte pip install -r requirements-env-5.txt. Tento příkaz nainstaluje všechny opensourcové knihovny z bezserverového prostředí 5.
| Knihovna | Verze | Knihovna | Verze | Knihovna | Verze |
|---|---|---|---|---|---|
| aiohappyeyeballs | 2.4.4 | aiohttp | 3.11.10 | aiosignal | 1.2.0 |
| annotated-doc | 0.0.4 | anotované typy | 0.7.0 | anyio | 4.7.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | arro3-core | 0.6.5 |
| šíp | 1.3.0 | asttokens | 3.0.0 | astunparse | 1.6.3 |
| async-lru | 2.0.4 | attrs | 24.3.0 | automatické příkazy | 2.2.2 |
| azure-common | 1.1.28 | Azure Core | 1.37.0 | azure-identity | 1.20.0 |
| azure-mgmt-core | 1.6.0 | azure-mgmt-web | 8.0.0 | azure-storage-blob (služba pro ukládání dat na platformě Azure) | 12.28.0 |
| Služba "Azure Storage File Data Lake" | 12.22.0 | babylón | 2.16.0 | backports.tarfile | 1.2.0 |
| BeautifulSoup4 | 4.12.3 | černý | 24.10.0 | bělidlo | 6.2.0 |
| blikač | 1.7.0 | boto3 | 1.40.45 | botocore | 1.40.45 |
| nástroje pro ukládání do mezipaměti | 5.5.1 | certifikát | 2025.4.26 | cffi | 1.17.1 |
| chardet | 4.0.0 | nástroj pro normalizaci znakové sady | 3.3.2 | klikni | 8.1.8 |
| cloudpickle | 3.0.0 | Komunikace | 0.2.1 | ContourPy | 1.3.1 |
| kryptografie | 44.0.1 | cyklista | 0.11.0 | Cython | 3.1.5 |
| Agenti Databricks | 1.9.1 | databricks-connect | 18.0.5 | Databricks SDK | 0.67.0 |
| dataclasses-json | 0.6.7 | dbus-python | 1.3.2 | debugpy | 1.8.11 |
| dekoratér | 5.1.1 | defusedxml | 0.7.1 | deltalake | 1.1.4 |
| Deprecated | 1.2.18 | distlib | 0.3.9 | převod docstringu do formátu markdown | 0.11 |
| provedení | 1.2.0 | přehled aspektů | 1.1.1 | fastapi | 0.128.0 |
| fastjsonschema | 2.21.1 | zamykání souborů | 3.17.0 | nástroje pro písma | 4.55.3 |
| fqdn | 1.5.1 | frozenlist | 1.5.0 | fsspec | 2023.5.0 |
| gitdb | 4.0.11 | GitPython | 3.1.43 | google-api-core | 2.28.1 |
| google-auth (autentizace) | 2.47.0 | google-cloud-core | 2.5.0 | Úložiště Google Cloud | 3.7.0 |
| google-crc32c | 1.8.0 | google-resumable-media (pro snadné stahování/ukládání mediálních dat) | 2.8.0 | googleapis-common-protos | 1.65.0 |
| grpcio | 1.67.0 | grpcio-status | 1.67.0 | h11 | 0.16.0 |
| hf-xet | 1.2.0 | httpcore | 1.0.9 | httplib2 | 0.20.4 |
| httpx | 0.28.1 | huggingface_hub | 1.2.4 | IDNA | 3.7 |
| importlib_metadata | 8.5.0 | časovat/skloňovat | 7.3.1 | iniconfig | 1.1.1 |
| ipyflow-core je jádrová komponenta systému ipyflow | 0.0.209 | ipykernel | 6.29.5 | ipython | 8.30.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.8.1 | isodate | 0.7.2 |
| isodurace | 20.11.0 | jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 |
| jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 | Jedi | 0.19.2 |
| Jinja2 | 3.1.6 | chvění | 0.12.0 | jmespath | 1.0.1 |
| joblib | 1.4.2 | json5 | 0.9.25 | jsonpatch | 1.33 |
| JSON ukazatel | 3.0.0 | jsonschema | 4.23.0 | Specifikace JSON schema | 2023.7.1 |
| jupyter události | 0.12.0 | jupyter-lsp | 2.2.5 | klient Jupyter | 8.6.3 |
| jupyter_core | 5.7.2 | jupyter_server | 2.15.0 | terminály_jupyter_server | 0.5.3 |
| jupyterlab | 4.3.4 | jupyterlab_pygments | 0.3.0 | jupyterlab_server | 2.27.3 |
| jupyterlab_widgets | 1.1.11 | kiwisolver | 1.4.8 | langchain-core | 1.2.6 |
| langchain-openai | 1.1.6 | langsmith | 0.6.1 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | litellm | 1.75.9 |
| markdown:it-py | 2.2.0 | MarkupSafe | 3.0.2 | maršmeloun | 3.26.2 |
| matplotlib | 3.10.0 | matplotlib-inline | 0.1.7 | Mccabe | 0.7.0 |
| mdurl | 0.1.0 | špatné naladění | 3.1.2 | mlflow-skinny | 3.8.1 |
| mmh3 | 5.2.0 | more-itertools | 10.3.0 | MSAL | 1.34.0 |
| msal-extensions | 1.3.1 | vícejazyčný slovník | 6.1.0 | mypy-extensions | 1.0.0 |
| nbclient | 0.10.2 | nbconvert | 7.16.6 | nbformat | 5.10.4 |
| nest-asyncio | 1.6.0 | nodeenv | 1.10.0 | poznámkový blok | 7.3.2 |
| notebook_shim | 0.2.4 | numpy (knihovna pro numerické výpočty v Pythonu) | 2.1.3 | oauthlib | 3.2.2 |
| openai | 2.14.0 | opentelemetry-api | 1.39.1 | opentelemetry-proto | 1.39.1 |
| opentelemetry-sdk | 1.39.1 | opentelemetry-sémantické-konvence | 0,60b1 | orjson | 3.11.5 |
| přepíše | 7.4.0 | balení | 24,2 | pandas | 2.2.3 |
| pandocfilters | 1.5.0 | Parso | 0.8.4 | specifikace cesty | 0.10.3 |
| bábovka | 1.0.1 | pexpect | 4.8.0 | polštář | 11.1.0 |
| pip | 25.0.1 | platformdirs | 4.3.7 | plotly | 5.24.1 |
| Pluggy (nástroj pro správu pluginů v Pythonu) | 1.5.0 | prometheus_client | 0.21.1 | nástroj "prompt-toolkit" | 3.0.43 |
| propcache | 0.3.1 | proto-plus | 1.27.0 | protobuf | 5.29.4 |
| psutil | 5.9.0 | psycopg2 | 2.9.11 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | py4j | 0.10.9.9 | pyarrow | 21.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.71 |
| pycparser | 2.21 | Pydantic (Python knihovna pro validaci a nastavení dat) | 2.10.6 | pydantic_core | 2.27.2 |
| pyflakes | 3.2.0 | Pygments | 2.19.1 | PyGObject | 3.48.2 |
| pyiceberg | 0.10.0 | PyJWT | 2.10.1 | pyodbc | 5.2.0 |
| pyparsing | 3.2.0 | pyright | 1.1.394 | pyroaring | 1.0.3 |
| pytest | 8.3.5 | python-dateutil | 2.9.0.post0 | python-dotenv | 1.2.1 |
| python-json-logger (Python knihovna pro logování do formátu JSON) | 3.2.1 | python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.12.2 |
| Pytoolconfig | 1.2.6 | knihovna pytz pro zpracování časových zón v Pythonu | 2024.1 | PyYAML | 6.0.2 |
| pyzmq | 26.2.0 | odkazování | 0.30.2 | regulární výraz | 2024.11.6 |
| požadavky | 2.32.3 | requests-toolbelt | 1.0.0 | rfc3339-validator (validátor formátu RFC 3339) | 0.1.4 |
| rfc3986-validátor | 0.1.1 | bohatý | 13.9.4 | lano | 1.13.0 |
| rpds-py | 0.22.3 | Rsa | 4.9.1 | s3transfer | 0.14.0 |
| scikit-learn | 1.6.1 | SciPy | 1.15.3 | narozený v moři | 0.13.2 |
| Send2Trash | 1.8.2 | setuptools (nástroj pro vytváření a distribuci Python projektů) | 78.1.1 | shellingham | 1.5.4 |
| šest | 1.17.0 | smmap | 5.0.0 | sniffio | 1.3.0 |
| setříděné kontejnery | 2.4.0 | sítko na polévku | 2.5 | sqlparse | 0.5.5 |
| ssh-import-id | 5.11 | datová hromádka | 0.6.3 | hvězdička | 0.50.0 |
| strictyaml | 1.7.3 | houževnatost | 9.0.0 | dokončeno | 0.17.1 |
| threadpoolctl | 3.5.0 | tiktoken | 0.12.0 | tinycss2 | 1.4.0 |
| tokenize_rt | 6.1.0 | tokenizátory | 0.22.2 | tomli | 2.0.1 |
| tornádo | 6.5.1 | tqdm | 4.67.1 | drobné vlastnosti | 5.14.3 |
| typová ochrana | 4.3.0 | typer-slim | 0.21.1 | types-python-dateutil | 2.9.0.20251115 |
| inspekce psaní na klávesnici | 0.9.0 | rozšíření_typingu | 4.12.2 | tzdata | 2024.1 |
| ujson | 5.10.0 | bezobslužné aktualizace | 0,1 | uri-template | 1.3.0 |
| urllib3 | 2.3.0 | uuid_utils | 0.12.0 | uvicorn | 0.40.0 |
| virtualenv | 20.29.3 | wadllib | 1.3.6 | wcwidth (šířka znaků) | 0.2.5 |
| webcolors | 25.10.0 | webová kódování | 0.5.1 | websocket-klient | 1.8.0 |
| whatthepatch | 1.0.2 | wheel | 0.45.1 | kdykoli | 0.7.3 |
| widgetsnbextension (rozšíření pro widgety v notebooku) | 3.6.6 | zabalený | 1.17.0 | yapf | 0.40.2 |
| yarlif | 1.18.0 | zipový uzávěr | 3.21.0 | zstandard | 0.23.0 |
Nainstalované knihovny Java a Scala (Scala 2.13)
| ID skupiny | Identifikátor artefaktu | Verze |
|---|---|---|
| com.databricks | Databricks-connect_2.13 | 18.0.0 |
| com.fasterxml.jackson.core | jackson-annotations (poznámky Jackson) | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | Jackson-databind | 2.15.2 |
| com.lihaoyi | ammonite-compiler-interface_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-compiler_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-interp-api_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-interp_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-repl-api_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-repl_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-runtime_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-util_2.13 | 3.0.2 |
| com.lihaoyi | fansi_2.13 | 0.5.0 |
| com.lihaoyi | os-lib_2.13 | 0.11.3 |
| com.lihaoyi | pprint_2.13 | 0.9.0 |
| com.lihaoyi | scalaparse_2.13 | 3.1.1 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.json4s | json4s-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson_2.13 | 4.0.7 |
| sh.almond | channels_2.13 | 0.14.1-1 |
| sh.almond | interpretr-api_2.13 | 0.14.1-1 |
| sh.almond | interpreter_2.13 | 0.14.1-1 |
| sh.almond | jupyter-api_2.13 | 0.14.1-1 |
| sh.almond | kernel_2.13 | 0.14.1-1 |
| sh.almond | logger_2.13 | 0.14.1-1 |
| sh.almond | protocol_2.13 | 0.14.1-1 |
| sh.almond | scala-interpreter_2.13.16 | 0.14.1-1 |
| sh.almond | scala-kernel_2.13.16 | 0.14.1-1 |
| sh.almond | shared-directives_2.13 | 0.14.1-1 |