Megjegyzés
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhat bejelentkezni vagy módosítani a címtárat.
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhatja módosítani a címtárat.
Ez a lap a kiszolgáló nélküli környezet 5-ös verziójának rendszerkörnyezeti adatait ismerteti.
Az alkalmazáskompatibilitás biztosítása érdekében a kiszolgáló nélküli számítási feladatok egy verziószámozott API-t (más néven környezeti verziót) használnak, amely kompatibilis marad az újabb kiszolgáló nélküli verziókkal.
Alapkörnyezet kiválasztásához használja az Alapkörnyezet választót a kiszolgáló nélküli jegyzetfüzetek Környezet oldalpaneljén. Lásd: Alapkörnyezet kiválasztása.
Új funkciók és fejlesztések
Az alábbi új funkciók és fejlesztések érhetők el az 5. kiszolgáló nélküli környezetben.
MLflow 3.8.1-támogatás
Az 5. kiszolgáló nélküli környezet tartalmazza az MLflow 3.8.1-et, amely az MLflow 2.22.0 fő frissítését tartalmazza a 4-es környezetben. Ez a frissítés számos új funkciót, fejlesztést és hibajavítást tartalmaz. A módosítások teljes listáját az MLflow kibocsátási megjegyzéseiben találja.
Kiszolgáló nélküli JAR-feladatok
Fontos
Ez a funkció nyilvános előzetes verzióban van.
A kiszolgáló nélküli JAR-feladatok mostantól támogatottak az 5- ös környezeti verzióban. Ez a funkció lehetővé teszi JAR-alapú alkalmazások futtatását kiszolgáló nélküli számítási infrastruktúrán.
A Python UDF-ek esetében alapértelmezés szerint engedélyezve van a nyíloptimalizálás
Az 5. környezeti verzióban a Python UDF-ek esetében alapértelmezés szerint engedélyezve van a nyíloptimalizálás, ami jelentősen javítja az UDF végrehajtási teljesítményét. Emellett a jobb hatékonyság érdekében a Arrow-alapú pandas szerializáló konvertálása is javult.
Ez a korábbi verziókhoz képest viselkedésbeli változást jelent, ahol a nyíloptimalizációt engedélyezték.
Viselkedési változások
Az alábbi viselkedési változások az 5. kiszolgáló nélküli környezetben jelennek meg.
A BinaryType konzisztensen Python-bájtra leképez.
A PySparkban BinaryType most már konzisztensen a Pythonra byteslesz leképezve. Korábban a PySpark a BinaryType elemet a kontextustól függően a bytes vagy a bytearray elemnek feleltette meg.
További információ: SPARK-53696.
Linux kernelszintű szoftvercsatorna API titkosításhoz
Az 5-ös környezettől kezdve a nem FIPS-kompatibilis titkosításokon működő Linux Kernel szintű titkosítási szoftvercsatorna API nem determinisztikus módon meghiúsulhat. Ne használja ezt az API-t nem FIPS-megfelelőségi titkosítási műveletekhez.
API-frissítések
A kiszolgáló nélküli 5. környezet a következő API-frissítéseket tartalmazza:
- SPARK-53635 A Scala UDF-ek támogatása Seq[Row] típusú bemeneti arg-ekkel
- SPARK-54220 NullType/VOID/UNKNOWN típusok támogatása a Parquet fájlszerkezetben
- SPARK-54153 Profilkészítési iterátoralapú Python-UDF-ek támogatása
- SPARK-54213 Python 3.9 eltávolítása a Spark Connectből
- SPARK-53977 Támogatás UDTF-ek naplózásához
- SPARK-53976 A naplózás támogatása a Pandas/Arrow UDF-ekben
- SPARK-53573 Sztringkonstansok egyesítésének engedélyezése mindenhol
- SPARK-54269 A cloudpickle frissítése a 3.1.2-es verzióra a Python 3.14-hez.
- SPARK-54287 Python 3.14-támogatás hozzáadása pyspark-client és pyspark-connect környezetben
- SPARK-53614 Iterator[pandas.DataFrame] támogatás hozzáadása az applyInPandas funkcióhoz
- SPARK-53921 A GeometryType és a GeographyType bemutatása a PySpark API-ban
- SPARK-53920 A GeometryType és a GeographyType bemutatása a Java API-ban
- SPARK-53956 Támogatási IDŐ a PySpark try_make_timestamp függvényében
- SPARK-53930 Az IDŐ adattípus támogatása a make_timestamp függvényben a PySpark-ben
- SPARK-53111 A time_diff függvény implementálása a PySparkban
- SPARK-53877 BITMAP_AND_AGG függvény bemutatása
- SPARK-53357 Pandas frissítése a 2.3.2-hez
- SPARK-52980 Arrow Python UDTF-ek támogatása
- SPARK-52844 Numpy frissítése 1.22-re
- SPARK-50359 A PyArrow frissítése 18.0-ra
- SPARK-50564 A Protobuf Python-csomag frissítése 5.29.1-re
- SPARK-50601 Támogatás a withColumns / withColumnsRenamed használatára az al-lekérdezésekben
- SPARK-51814 Új API transformWithState bemutatása a PySparkban
- SPARK-52821 hozzáadja az int-DecimalType> pyspark udf visszatérési típus kényszerítését
- SPARK-53112 Támogatási IDŐ a PySpark make_timestamp_ntz és try_make_timestamp_ntz függvényeiben
- SPARK-53319 Az időtípus támogatása try_make_timestamp_ltz() szerint
- SPARK-53696 A BinaryType alapértelmezése bájtokra a PySparkban
- SPARK-55090 DataFrame.toJSON implementálása Python-ügyfélprogramban
Rendszerkörnyezet
- Operációs rendszer: Ubuntu 24.04.3 LTS
- Python: 3.12.3
-
Databricks Connect: 18 (A Databricks Connect folyamatosan frissül a legújabb kiszolgáló nélküli környezetben. Futtassa
pip lista pontos verzió megerősítését az aktuális környezetben.) - Scala: 2.13.16
- JDK: 17
Telepített Python-kódtárak
Ha a helyi Python virtuális környezetben szeretné reprodukálni az 5. kiszolgáló nélküli környezetet, töltse le a requirements-env-5.txt fájlt, és futtassa pip install -r requirements-env-5.txt. Ez a parancs telepíti az összes nyílt forráskódú kódtárat az 5. kiszolgáló nélküli környezetből.
| Könyvtár | Verzió | Könyvtár | Verzió | Könyvtár | Verzió |
|---|---|---|---|---|---|
| aiohappyeyeballs | 2.4.4 | aiohttp | 3.11.10 | aiosignal | 1.2.0 |
| annotált dokumentum | 0.0.4 | széljegyzetes típusok | 0.7.0 | anyio | 4.7.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | arro3-core | 0.6.5 |
| nyíl | 1.3.0 | asttokens | 3.0.0 | astunparse | 1.6.3 |
| Aszinkron-LRU | 2.0.4 | attribútumok | 24.3.0 | automatikus parancs | 2.2.2 |
| azure-common | 1.1.28 | azure-core | 1.37.0 | azure-identity | 1.20.0 |
| azure-mgmt-core | 1.6.0 | azure-mgmt-web (web kezelési modul az Azure-hoz) | 8.0.0 | azure-storage-blob | 12.28.0 |
| Azure-tároló-fájl-adattó (Azure Storage File Data Lake) | 12.22.0 | Bábel | 2.16.0 | backports.tarfile | 1.2.0 |
| beautifulsoup4 | 4.12.3 | fekete | 24.10.0 | fehérítő | 6.2.0 |
| villogó | 1.7.0 | boto3 | 1.40.45 | botocore | 1.40.45 |
| Gyorstár-eszközök | 5.5.1 | tanúsítvány | 2025.4.26 | cffi | 1.17.1 |
| chardet | 4.0.0 | karakterkészlet-normalizáló (charset-normalizer) | 3.3.2 | kattintás | 8.1.8 |
| Cloudpickle | 3.0.0 | kommunikáció | 0.2.1 | ContourPy | 1.3.1 |
| kriptográfia | 44.0.1 | biciklista | 0.11.0 | Cython | 3.1.5 |
| databricks-ügynökök | 1.9.1 | databricks-connect | 18.0.5 | databricks SDK | 0.67.0 |
| adat osztályok JSON-hoz | 0.6.7 | dbus-python | 1.3.2 | debugpy hibakereső eszköz | 1.8.11 |
| dekorátor | 5.1.1 | defusedxml | 0.7.1 | deltalake | 1.1.4 |
| Elavult | 1.2.18 | distlib | 0.3.9 | docstring Markdown-formátummá alakítása | 0.11 |
| Végrehajtó | 1.2.0 | aspektusok áttekintése | 1.1.1 | fastapi | 0.128.0 |
| fastjsonschema | 2.21.1 | fájlzárolás | 3.17.0 | betűtípusok | 4.55.3 |
| FQDN | 1.5.1 | fagyasztott lista | 1.5.0 | fsspec | 2023.5.0 |
| gitdb | 4.0.11 | GitPython | 3.1.43 | google-api-core | 2.28.1 |
| Google-autentikáció | 2.47.0 | google-cloud-core (Google felhő mag) | 2.5.0 | Google felhőtárhely | 3.7.0 |
| google-crc32c | 1.8.0 | google-resumable-media (Google újraindítható média) | 2.8.0 | googleapis-közös-protokollok | 1.65.0 |
| grpcio | 1.67.0 | grpcio-status | 1.67.0 | h11 | 0.16.0 |
| hf-xet | 1.2.0 | httpcore | 1.0.9 | httplib2 | 0.20.4 |
| httpx | 0.28.1 | huggingface_hub | 1.2.4 | Idna | 3.7 |
| importlib_metadata | 8.5.0 | ragoz | 7.3.1 | iniconfig | 1.1.1 |
| ipyflow-core | 0.0.209 | ipykernel | 6.29.5 | ipython | 8.30.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.8.1 | izodátum | 0.7.2 |
| izoduráció | 20.11.0 | jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 |
| jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 | jedi | 0.19.2 |
| Jinja2 | 3.1.6 | rezgés | 0.12.0 | jmespath | 1.0.1 |
| joblib | 1.4.2 | json5 | 0.9.25 | jsonpatch | 1.33 |
| jsonpointer | 3.0.0 | jsonschema | 4.23.0 | jsonschema-specifikációk | 2023.07.01. |
| jupyter-események | 0.12.0 | jupyter-lsp | 2.2.5 | jupyter_kliens | 8.6.3 |
| jupyter_core | 5.7.2 | jupyter_server (Jupyter kiszolgáló) | 2.15.0 | jupyter szerver terminálok | 0.5.3 |
| jupyterlab | 4.3.4 | jupyterlab_pygments | 0.3.0 | jupyterlab_szerver | 2.27.3 |
| jupyterlab_widgets | 1.1.11 | kiwisolver | 1.4.8 | langchain-core | 1.2.6 |
| langchain-openai | 1.1.6 | langsmith | 0.6.1 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | litellm | 1.75.9 |
| markdown-it-py | 2.2.0 | MarkupSafe | 3.0.2 | mályvacukor | 3.26.2 |
| matplotlib | 3.10.0 | matplotlib-inline | 0.1.7 | Mccabe | 0.7.0 |
| mdurl | 0.1.0 | félhangol | 3.1.2 | mlflow-skinny | 3.8.1 |
| mmh3 | 5.2.0 | more-itertools | 10.3.0 | msal | 1.34.0 |
| msal-kiterjesztések | 1.3.1 | többnyelvű szótár | 6.1.0 | mypy kiterjesztések | 1.0.0 |
| nbclient | 0.10.2 | nbconvert | 7.16.6 | nbformat | 5.10.4 |
| nest-asyncio | 1.6.0 | nodeenv | 1.10.0 | jegyzetfüzet | 7.3.2 |
| notebook-shim | 0.2.4 | numpy | 2.1.3 | oauthlib | 3.2.2 |
| openai | 2.14.0 | opentelemetry-api | 1.39.1 | opentelemetry-proto | 1.39.1 |
| opentelemetry-sdk | 1.39.1 | opentelemetry-szemantikai-konvenciók | 0.60b1 | orjson | 3.11.5 |
| Felülbírálja | 7.4.0 | csomagolás | 24,2 | Pandák | 2.2.3 |
| pandocfilters | 1.5.0 | parso | 0.8.4 | útvonal specifikáció (pathspec) | 0.10.3 |
| bűnbak | 1.0.1 | pexpect | 4.8.0 | párna | 11.1.0 |
| pipa | 25.0.1 | Platformdirs | 4.3.7 | ábrázolás | 5.24.1 |
| csatlakozós | 1.5.0 | prometheus_client | 0.21.1 | prompt-toolkit: parancssori eszközkészlet | 3.0.43 |
| propcache | 0.3.1 | proto-plus | 1.27.0 | protobuf | 5.29.4 |
| psutil | 5.9.0 | psycopg2 | 2.9.11 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | py4j | 0.10.9.9 | pyarrow | 21.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.71 |
| pycparser (C és C++ fájlok feldolgozására szolgáló parser) | 2.21 | pydantic (egy Python könyvtár) | 2.10.6 | pydantic_core | 2.27.2 |
| pyflakes (egy program vagy eszköz neve) | 3.2.0 | Pygments | 2.19.1 | PyGObject | 3.48.2 |
| pyiceberg | 0.10.0 | PyJWT | 2.10.1 | pyodbc (Python ODBC interfész) | 5.2.0 |
| pyparsing (egy Python könyvtár a szövegelemzéshez) | 3.2.0 | pyright | 1.1.394 | piroaring | 1.0.3 |
| pytest | 8.3.5 | python-dateutil | Szoftver verzió: 2.9.0.post0 | python-dotenv | 1.2.1 |
| Python JSON naplózó | 3.2.1 | python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.12.2 |
| pytool konfiguráció | 1.2.6 | pytz (egy Python könyvtár az időzóna számításokhoz) | 2024.1 | PyYAML | 6.0.2 |
| pyzmq | 26.2.0 | Hivatkozás | 0.30.2 | reguláris kifejezés | 2024.11.6 |
| requests | 2.32.3 | requests-eszközkészlet | 1.0.0 | rfc3339-validator | 0.1.4 |
| RFC3986-érvényesítő | 0.1.1 | gazdag | 13.9.4 | kötél | 1.13.0 |
| rpds-py | 0.22.3 | Rsa | 4.9.1 | s3transfer | 0.14.0 |
| scikit-learn (egy Python gépi tanulási könyvtár) | 1.6.1 | scipy (tudományos és műszaki számítási Python könyvtár) | 1.15.3 | tengerben született | 0.13.2 |
| Send2Trash | 1.8.2 | setuptools | 78.1.1 | shellingham | 1.5.4 |
| Hat | 1.17.0 | smmap | 5.0.0 | sniffio | 1.3.0 |
| rendezett tárolók | 2.4.0 | levesszűrő | 2.5 | sqlparse | 0.5.5 |
| ssh-import-id | 5.11 | veremadatok | 0.6.3 | Starlette | 0.50.0 |
| strictyaml | 1.7.3 | Kitartás | 9.0.0 | befejezett | 0.17.1 |
| threadpoolctl | 3.5.0 | tiktoken | 0.12.0 | tinycss2 | 1.4.0 |
| tokenize_rt | 6.1.0 | tokenizálók | 0.22.2 | tomli | 2.0.1 |
| tornado | 6.5.1 | tqdm | 4.67.1 | traitlets | 5.14.3 |
| típusőrző | 4.3.0 | typer-slim | 0.21.1 | types-python-dateutil | 2.9.0.20251115 |
| gépelés ellenőrzése | 0.9.0 | typing_extensions (gépelési kiterjesztések) | 4.12.2 | tzdata | 2024.1 |
| ujson (JSON-kezelő könyvtár a Pythonban) | 5.10.0 | felügyelet nélküli frissítések | 0,1 | uri-sablon | 1.3.0 |
| urllib3 | 2.3.0 | uuid_utils | 0.12.0 | uvicorn | 0.40.0 |
| virtualenv | 20.29.3 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| webszínek | 25.10.0 | webkódolások | 0.5.1 | websocket-klient | 1.8.0 |
| Mi a javítás? | 1.0.2 | wheel | 0.45.1 | akármikor | 0.7.3 |
| widgetsnbextension | 3.6.6 | becsomagolva | 1.17.0 | yapf | 0.40.2 |
| jarl | 1.18.0 | cipzár | 3.21.0 | zstandard | 0.23.0 |
Telepített Java- és Scala-kódtárak (Scala 2.13)
| Csoportazonosító | A tárgy azonosítója | Verzió |
|---|---|---|
| com.databricks | databricks-connect_2.13 | 18.0.0 |
| com.fasterxml.jackson.core | jackson-annotációk | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.lihaoyi | ammonite-compiler-interface_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-compiler_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-interp-api_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-interp_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-repl-api_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-repl_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-runtime_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-util_2.13 | 3.0.2 |
| com.lihaoyi | fansi_2.13 | 0.5.0 |
| com.lihaoyi | os-lib_2.13 | 0.11.3 |
| com.lihaoyi | pprint_2.13 | 0.9.0 |
| com.lihaoyi | scalaparse_2.13 | 3.1.1 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.json4s | json4s-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson_2.13 | 4.0.7 |
| sh.almond | channels_2.13 | 0.14.1-1 |
| sh.almond | interpreter-api_2.13 | 0.14.1-1 |
| sh.almond | interpreter_2.13 | 0.14.1-1 |
| sh.almond | jupyter-api_2.13 | 0.14.1-1 |
| sh.almond | kernel_2.13 | 0.14.1-1 |
| sh.almond | logger_2.13 | 0.14.1-1 |
| sh.almond | protocol_2.13 | 0.14.1-1 |
| sh.almond | scala-interpreter_2.13.16 | 0.14.1-1 |
| sh.almond | scala-kernel_2.13.16 | 0.14.1-1 |
| sh.almond | shared-directives_2.13 | 0.14.1-1 |