Jegyzet
Az oldalhoz való hozzáférés engedélyezést igényel. Próbálhatod be jelentkezni vagy könyvtárat váltani.
Az oldalhoz való hozzáférés engedélyezést igényel. Megpróbálhatod a könyvtár váltását.
Ez a cikk a kiszolgáló nélküli környezet 4-es verziójának rendszerkörnyezeti adatait ismerteti.
Az alkalmazás kompatibilitásának biztosítása érdekében a kiszolgáló nélküli számítási feladatok egy verziószámozott API-t használnak, más néven a környezeti verziót, amely továbbra is kompatibilis marad az újabb kiszolgálóverziókkal.
A környezeti verziót a kiszolgáló nélküli jegyzetfüzetek Környezet oldali paneljén választhatja ki. Lásd: Alapkörnyezet kiválasztása.
Új funkciók és fejlesztések
A következő új funkciók és fejlesztések érhetők el a 4. kiszolgáló nélküli környezetben.
Spark ML-támogatás kiszolgáló nélküli számításhoz
A kiszolgáló nélküli számítás mostantól támogatja a Spark ML-t a PySparkban (pyspark.ml) és a Sparkhoz készült MLflow -t (mlflow.spark) a 4- es környezetben. A kiszolgáló nélküli számítás hiperparaméter-finomhangolásához a Databricks az Optuna és a Joblib Spark használatát javasolja.
A SparkML kiszolgáló nélküli számításon való futtatásakor a következő korlátozások érvényesek:
- A modell maximális mérete 100 MB.
- A memóriabeli modellek maximális mérete munkamenetenként 1 GB.
- A famodellek betanítása korán leáll, ha a modell mérete várhatóan meghaladja a 100 MB-ot.
- A következő SparkML-modellek nem támogatottak:
- ElosztottLDAModell
- FPGrowthModel
A skaláris Python UDF-ek mostantól támogatják a szolgáltatás hitelesítő adatait
A skaláris Python UDF-ek a Unity Catalog szolgáltatás hitelesítő adataival biztonságosan hozzáférhetnek a külső felhőszolgáltatásokhoz. További információ: Szolgáltatás hitelesítő adatai a skaláris Python UDF-ekben.
A PySpark és a Spark Connect mostantól támogatja a DataFrames API-t df.mergeInto
A PySpark és a Spark Connect mostantól támogatja az API-t, amely korábban csak a df.mergeInto Scala számára volt elérhető.
API-frissítések
A kiszolgáló nélküli 4. környezet a következő API-frissítéseket tartalmazza:
-
SPARK-50915 Hozzáadás
getConditionés elavulásgetErrorClassa következőben:PySparkException -
SPARK-50719 A PySpark támogatása
interruptOperation -
SPARK-50718 A PySpark támogatása
addArtifact(s) - SPARK-49530 Pie-alplotok támogatása a PySpark-ábrázolásban
-
SPARK-50357 Támogatási
Interrupt(Tag|All)API-k a PySparkhoz -
SPARK-51178 Megfelelő PySpark-hiba elhárítása ahelyett, hogy
SparkConnectGrpcException -
SPARK-51227 PySpark Connect
_minimum_grpc_versionjavítása az 1.67.0-hoz -
SPARK-50778 Hozzáadás
metadataColumna PySpark DataFrame-hez -
SPARK-50311 Támogatási
(add|remove|get|clear)Tag(s)API-k a PySparkhoz -
SPARK-50310 Jelző hozzáadása a PySpark letiltásához
DataFrameQueryContext - SPARK-50238 Variant-támogatás hozzáadása a PySpark UDFs/UDTFs/UDAFs és Python UC UDF-jeiben
- SPARK-50183 A Pandas API és a PySpark Plotting belső funkcióinak egységesítése
-
SPARK-50170 Ugrás
_invoke_internal_function_over_columnside:pyspark.sql.utils - SPARK-50167 A PySpark hibaüzenetek és importálások ábrázolásának javítása
-
SPARK-48961 Konzisztens paraméternév
PySparkExceptionlétrehozása a JVM-sel - SPARK-49567 Klasszikus használata vanília helyett a PySpark kódbázisából
-
SPARK-48755
transformWithStatePySpark-alap implementálása ésValueStatetámogatása -
SPARK-48714 Implementálás
DataFrame.mergeIntoa PySparkban -
SPARK-47365 DataFrame-metódus hozzáadása
toArrow()a PySparkhoz - SPARK-48075 PySpark avro-függvények típusellenőrzése
-
SPARK-46984 Eltávolít
pyspark.copy_func -
SPARK-46213 Bevezetés
PySparkImportErrora hiba-keretrendszerbe -
SPARK-46226 Az összes fennmaradó migrálás
RuntimeErrora PySpark hiba keretrendszerébe -
SPARK-45450 Import javítása a PEP8:
pyspark.pandaséspyspark(core) szerint
Rendszerkörnyezet
- Operációs rendszer: Ubuntu 24.04.2 LTS
- Python: 3.12.3
-
Databricks Connect: 17 (A Databricks Connect folyamatosan frissül a kiszolgáló nélküli környezet legújabb verziójában. Futtassa
pip lista pontos verzió megerősítését az aktuális környezetben.) - Scala: 2.13.16
- JDK: 17
Telepített Python-kódtárak
A kiszolgáló nélküli 4. környezet helyi Python virtuális környezetben való reprodukálásához töltse le a requirements-env-4.txt fájlt, és futtassa a fájlt pip install -r requirements-env-4.txt. Ez a parancs telepíti az összes nyílt forráskódú kódtárat a kiszolgáló nélküli 4. környezetből.
| Library | verzió | Library | verzió | Library | verzió |
|---|---|---|---|---|---|
| széljegyzetes típusok | 0.7.0 | anyio | 4.6.2 | argon2-cffi | 21.3.0 |
| argon2-cffi-bindings | 21.2.0 | nyíl | 1.3.0 | asttokens | 2.0.5 |
| astunparse | 1.6.3 | async-lru | 2.0.4 | attrs | 24.3.0 |
| autocommand | 2.2.2 | azure-common | 1.1.28 | azure-core | 1.34.0 |
| azure-identity | 1.20.0 | azure-mgmt-core | 1.5.0 | azure-mgmt-web | 8.0.0 |
| azure-storage-blob | 12.23.0 | azure-storage-file-datalake | 12.17.0 | Bábel | 2.16.0 |
| backports.tarfile | 1.2.0 | beautifulsoup4 | 4.12.3 | fekete | 24.10.0 |
| fehérítő | 6.2.0 | villogó | 1.7.0 | boto3 | 1.36.2 |
| botocore | 1.36.3 | cachetools | 5.5.1 | minősítés | 2025.1.31 |
| cffi | 1.17.1 | karakterkészlet | 4.0.0 | charset-normalizer | 3.3.2 |
| kattint | 8.1.7 | Cloudpickle | 3.0.0 | Comm | 0.2.1 |
| contourpy | 1.3.1 | kriptográfia | 43.0.3 | biciklista | 0.11.0 |
| Cython | 3.0.12 | databricks-connect | 17.2.3 | databricks-sdk | 0.49.0 |
| dbus-python | 1.3.2 | hibakeresés | 1.8.11 | dekorátor | 5.1.1 |
| defusedxml | 0.7.1 | Deprecated | 1.2.13 | distlib | 0.3.9 |
| docstring-to-markdown | 0.11 | Végrehajtó | 0.8.3 | aspektusok áttekintése | 1.1.1 |
| fastapi | 0.115.12 | fastjsonschema | 2.21.1 | filelock | 3.18.0 |
| betűtípusok | 4.55.3 | Fqdn | 1.5.1 | fsspec | 2023.5.0 |
| gitdb | 4.0.11 | GitPython | 3.1.43 | google-api-core | 2.20.0 |
| google-hitelesítés | 2.40.0 | google-cloud-core | 2.4.3 | google-cloud-storage | 3.1.0 |
| google-crc32c | 1.7.1 | google-resumable-media | 2.7.2 | googleapis-common-protos | 1.65.0 |
| grpcio | 1.67.0 | grpcio-status | 1.67.0 | h11 | 0.14.0 |
| httpcore | 1.0.2 | httplib2 | 0.20.4 | httpx | 0.27.0 |
| Idna | 3.7 | importlib-metadata | 6.6.0 | importlib_resources | 6.4.0 |
| ragoz | 7.3.1 | iniconfig | 1.1.1 | ipyflow-core | 0.0.209 |
| ipykernel | 6.29.5 | ipython | 8.30.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.8.1 | isodate | 0.6.1 | izoduráció | 20.11.0 |
| jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 |
| jedi | 0.19.2 | Jinja2 | 3.1.5 | jmespath | 1.0.1 |
| joblib | 1.4.2 | json5 | 0.9.25 | jsonpointer | 3.0.0 |
| jsonschema | 4.23.0 | jsonschema-specifikációk | 2023.7.1 | jupyter-events | 0.10.0 |
| jupyter-lsp | 2.2.0 | jupyter_client | 8.6.3 | jupyter_core | 5.7.2 |
| jupyter_server | 2.14.1 | jupyter_server_terminals | 0.4.4 | jupyterlab | 4.3.4 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgetek | 1.0.0 | jupyterlab_server | 2.27.3 |
| kiwisolver | 1.4.8 | launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 |
| lazr.uri | 1.0.6 | markdown-it-py | 2.2.0 | MarkupSafe | 3.0.2 |
| matplotlib | 3.10.0 | matplotlib-inline | 0.1.7 | Mccabe | 0.7.0 |
| mdurl | 0.1.0 | félhangol | 2.0.4 | mlflow-skinny | 2.22.0 |
| mmh3 | 5.1.0 | more-itertools | 10.3.0 | msal | 1.32.3 |
| msal-extensions | 1.3.1 | mypy-extensions | 1.0.0 | nbclient | 0.8.0 |
| nbconvert | 7.16.4 | nbformat | 5.10.4 | nest-asyncio | 1.6.0 |
| nodeenv | 1.9.1 | jegyzetfüzet | 7.3.2 | notebook_shim | 0.2.3 |
| numpy | 2.1.3 | oauthlib | 3.2.2 | opentelemetry-api | 1.32.1 |
| opentelemetry-sdk | 1.32.1 | opentelemetry-szemantic-conventions | 0,53b1 | Felülbírálja | 7.4.0 |
| csomagolás | 24.1 | Pandák | 2.2.3 | pandocfilters | 1.5.0 |
| parso | 0.8.4 | pathspec | 0.10.3 | Patsy | 1.0.1 |
| pexpect | 4.8.0 | párna | 11.1.0 | mag | 25.0.1 |
| platformdirs | 3.10.0 | ábrázolás | 5.24.1 | pluggy | 1.5.0 |
| prometheus_client | 0.21.0 | prompt-toolkit: parancssori eszközkészlet | 3.0.43 | proto-plus | 1.26.1 |
| protobuf | 5.29.4 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | py4j | 0.10.9.9 |
| pyarrow | 19.0.1 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pyccolo | 0.0.71 | pycparser (C és C++ fájlok feldolgozására szolgáló parser) | 2.21 | pydantic | 2.10.6 |
| pydantic_core | 2.27.2 | pyflakes | 3.2.0 | Pygments | 2.15.1 |
| PyGObject | 3.48.2 | pyiceberg | 0.9.0 | PyJWT | 2.10.1 |
| pyodbc | 5.2.0 | pyparsing (egy Python könyvtár a szövegelemzéshez) | 3.2.0 | pyright | 1.1.394 |
| pyspark | 4.0.0+databricks.connect.17.2.3 | pytest | 8.3.5 | python-dateutil | 2.9.0.post0 |
| python-json-logger | 3.2.1 | python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.12.0 |
| pytoolconfig | 1.2.6 | pytz (egy Python könyvtár az időzóna számításokhoz) | 2024.1 | PyYAML | 6.0.2 |
| pyzmq | 26.2.0 | Viszonyítási | 0.30.2 | kérelmek | 2.32.3 |
| rfc3339-validator | 0.1.4 | rfc3986-validator | 0.1.1 | gazdag | 13.9.4 |
| kötél | 1.12.0 | rpds-py | 0.22.3 | Rsa | 4.9.1 |
| s3transfer | 0.11.3 | scikit-learn (egy Python gépi tanulási könyvtár) | 1.6.1 | scipy (tudományos és műszaki számítási Python könyvtár) | 1.15.1 |
| tengeri | 0.13.2 | Send2Trash | 1.8.2 | setuptools | 74.0.0 |
| Hat | 1.16.0 | smmap | 5.0.0 | sniffio | 1.3.0 |
| rendezésikontainers | 2.4.0 | levessieve | 2.5 | sqlparse | 0.5.3 |
| ssh-import-id | 5.11 | veremadatok | 0.2.0 | starlette | 0.46.2 |
| statsmodels - statisztikai szoftvercsomag | 0.14.4 | strictyaml | 1.7.3 | Kitartás | 9.0.0 |
| terminado | 0.17.1 | threadpoolctl | 3.5.0 | tinycss2 | 1.4.0 |
| tokenize_rt | 6.1.0 | tomli | 2.0.1 | tornádó | 6.4.2 |
| árulók | 5.14.3 | typeguard | 4.3.0 | types-python-dateutil | 2.9.0.20241206 |
| typing_extensions | 4.12.2 | tzdata | 2024.1 | ujson | 5.10.0 |
| felügyelet nélküli frissítések | 0.1 | uri-sablon | 1.3.0 | urllib3 | 2.3.0 |
| uvicorn | 0.34.2 | virtualenv | 20.29.3 | wadllib | 1.3.6 |
| wcwidth | 0.2.5 | webszínek | 24.11.1 | webkódolások | 0.5.1 |
| websocket-client | 1.8.0 | whatthepatch | 1.0.2 | wheel | 0.45.1 |
| widgetsnbextension | 3.6.6 | becsomagolva | 1.17.0 | yapf | 0.40.2 |
| zipp | 3.21.0 | zstandard | 0.23.0 |
Telepített Java- és Scala-kódtárak (Scala 2.13 klaszterverzió)
| Csoportazonosító | A tárgy azonosítója | verzió |
|---|---|---|
| com.databricks | databricks-connect_2.13 | 17.2.0 |
| com.fasterxml.jackson.core | jackson-annotációk | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.lihaoyi | ammonite-compiler-interface_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-compiler_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-interp-api_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-interp_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-repl-api_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-repl_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-runtime_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-util_2.13 | 3.0.2 |
| com.lihaoyi | fansi_2.13 | 0.5.0 |
| com.lihaoyi | os-lib_2.13 | 0.11.3 |
| com.lihaoyi | pprint_2.13 | 0.9.0 |
| com.lihaoyi | scalaparse_2.13 | 3.1.1 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.json4s | json4s-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson_2.13 | 4.0.7 |
| sh.almond | channels_2.13 | 0.14.1-1 |
| sh.almond | interpreter-api_2.13 | 0.14.1-1 |
| sh.almond | interpreter_2.13 | 0.14.1-1 |
| sh.almond | jupyter-api_2.13 | 0.14.1-1 |
| sh.almond | kernel_2.13 | 0.14.1-1 |
| sh.almond | logger_2.13 | 0.14.1-1 |
| sh.almond | protocol_2.13 | 0.14.1-1 |
| sh.almond | scala-interpreter_2.13.16 | 0.14.1-1 |
| sh.almond | scala-kernel_2.13.16 | 0.14.1-1 |
| sh.almond | shared-directives_2.13 | 0.14.1-1 |