Környezet 4. verzió

Ez a cikk a 4. környezeti verzió rendszerkörnyezeti információit ismerteti.

Az alkalmazás kompatibilitásának biztosítása érdekében a kiszolgáló nélküli számítási feladatok egy verziószámozott API-t használnak, más néven a környezeti verziót, amely továbbra is kompatibilis marad az újabb kiszolgálóverziókkal.

A kiszolgáló nélküli jegyzetfüzetek Környezet oldali paneljén választhatja ki azt az alapkörnyezetet, amely tartalmazza ezt a környezeti verziót. Lásd: Alapkörnyezet kiválasztása.

Új funkciók és fejlesztések

Az alábbi új funkciók és fejlesztések elérhetők a környezet 4. verziójában.

Spark ML-támogatás kiszolgáló nélküli számításhoz

A kiszolgáló nélküli számítás mostantól támogatja a Spark ML-t a PySparkban (pyspark.ml) és a Sparkhoz készült MLflow -t (mlflow.spark) a 4- es környezetben. A kiszolgáló nélküli számítás hiperparaméter-finomhangolásához a Databricks az Optuna és a Joblib Spark használatát javasolja.

A SparkML kiszolgáló nélküli számításon való futtatásakor a következő korlátozások érvényesek:

  • A modell maximális mérete 100 MB.
  • A memóriabeli modellek maximális mérete munkamenetenként 1 GB.
  • A famodellek betanítása korán leáll, ha a modell mérete várhatóan meghaladja a 100 MB-ot.
  • A következő SparkML-modellek nem támogatottak:
    • ElosztottLDAModell
    • FPGrowthModel

Scala és Java UDF-ek a Unity Katalógusban

A kiszolgáló nélküli környezet 4-es verziója támogatja a Scalát és Java felhasználó által definiált függvényeket (UDF-eket) a Unity Catalogban. A Unity Catalog felügyelete alatt egyéni Scala- és Java-függvényeket hozhat létre, regisztrálhat és oszthat meg különböző számítási környezetek között. A Unity Catalog Scala UDF-jei esetében csak a Scala 2.13.16-os verziója támogatott. A Scala és Java UDF-ek a Unity Katalógusban JDK 17-et igényelnek.

További információ: Scala és Java felhasználó által definiált függvények (UDF-ek) a Unity Catalogban.

A skaláris Python UDF-ek mostantól támogatják a szolgáltatás hitelesítő adatait

A skaláris Python UDF-ek a Unity Catalog szolgáltatás hitelesítő adataival biztonságosan hozzáférhetnek a külső felhőszolgáltatásokhoz. További információkért lásd: Szolgáltatás-hitelesítő adatok Python UDF-ekben.

A PySpark és a Spark Connect mostantól támogatja a DataFrames API-t df.mergeInto

A PySpark és a Spark Connect mostantól támogatja az API-t, amely korábban csak a df.mergeInto Scala számára volt elérhető.

API-frissítések

A környezet 4. verziója tartalmazza az alábbi API frissítéseket:

  • SPARK-50915 Hozzáadásra kerül getCondition, és elavulttá válik getErrorClass a következőben: PySparkException
  • SPARK-50719 A PySpark támogatása interruptOperation
  • SPARK-50718 A PySpark támogatása addArtifact(s)
  • SPARK-49530 Pie-alplotok támogatása a PySpark-ábrázolásban
  • SPARK-50357 Támogatási Interrupt(Tag|All) API-k a PySparkhoz
  • SPARK-51178 Megfelelő PySpark-hiba elhárítása ahelyett, hogy SparkConnectGrpcException
  • SPARK-51227 PySpark Connect _minimum_grpc_version javítása az 1.67.0-hoz
  • SPARK-50778 Hozzáadás metadataColumn a PySpark DataFrame-hez
  • SPARK-50311 Támogatás (add|remove|get|clear)Tag(s) API-k a PySparkhoz
  • SPARK-50310 Jelző hozzáadása a PySpark letiltásához DataFrameQueryContext
  • SPARK-50238 Variant-támogatás hozzáadása a PySpark UDFs/UDTFs/UDAFs és Python UC UDF-jeiben
  • SPARK-50183 A Pandas API és a PySpark Plotting belső funkcióinak egységesítése
  • SPARK-50170 Ugrás _invoke_internal_function_over_columns ide: pyspark.sql.utils
  • SPARK-50167 A PySpark hibaüzenetek és importálások ábrázolásának javítása
  • SPARK-48961 Konzisztens paraméternév PySparkException létrehozása a JVM-sel
  • SPARK-49567 Klasszikus használata vanília helyett a PySpark kódbázisából
  • SPARK-48755transformWithState PySpark-alap implementálása és ValueState támogatása
  • SPARK-48714 Implementálás DataFrame.mergeInto a PySparkban
  • SPARK-47365 DataFrame-metódus hozzáadása toArrow() a PySparkhoz
  • SPARK-48075 PySpark avro-függvények típusellenőrzése
  • SPARK-46984 Eltávolít pyspark.copy_func
  • SPARK-46213 Bevezetés PySparkImportError a hiba-keretrendszerbe
  • SPARK-46226 Az összes fennmaradó elemet migrálni a PySpark hibakeretrendszerébe
  • SPARK-45450 Import javítása a PEP8: pyspark.pandas és pyspark (core) szerint

Rendszerkörnyezet

  • Operációs rendszer: Ubuntu 24.04.2 LTS
  • Python: 3.12.3
  • Databricks Connect: 17 (A Databricks Connect folyamatosan frissül a legújabb környezeti verzióban. Fuss pip list le, hogy pontosan megerősítsd a verziót a jelenlegi környezetedben.)
  • Scala: 2.13.16
  • JDK: 17

Telepített Python-kódtárak

A 4-es verziójú környezet helyi Python-virtuális környezetben történő reprodukálásához töltsd le a requirements-env-4.txt fájlt, és futtasd a pip install -r requirements-env-4.txt parancsot. Ez a parancs telepíti az összes könyvtárat a környezet 4-es verziójából.

Library verzió Library verzió Library verzió
széljegyzetes típusok 0.7.0 anyio 4.6.2 argon2-cffi 21.3.0
argon2-cffi-kötések 21.2.0 nyíl 1.3.0 asttokens 2.0.5
astunparse 1.6.3 async-lru 2.0.4 jellemzők 24.3.0
azure-common 1.1.28 azure-core 1.34.0 azure-identity 1.20.0
azure-mgmt-core 1.5.0 azure-mgmt-web 8.0.0 azure-storage-blob 12.23.0
azure-storage-file-datalake (Azure-tároló fájl-adattó) 12.17.0 Bábel 2.16.0 beautifulsoup4 4.12.3
fekete 24.10.0 fehérítő 6.2.0 boto3 1.36.2
botocore 1.36.3 cachetools 5.5.1 tanúsítvány 2025.01.31
cffi 1.17.1 chardet könyvtár 4.0.0 charset-normalizer 3.3.2
kattint 8.1.7 Cloudpickle 3.0.0 Komm 0.2.1
contourpy 1.3.1 kriptográfia 43.0.3 biciklista 0.11.0
Cython 3.0.12 databricks-connect 17.3.12 databricks-SDK 0.49.0
debugpy 1.8.11 dekorátor 5.1.1 defusedxml 0.7.1
Deprecated 1.2.13 docstring-to-markdown 0.11 Végrehajtó 0.8.3
aspektusok áttekintése 1.1.1 fastapi 0.115.12 fastjsonschema 2.21.1
betűtípusok 4.55.3 Fqdn 1.5.1 fsspec 2023.5.0
gitdb 4.0.11 GitPython 3.1.43 google-api-core 2.20.0
google-hitelesítés 2.40.0 google-cloud-core 2.4.3 google-felhő-tároló 3.1.0
google-crc32c 1.7.1 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.67.0 grpcio-status 1.67.0 h11 0.14.0
httpcore 1.0.2 httpx 0.27.0 Idna 3.7
importlib-metadata 6.6.0 iniconfig 1.1.1 ipyflow-core 0.0.209
ipykernel 6.29.5 ipython 8.30.0 ipython-genutils 0.2.0
ipywidgets 7.8.1 isodate 0.6.1 izoduráció 20.11.0
jedi 0.19.2 Jinja2 3.1.5 jmespath 1.0.1
joblib 1.4.2 json5 0.9.25 jsonpointer 3.0.0
jsonschema 4.23.0 jsonschema-specifikációk 2023.7.1 jupyter-events 0.10.0
jupyter-lsp 2.2.0 jupyter_client 8.6.3 jupyter_core 5.7.2
jupyter_server 2.14.1 jupyter_server_terminals 0.4.4 jupyterlab 4.3.4
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 jupyterlab_server 2.27.3
kiwisolver 1.4.8 markdown-it-py 2.2.0 MarkupSafe 3.0.2
matplotlib 3.10.0 matplotlib-inline 0.1.7 Mccabe 0.7.0
mdurl 0.1.0 félhangol 2.0.4 mlflow-skinny 2.22.0
mmh3 5.1.0 msal 1.32.3 msal-extensions 1.3.1
mypy-extensions 1.0.0 nbclient 0.8.0 nbconvert 7.16.4
nbformat 5.10.4 nest-asyncio 1.6.0 nodeenv 1.9.1
jegyzetfüzet 7.3.2 notebook_shim 0.2.3 numpy 2.1.3
opentelemetry-api 1.32.1 opentelemetry-sdk 1.32.1 opentelemetry-szemantic-conventions 0,53b1
Felülbírálja 7.4.0 csomagolás 24.1 Pandák 2.2.3
pandocfilters 1.5.0 parso 0.8.4 pathspec 0.10.3
Patsy 1.0.1 pexpect 4.8.0 párna 11.1.0
pip 25.0.1 platformdirs 3.10.0 ábrázolás 5.24.1
pluggy 1.5.0 prometheus_client 0.21.0 prompt-toolkit: parancssori eszközkészlet 3.0.43
proto-plus 1.26.1 protobuf 5.29.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py4j 0.10.9.9 pyarrow 19.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.71 pycparser (C és C++ fájlok feldolgozására szolgáló parser) 2.21
pydantic 2.10.6 pydantic_core 2.27.2 pyflakes 3.2.0
Pygments 2.15.1 pyiceberg 0.9.0 PyJWT 2.10.1
pyodbc 5.2.0 pyparsing (egy Python könyvtár a szövegelemzéshez) 3.2.0 pyright 1.1.394
pytest 8.3.5 python-dateutil 2.9.0.post0 python-json-logger 3.2.1
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.12.0 pytoolconfig 1.2.6
pytz (egy Python könyvtár az időzóna számításokhoz) 2024.1 PyYAML 6.0.2 pyzmq 26.2.0
Hivatkozás 0.30.2 kérelmek 2.32.3 rfc3339-validator 0.1.4
rfc3986-validator 0.1.1 gazdag 13.9.4 kötél 1.12.0
rpds-py 0.22.3 Rsa 4.9.1 s3transfer 0.11.3
scikit-learn (egy Python gépi tanulási könyvtár) 1.6.1 scipy (tudományos és műszaki számítási Python könyvtár) 1.15.1 tengeri 0.13.2
Send2Trash 1.8.2 smmap 5.0.0 sniffio 1.3.0
sortedcontainers 2.4.0 SoupSieve 2,5 sqlparse 0.5.3
veremadatok 0.2.0 starlette 0.46.2 statsmodels - statisztikai szoftvercsomag 0.14.4
strictyaml 1.7.3 Kitartás 9.0.0 befejezett 0.17.1
threadpoolctl 3.5.0 tinycss2 1.4.0 tokenize_rt 6.1.0
tomli 2.0.1 tornádó 6.4.2 traitlets 5.14.3
types-python-dateutil 2.9.0.20241206 typing_extensions 4.12.2 tzdata 2024.1
ujson 5.10.0 uri-sablon 1.3.0 urllib3 2.3.0
uvicorn 0.34.2 wcwidth 0.2.5 webszínek 24.11.1
webkódolások 0.5.1 websocket-client 1.8.0 whatthepatch 1.0.2
widgetsnbextension 3.6.6 becsomagolva 1.17.0 yapf 0.40.2
zipp 3.21.0 zstandard 0.23.0

Telepített Java- és Scala-kódtárak (Scala 2.13)

Csoportazonosító A tárgy azonosítója verzió
com.databricks databricks-connect_2.13 17.3.1
com.databricks databricks-dbutils-scala_2.13 0.1.4
com.databricks databricks-sdk-java 0.52.0
com.fasterxml.jackson.core jackson-annotációk 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.2
com.google.auth google-hitelesítési-könyvtár-azonosítók (google-auth-library-credentials) 1.20.0
com.google.auth google-auth-library-oauth2-http 1.20.0
com.google.auto.value automatikus érték-annotációk 1.10.4
com.google.code.gson gson 2.10.1
com.google.errorprone error_prone_annotations 2.18.0
com.google.guava failureaccess 1.0.1
com.google.guava guava 32.0.1-jre
com.google.guava listenablefuture 9999.0-empty-to-avoid-conflict-with-guava
com.google.http-client google-http-client 1.43.3
com.google.http-client google-http-client-gson 1.43.3
com.google.j2objc j2objc-annotations 2.8
com.lihaoyi ammonite-compiler-interface_2.13.16 3.0.8
com.lihaoyi ammonite-compiler_2.13.16 3.0.8
com.lihaoyi ammonite-interp-api_2.13.16 3.0.8
com.lihaoyi ammonite-interp_2.13.16 3.0.8
com.lihaoyi ammonite-repl-api_2.13.16 3.0.8
com.lihaoyi ammonite-repl_2.13.16 3.0.8
com.lihaoyi ammonite-runtime_2.13.16 3.0.8
com.lihaoyi ammonite-terminal_2.13 3.0.8
com.lihaoyi ammonite-util_2.13 3.0.8
com.lihaoyi fansi_2.13 0.5.1
com.lihaoyi mainargs_2.13 0.7.6
com.lihaoyi os-lib_2.13 0.11.3
com.lihaoyi pprint_2.13 0.9.0
com.lihaoyi scalaparse_2.13 3.1.1
com.lihaoyi scalatags_2.13 0.13.1
com.thesamet.scalapb lenses_2.13 0.11.15
com.thesamet.scalapb scalapb-runtime_2.13 0.11.15
com.thoughtworks.paranamer paranamer 2.8
commons-codec commons-codec 1.11
commons-io commons-io 2.14.0
commons-logging commons-logging 1.3.2
io.github.java-diff-utils java-diff-utils 4.15
io.grpc grpc-context 1.27.2
io.opencensus opencensus-api 0.31.1
io.opencensus opencensus-contrib-http-util 0.31.1
org.apache.commons commons-configuration2 2.11.0
org.apache.commons commons-lang3 3.14.0
org.apache.commons commons-text 1.12.0
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j-impl 2.24.3
org.checkerframework checker-qual 3.33.0
org.jline jline 3.27.1
org.jline jline-reader 3.14.1
org.jline jline-terminal 3.14.1
org.json json 20240303
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang scalap_2.13 2.13.13
org.scala-lang.modules scala-collection-compat_2.13 2.13.0
org.scala-lang.modules scala-java8-compat_2.13 1.0.2
org.scalameta io_2.13 4.13.10
org.scalameta mtags-felületek 1.6.3
org.scalameta mtags-shared_2.13.16 1.6.3
org.scalameta mtags_2.13.16 1.6.3
org.scalameta parsers_2.13 4.13.10
org.scalameta scalameta_2.13 4.13.10
org.scalameta semanticdb-scalac-core_2.13.16 4.13.10
org.scalameta trees_2.13 4.13.10
org.slf4j slf4j-api 2.0.10
org.slf4j slf4j-nop 1.7.36
sh.almond channels_2.13 0.14.5
sh.almond coursier-logger_2.13 0.14.5
sh.almond interpreter-api_2.13 0.14.5
sh.almond interpreter_2.13 0.14.5
sh.almond jupyter-api_2.13 0.14.5
sh.almond kernel_2.13 0.14.5
sh.almond logger-scala2-macros_2.13 0.14.5
sh.almond logger_2.13 0.14.5
sh.almond protocol_2.13 0.14.5
sh.almond scala-interpreter_2.13.16 0.14.5
sh.almond scala-kernel-api_2.13.16 0.14.5
sh.almond scala-kernel_2.13.16 0.14.5
sh.almond shared-directives_2.13 0.14.5
sh.almond toree-hooks_2.13 0.14.5
  • Last updated on