Compartilhar via

Ambiente sem servidor versão 4

Este artigo descreve as informações de ambiente do sistema para o ambiente sem servidor versão 4.

Para garantir a compatibilidade com o aplicativo, as cargas de trabalho sem servidor usam uma API com versão, conhecida como a versão do ambiente, que permanece compatível com versões de servidor mais recentes.

Você pode selecionar a versão do ambiente usando o painel lateral ambiente em seus blocos de anotações sem servidor. Consulte Selecionar uma versão do ambiente.

Novos recursos e melhorias

Os novos recursos e melhorias a seguir estão disponíveis no ambiente sem servidor 4.

Suporte ao Spark ML na computação sem servidor

A computação sem servidor agora dá suporte ao Spark ML no PySpark (pyspark.ml) e ao MLflow para Spark (mlflow.spark) no ambiente versão 4. Para ajuste de hiperparâmetro na computação sem servidor, o Databricks recomenda usar o Optuna e o Joblib Spark.

As seguintes limitações se aplicam ao executar o SparkML na computação sem servidor:

  • O tamanho máximo do modelo é de 100 MB.
  • O tamanho total máximo de modelos na memória por sessão é de 1 GB.
  • O treinamento do modelo de árvore será interrompido mais cedo se o tamanho do modelo estiver prestes a exceder 100 MB.
  • Não há suporte para os seguintes modelos SparkML:
    • Modelo LDA Distribuído
    • FPGrowthModel

As UDFs escalares do Python agora dão suporte a credenciais de serviço

UDFs escalares do Python podem usar credenciais de serviço do Catálogo do Unity para acessar com segurança serviços de nuvem externos. Para obter mais informações, consulte as credenciais de serviço em UDFs escalares do Python.

O PySpark e o Spark Connect agora dão suporte à API dataframes df.mergeInto

O PySpark e o Spark Connect agora dão suporte à df.mergeInto API, que anteriormente só estava disponível para Scala.

Atualizações de API

O ambiente sem servidor 4 inclui as seguintes atualizações de API:

  • SPARK-50915 Adicionar getCondition e preterir getErrorClass em PySparkException
  • SPARK-50719 Suporte interruptOperation para PySpark
  • SPARK-50718 Suporte addArtifact(s) para PySpark
  • SPARK-49530 Suporte a subtramas de pizza na plotagem do PySpark
  • SPARK-50357 APIs de suporte Interrupt(Tag|All) para PySpark
  • SPARK-51178 Gerar erro de PySpark adequado em vez de SparkConnectGrpcException
  • SPARK-51227 Corrigir o PySpark Connect _minimum_grpc_version para 1.67.0
  • SPARK-50778 Adicionar metadataColumn ao PySpark DataFrame
  • SPARK-50311 APIs de suporte (add|remove|get|clear)Tag(s) para PySpark
  • SPARK-50310 Adicionar um sinalizador para desabilitar DataFrameQueryContext o PySpark
  • SPARK-50238 Adicionar suporte variant em UDFs do PySpark/UDTFs/UDAFs e UDFs do Python UC
  • SPARK-50183 Unificar as funções internas para a API do Pandas e o Plotagem do PySpark
  • SPARK-50170 Mover _invoke_internal_function_over_columns para pyspark.sql.utils
  • SPARK-50167 Melhorar as importações e mensagens de erro de plotagem do PySpark
  • SPARK-48961 Tornar a nomenclatura de parâmetro consistente PySparkException com a JVM
  • SPARK-49567 Usar clássico em vez de baunilha da base de código do PySpark
  • SPARK-48755transformWithState Suporte e ValueState implementação base do PySpark
  • SPARK-48714 Implementar DataFrame.mergeInto no PySpark
  • SPARK-47365 Adicionar toArrow() o método DataFrame ao PySpark
  • SPARK-48075 Verificação de tipo para funções do Avro do PySpark
  • SPARK-46984 Retirar pyspark.copy_func
  • SPARK-46213 Introduzir PySparkImportError para a estrutura de erros
  • SPARK-46226 Migrar todos os restantes RuntimeError para a estrutura de erros do PySpark
  • SPARK-45450 Corrigir importações de acordo com PEP8: pyspark.pandas e pyspark (núcleo)

Ambiente do sistema

  • Sistema operacional: Ubuntu 24.04.2 LTS
  • Python: 3.12.3
  • Databricks Connect: 17 (o Databricks Connect é atualizado continuamente na versão mais recente do ambiente sem servidor. Execute pip list para confirmar a versão exata em seu ambiente atual.)
  • Scala: 2.13.16
  • JDK: 17

Bibliotecas do Python instaladas

Para reproduzir o ambiente sem servidor 4 em seu ambiente virtual do Python local, baixe o arquivo requirements-env-4.txt e execute pip install -r requirements-env-4.txt. Esse comando instala todas as bibliotecas de software livre do ambiente sem servidor 4.

Library Versão Library Versão Library Versão
tipos anotados 0.7.0 anyio 4.6.2 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 flecha 1.3.0 asttokens 2.0.5
astunparse 1.6.3 async-lru 2.0.4 attrs 24.3.0
autocomando 2.2.2 azure-common 1.1.28 azure-core 1.34.0
azure-identity 1.20.0 azure-mgmt-core 1.5.0 azure-mgmt-web 8.0.0
azure-storage-blob 12.23.0 azure-storage-file-datalake 12.17.0 Babel 2.16.0
backports.tarfile 1.2.0 beautifulsoup4 4.12.3 preto 24.10.0
alvejante 6.2.0 antolho 1.7.0 boto3 1.36.2
botocore 1.36.3 cachetools 5.5.1 certificação 2025.1.31
cffi 1.17.1 chardet 4.0.0 charset-normalizer 3.3.2
clique 8.1.7 cloudpickle 3.0.0 Comunicação 0.2.1
contorno 1.3.1 criptografia 43.0.3 ciclista 0.11.0
Cython 3.0.12 databricks-connect 17.2.3 databricks-sdk 0.49.0
dbus-python 1.3.2 debugpy 1.8.11 decorador 5.1.1
defusedxml 0.7.1 Deprecated 1.2.13 distlib 0.3.9
docstring-to-markdown 0.11 Execução 0.8.3 Visão geral de facetas 1.1.1
fastapi 0.115.12 fastjsonschema 2.21.1 filelock 3.18.0
fonttools 4.55.3 Fqdn 1.5.1 fsspec 2023.5.0
gitdb 4.0.11 GitPython 3.1.43 google-api-core 2.20.0
google-auth 2.40.0 google-cloud-core 2.4.3 google-cloud-storage 3.1.0
google-crc32c 1.7.1 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.67.0 grpcio-status 1.67.0 h11 0.14.0
httpcore 1.0.2 httplib2 0.20.4 httpx 0.27.0
IDNA 3.7 importlib-metadata 6.6.0 importlib_resources 6.4.0
inflect 7.3.1 iniconfig 1.1.1 ipyflow-core 0.0.209
ipykernel 6.29.5 ipython 8.30.0 ipython-genutils 0.2.0
ipywidgets 7.8.1 isodate 0.6.1 isoduração 20.11.0
jaraco.context 5.3.0 jaraco.functools 4.0.1 jaraco.text 3.12.1
jedi 0.19.2 Jinja2 3.1.5 jmespath 1.0.1
joblib 1.4.2 json5 0.9.25 jsonpointer 3.0.0
jsonschema 4.23.0 jsonschema-specifications 2023.7.1 jupyter-events 0.10.0
jupyter-lsp 2.2.0 jupyter_client 8.6.3 jupyter_core 5.7.2
jupyter_server 2.14.1 jupyter_server_terminals 0.4.4 jupyterlab 4.3.4
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 jupyterlab_server 2.27.3
kiwisolver 1.4.8 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 markdown-it-py 2.2.0 MarkupSafe 3.0.2
matplotlib 3.10.0 matplotlib-inline 0.1.7 Mccabe 0.7.0
mdurl 0.1.0 Mistune 2.0.4 mlflow-skinny 2.22.0
mmh3 5.1.0 more-itertools 10.3.0 msal 1.32.3
msal-extensions 1.3.1 mypy-extensions 1.0.0 nbclient 0.8.0
nbconvert 7.16.4 nbformat 5.10.4 nest-asyncio 1.6.0
nodeenv 1.9.1 notebook 7.3.2 notebook_shim 0.2.3
numpy 2.1.3 oauthlib 3.2.2 opentelemetry-api 1.32.1
opentelemetry-sdk 1.32.1 opentelemetry-semantic-conventions 0,53b1 Substitui 7.4.0
empacotamento 24.1 Pandas 2.2.3 pandocfilters 1.5.0
parso 0.8.4 pathspec 0.10.3 Patsy 1.0.1
pexpect 4.8.0 almofada 11.1.0 caroço 25.0.1
platformdirs 3.10.0 plotly 5.24.1 pluggy 1.5.0
prometheus_client 0.21.0 kit de ferramentas de prompt 3.0.43 proto-plus 1.26.1
protobuf 5.29.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py4j 0.10.9.9
Pyarrow 19.0.1 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.71 pycparser 2.21 pydantic 2.10.6
pydantic_core 2.27.2 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 pyiceberg 0.9.0 PyJWT 2.10.1
pyodbc 5.2.0 pyparsing 3.2.0 piright 1.1.394
pyspark 4.0.0+databricks.connect.17.2.3 pytest 8.3.5 python-dateutil 2.9.0.post0
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-server 1.12.0
pytoolconfig 1.2.6 Pytz 2024.1 PyYAML 6.0.2
pyzmq 26.2.0 Referência 0.30.2 solicitações 2.32.3
rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 rico 13.9.4
corda 1.12.0 rpds-py 0.22.3 RSA 4.9.1
s3transfer 0.11.3 scikit-aprender 1.6.1 Scipy 1.15.1
seaborn (biblioteca de visualização em Python) 0.13.2 Send2Trash 1.8.2 Ferramentas de configuração 74.0.0
seis 1.16.0 smmap 5.0.0 sniffio 1.3.0
sortedcontainers 2.4.0 soupsieve 2.5 sqlparse 0.5.3
ssh-import-id 5.11 stack-data 0.2.0 starlette 0.46.2
statsmodels (biblioteca para modelos estatísticos em Python) 0.14.4 strictyaml 1.7.3 tenacidade 9.0.0
terminado 0.17.1 threadpoolctl 3.5.0 tinycss2 1.4.0
tokenize_rt 6.1.0 tomli 2.0.1 tornado 6.4.2
traitlets 5.14.3 typeguard 4.3.0 types-python-dateutil 2.9.0.20241206
typing_extensions 4.12.2 tzdata 2024.1 ujson 5.10.0
atualizações autônomas 0.1 uri-template 1.3.0 urllib3 2.3.0
uvicorn 0.34.2 virtualenv 20.29.3 wadllib 1.3.6
wcwidth 0.2.5 webcolors 24.11.1 codificações web 0.5.1
websocket-client 1.8.0 whatthepatch 1.0.2 wheel 0.45.1
widgetsnbextension 3.6.6 embrulhado 1.17.0 yapf 0.40.2
zipp 3.21.0 zstandard 0.23.0

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.13)

ID do grupo ID do artefato Versão
com.databricks databricks-connect_2.13 17.2.0
com.fasterxml.jackson.core Anotações do Jackson 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.lihaoyi ammonite-compiler-interface_2.13.16 3.0.2
com.lihaoyi ammonite-compiler_2.13.16 3.0.2
com.lihaoyi ammonite-interp-api_2.13.16 3.0.2
com.lihaoyi ammonite-interp_2.13.16 3.0.2
com.lihaoyi ammonite-repl-api_2.13.16 3.0.2
com.lihaoyi ammonite-repl_2.13.16 3.0.2
com.lihaoyi ammonite-runtime_2.13.16 3.0.2
com.lihaoyi ammonite-util_2.13 3.0.2
com.lihaoyi fansi 2.13 0.5.0
com.lihaoyi os-lib_2.13 0.11.3
com.lihaoyi pprint_2.13 0.9.0
com.lihaoyi scalaparse_2.13 3.1.1
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
sh.almond channels_2.13 0.14.1-1
sh.almond interpretador-api_2.13 0.14.1-1
sh.almond interpreter_2.13 0.14.1-1
sh.almond jupyter-api_2.13 0.14.1-1
sh.almond kernel_2.13 0.14.1-1
sh.almond logger_2.13 0.14.1-1
sh.almond protocol_2.13 0.14.1-1
sh.almond scala-interpreter_2.13.16 0.14.1-1
sh.almond scala-kernel_2.13.16 0.14.1-1
sh.almond shared-directives_2.13 0.14.1-1
  • Last updated on