Partilhar via

Ambiente sem servidor versão 4

Este artigo descreve as informações do ambiente do sistema para o ambiente sem servidor versão 4.

Para garantir a compatibilidade do aplicativo, as cargas de trabalho sem servidor usam uma API versionada, conhecida como versão do ambiente, que permanece compatível com as versões mais recentes do servidor.

Você pode selecionar a versão do ambiente usando o painel lateral Ambiente em seus blocos de anotações sem servidor. Consulte Selecionar uma versão do ambiente.

Novos recursos e melhorias

Os novos recursos e melhorias a seguir estão disponíveis no ambiente sem servidor 4.

Suporte ao Spark ML em computação sem servidor

A computação sem servidor agora suporta Spark ML no PySpark (pyspark.ml) e MLflow para Spark (mlflow.spark) na versão 4 do ambiente. Para ajuste de hiperparâmetros na computação sem servidor, o Databricks recomenda o uso do Optuna e do Joblib Spark.

As seguintes limitações se aplicam ao executar o SparkML em computação sem servidor:

  • O tamanho máximo do modelo é de 100MB.
  • O tamanho total máximo dos modelos na memória por sessão é de 1 GB.
  • O treinamento do modelo de árvore é interrompido antecipadamente se o tamanho do modelo estiver prestes a exceder 100 MB.
  • Os seguintes modelos SparkML não são suportados:
    • Modelo LDA Distribuído
    • FPGrowthModel

UDFs Python escalares agora suportam credenciais de serviço

UDFs Python escalares podem usar credenciais de serviço Unity Catalog para acessar com segurança serviços de nuvem externos. Para obter mais informações, consulte Credenciais de serviço em UDFs Python escalares.

O PySpark e o Spark Connect agora suportam a API DataFrames df.mergeInto

O PySpark e o Spark Connect agora suportam a API, que antes só estava disponível para o df.mergeInto Scala.

Atualizações da API

O ambiente sem servidor 4 inclui as seguintes atualizações de API:

  • Faísca-50915 Adicionar getCondition e depreciar getErrorClassPySparkException
  • FAÍSCA-50719 Suporte interruptOperation para PySpark
  • FAÍSCA-50718 Suporte addArtifact(s) para PySpark
  • Faísca-49530 Suporte a subparcelas de pizza na plotagem do PySpark
  • Faísca-50357 APIs de suporte Interrupt(Tag|All) para PySpark
  • Faísca-51178 Gerar erro PySpark adequado em vez de SparkConnectGrpcException
  • Faísca-51227 Corrigir PySpark Connect _minimum_grpc_version para 1.67.0
  • FAÍSCA-50778 Adicionar metadataColumn ao PySpark DataFrame
  • Faísca-50311 APIs de suporte (add|remove|get|clear)Tag(s) para PySpark
  • Faísca-50310 Adicionar um sinalizador para desativar DataFrameQueryContext o PySpark
  • Faísca-50238 Adicionar suporte a variantes em UDFs/UDTFs/UDAFs do PySpark e UDFs de UC Python
  • Faísca-50183 Unifique as funções internas para Pandas API e PySpark Plotting
  • Faísca-50170 Mover _invoke_internal_function_over_columns para pyspark.sql.utils
  • Faísca-50167 Melhore as mensagens de erro e importações de plotagem do PySpark
  • FAÍSCA-48961 Tornar a nomenclatura de PySparkException parâmetros consistente com a JVM
  • FAÍSCA-49567 Use clássico em vez de baunilha da base de código PySpark
  • Faísca-48755transformWithState Implementação e ValueState suporte da base PySpark
  • FAÍSCA-48714 Implementar DataFrame.mergeInto no PySpark
  • Faísca-47365 Adicionar toArrow() método DataFrame ao PySpark
  • Faísca-48075 Verificação de tipo para funções avro PySpark
  • FAÍSCA-46984 Remover pyspark.copy_func
  • Faísca-46213 Introduzir PySparkImportError para o quadro de erros
  • Faísca-46226 Migrar todo o restante RuntimeError para a estrutura de erro do PySpark
  • Faísca-45450 Fixar as importações de acordo com o PEP8: pyspark.pandas e pyspark (core)

Ambiente do sistema

  • Sistema Operacional: Ubuntu 24.04.2 LTS
  • Píton: 3.12.3
  • Databricks Connect: 17 (O Databricks Connect é continuamente atualizado na versão mais recente do ambiente serverless. Corre pip list para confirmar a versão exata no teu ambiente atual.)
  • Escala: 2.13.16
  • JDK: 17

Bibliotecas Python instaladas

Para reproduzir o ambiente sem servidor 4 em seu ambiente virtual Python local, baixe o arquivo requirements-env-4.txt e execute pip install -r requirements-env-4.txt. Este comando instala todas as bibliotecas de código aberto do ambiente sem servidor 4.

Library Versão Library Versão Library Versão
tipos anotados 0.7.0 Anyio 4.6.2 Argônio2-CFFI 21.3.0
argon2-cffi-ligações 21.2.0 seta 1.3.0 AstTokens 2.0.5
Astunparse 1.6.3 Async-LRU 2.0.4 ATRs 24.3.0
Comando automático 2.2.2 azure-common 1.1.28 azure-core 1.34.0
azure-identity 1.20.0 azure-mgmt-core 1.5.0 azure-mgmt-web 8.0.0
azure-storage-blob 12.23.0 azure-storage-file-datalake 12.17.0 Babel 2.16.0
backports.tarfile 1.2.0 sopa bonita4 4.12.3 preto 24.10.0
lixívia 6.2.0 pisca-pisca 1.7.0 Boto3 1.36.2
Botocore 1.36.3 Ferramentas de cache 5.5.1 certifi 2025.1.31
CFFI 1.17.1 Chardet 4.0.0 Normalizador de Charset 3.3.2
clique em 8.1.7 Cloudpickle 3.0.0 Comm 0.2.1
contorno 1.3.1 criptografia 43.0.3 ciclista 0.11.0
Quisto 3.0.12 Databricks-Connect 17.2.3 Databricks-SDK 0.49.0
dbus-python 1.3.2 depuração 1.8.11 decorador 5.1.1
DeUsedXML 0.7.1 Deprecated 1.2.13 Distlib 0.3.9
docstring-para-markdown 0.11 execução 0.8.3 facetas-visão geral 1.1.1
fastapi 0.115.12 fastjsonschema 2.21.1 filelock 3.18.0
Fonttools 4.55.3 FQDN 1.5.1 FSspec 2023.5.0
GitDB 4.0.11 GitPython 3.1.43 google-api-core 2.20.0
Google-Auth 2.40.0 google-nuvem-core 2.4.3 google-nuvem-armazenamento 3.1.0
Google-CRC32C 1.7.1 google-retomable-media 2.7.2 googleapis-comuns-protos 1.65.0
Grpcio 1.67.0 grpcio-status 1.67.0 h11 0.14.0
Núcleo Http 1.0.2 httplib2 0.20.4 Disponível em: 0.27.0
IDNA 3.7 importlib-metadados 6.6.0 importlib_resources 6.4.0
flexionar 7.3.1 iniconfig 1.1.1 ipyflow-núcleo 0.0.209
Ipykernel 6.29.5 IPython 8.30.0 ipython-genutils 0.2.0
ipywidgets 7.8.1 Isodato 0.6.1 isoduração 20.11.0
jaraco.contexto 5.3.0 jaraco.functools 4.0.1 jaraco.texto 3.12.1
Jedi 0.19.2 Jinja2 3.1.5 JmesPath 1.0.1
Joblib 1.4.2 JSON5 0.9.25 jsonpointer 3.0.0
jsonschema 4.23.0 jsonschema-especificações 2023.7.1 Jupyter-Eventos 0.10.0
Jupyter-LSP 2.2.0 jupyter_client 8.6.3 jupyter_core 5.7.2
jupyter_server 2.14.1 jupyter_server_terminals 0.4.4 Jupyterlab 4.3.4
Jupyterlab-Pygments 0.1.2 jupyterlab-widgets 1.0.0 jupyterlab_server 2.27.3
Kiwisolver 1.4.8 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 markdown-it-py 2.2.0 Marcação Segura 3.0.2
Matplotlib 3.10.0 matplotlib-em linha 0.1.7 Mccabe 0.7.0
Mdurl 0.1.0 Mistune 2.0.4 mlflow-magro 2.22.0
MMH3 5.1.0 mais-itertools 10.3.0 MSAL 1.32.3
msal-extensões 1.3.1 mypy-extensões 1.0.0 nbclient 0.8.0
nbconvert 7.16.4 nbformat 5.10.4 Ninho-Asyncio 1.6.0
nodeenv 1.9.1 bloco de notas 7.3.2 notebook_shim 0.2.3
dormência 2.1.3 OAuthlib 3.2.2 OpenTelemetry-API 1.32.1
OpenTelemetry-SDK 1.32.1 OpenTelemetria-Semântica-Convenções 0,53b1 substituições 7.4.0
embalagem 24.1 pandas 2.2.3 PandocFilters 1.5.0
Parso 0.8.4 PathSpec 0.10.3 vítima 1.0.1
Espere 4.8.0 travesseiro 11.1.0 pip (o gestor de pacotes do Python) 25.0.1
plataformadirs 3.10.0 enredo 5.24.1 pluggy 1.5.0
prometheus_client 0.21.0 kit de ferramentas de prompt 3.0.43 Proto-Plus 1.26.1
Protobuf 5.29.4 PSUTIL 5.9.0 PSYCOPG2 2.9.3
ptyprocess 0.7.0 puro-eval 0.2.2 py4j 0.10.9.9
Pyarrow 19.0.1 Piasn1 0.4.8 pyasn1-módulos 0.2.8
Pyccolo 0.0.71 Pycparser 2.21 Pidântico 2.10.6
pydantic_core 2.27.2 Pyflakes 3.2.0 Pigmentos 2.15.1
PyGObject 3.48.2 Piiceberg 0.9.0 PyJWT 2.10.1
pyodbc 5.2.0 Pyparsing 3.2.0 Pyright 1.1.394
Pyspark 4.0.0+databricks.connect.17.2.3 Pytest 8.3.5 python-dateutil (uma biblioteca de software para manipulação de datas em Python) 2.9.0.post0
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-servidor 1.12.0
pytoolconfig 1.2.6 Pytz 2024.1 PyYAML 6.0.2
Pyzmq 26.2.0 referenciação 0.30.2 pedidos 2.32.3
rfc3339-validador 0.1.4 rfc3986-validador 0.1.1 rico 13.9.4
corda 1.12.0 RPDS-PY 0.22.3 RSA 4.9.1
s3transferir 0.11.3 scikit-learn (biblioteca de aprendizado de máquina em Python) 1.6.1 SciPy 1.15.1
nascido no mar 0.13.2 Enviar2Lixo 1.8.2 Ferramentas de configuração 74.0.0
seis 1.16.0 smmap 5.0.0 sniffio 1.3.0
contentores classificados 2.4.0 Soupsieve 2.5 SQLPARSE 0.5.3
ssh-import-id 5.11 dados de pilha 0.2.0 Starlette 0.46.2
statsmodels (uma biblioteca de Python para modelos estatísticos) 0.14.4 strictyaml 1.7.3 tenacidade 9.0.0
terminado 0.17.1 ThreadPoolCtl 3.5.0 tinycss2 1.4.0
tokenize_rt 6.1.0 Tomli 2.0.1 tornado 6.4.2
traços 5.14.3 Protetor de Tipografia 4.3.0 tipos-python-dateutil 2.9.0.20241206
typing_extensions 4.12.2 tzdata 2024.1 Ujson 5.10.0
Upgrades autônomos 0.1 uri-modelo 1.3.0 urllib3 2.3.0
Uvicórnio 0.34.2 virtualenv 20.29.3 wadllib 1.3.6
largura de wc 0.2.5 Webcolors 24.11.1 WebEncodings 0.5.1
Websocket-cliente 1.8.0 whatthepatch 1.0.2 wheel 0.45.1
widgetsnbextension 3.6.6 embrulhado 1.17.0 Yapf 0.40.2
zipp | 3.21.0 Zstandard 0.23.0

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.13)

ID do grupo ID do artefato Versão
com.databricks databricks-connect_2.13 17.2.0
com.fasterxml.jackson.core Jackson-Annotations 2.15.2
com.fasterxml.jackson.core Jackson-Core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.lihaoyi ammonite-compiler-interface_2.13.16 3.0.2
com.lihaoyi Ammonite-compiler_2.13.16 3.0.2
com.lihaoyi ammonite-interp-api_2.13.16 3.0.2
com.lihaoyi ammonite-interp_2.13.16 3.0.2
com.lihaoyi ammonite-repl-api_2.13.16 3.0.2
com.lihaoyi Ammonite-repl_2.13.16 3.0.2
com.lihaoyi ammonite-runtime_2.13.16 3.0.2
com.lihaoyi ammonite-util_2.13 3.0.2
com.lihaoyi fansi_2.13 0.5.0
com.lihaoyi OS-lib_2.13 0.11.3
com.lihaoyi pprint_2.13 0.9.0
com.lihaoyi scalaparse_2.13 3.1.1
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.json4s JSON4S-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
sh.almond channels_2.13 0.14.1-1
sh.almond intérprete-api_2.13 0.14.1-1
sh.almond interpreter_2.13 0.14.1-1
sh.almond Jupyter-api_2.13 0.14.1-1
sh.almond kernel_2.13 0.14.1-1
sh.almond logger_2.13 0.14.1-1
sh.almond protocol_2.13 0.14.1-1
sh.almond Scala-interpreter_2.13.16 0.14.1-1
sh.almond Scala-kernel_2.13.16 0.14.1-1
sh.almond shared-directives_2.13 0.14.1-1
  • Last updated on