Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Esta página descreve as informações do sistema para a versão 5 do ambiente serverless.
Para garantir a compatibilidade das aplicações, as cargas de trabalho serverless utilizam uma API versionada, conhecida como versão do ambiente, que permanece compatível com versões serverless mais recentes.
Para selecionar um ambiente base, use o seletor de ambiente Base no painel lateral Ambiente dos seus notebooks serverless. Veja Selecionar um ambiente base.
Novos recursos e melhorias
As seguintes novas funcionalidades e melhorias estão disponíveis no ambiente serverless 5.
Suporte para MLflow 3.8.1
O ambiente serverless 5 inclui o MLflow 3.8.1, uma grande atualização do MLflow 2.22.0 na versão 4 do ambiente. Esta atualização inclui inúmeras novas funcionalidades, melhorias e correções de bugs. Para uma lista completa de alterações, consulte as notas de lançamento do MLflow.
Tarefas JAR sem servidor
Os jobs JAR serverless são agora suportados na versão 5 do ambiente. Esta funcionalidade permite executar aplicações baseadas em JAR numa infraestrutura de computação serverless.
Otimização por setas ativada por defeito para UDFs em Python
Na versão 5 do ambiente, a otimização do Arrow está ativada por defeito para UDFs em Python, melhorando significativamente o desempenho de execução das UDFs. Além disso, a conversão do serializador pandas, que é baseado no Arrow, foi aprimorada para melhorar a eficiência.
Isto representa uma alteração comportamental em relação às versões anteriores, em que a otimização Arrow era por adesão.
Mudanças comportamentais
As seguintes alterações comportamentais são introduzidas no ambiente serverless 5.
BinaryType corresponde consistentemente a bytes Python
No PySpark, BinaryType agora mapeia consistentemente para Python bytes. Anteriormente, o PySpark mapeava BinaryType para bytes ou bytearray conforme o contexto.
Para mais informações, consulte SPARK-53696.
API de socket ao nível do kernel do Linux para criptografia
A partir da versão 5 do ambiente, a API de soquete criptográfico ao nível do kernel do Linux que opera em cifras não compatíveis com FIPS pode falhar de forma não determinística. Não utilize esta API para operações criptográficas que não estejam em conformidade com FIPS.
Atualizações da API
O ambiente serverless 5 inclui as seguintes atualizações da API:
- SPARK-53635 Suportar UDFs Scala com argumentos de entrada do tipo Seq[Row]
- SPARK-54220 Suporte de Tipos NullType/VOID/UNKNOWN em Parquet
- SPARK-54153 Suportar UDFs Python baseados em iteradores para perfilar
- SPARK-54213 Remover o Python 3.9 do Spark Connect
- SPARK-53977 Suporte ao registo em UDTFs
- SPARK-53976 Suporte ao login em Pandas/Arrow UDFs
- SPARK-53573 Permitir a coalescência de literais de strings em qualquer contexto
- SPARK-54269 Atualizar o Cloudpickle para a 3.1.2 para Python 3.14
- SPARK-54287 Adicionar suporte a Python 3.14 no pyspark-client e no pyspark-connect
- SPARK-53614 Adicionar suporte a Iterador[pandas.DataFrame] ao applyInPandas
- SPARK-53921 Introduza GeometryType e GeographyType na API PySpark
- SPARK-53920 Introduzir GeometryType e GeographyType na API Java
- SPARK-53956 Suporte ao TIME na função try_make_timestamp no PySpark
- SPARK-53930 Suporte ao TIME na função make_timestamp no PySpark
- SPARK-53111 Implementar a função time_diff no PySpark
- SPARK-53877 Introduzir a função BITMAP_AND_AGG
- SPARK-53357 Atualizar o pandas para a versão 2.3.2
- SPARK-52980 Suporte Arrow Python UDTFs
- SPARK-52844 Atualizar o numpy para a versão 1.22
- SPARK-50359 Atualizar o PyArrow para a versão 18.0
- SPARK-50564 Atualizar o pacote protobuf Python para 5.29.1
- SPARK-50601 Suporte para withColumns / withColumnsRenamed em subconsultas
- SPARK-51814 Introduza uma nova API transformWithState em PySpark
- SPARK-52821 adicionar coerção do tipo de retorno int-DecimalType no udf do pyspark
- SPARK-53112 Suportar o TIME nas funções make_timestamp_ntz e try_make_timestamp_ntz no PySpark
- SPARK-53319 Suportar o tipo de hora por try_make_timestamp_ltz()
- SPARK-53696 Usar bytes como padrão para BinaryType no PySpark
- SPARK-55090 Implementar DataFrame.toJSON no cliente Python
Ambiente do sistema
- Sistema Operacional: Ubuntu 24.04.3 LTS
- Píton: 3.12.3
-
Databricks Connect: 18 (O Databricks Connect é continuamente atualizado na versão mais recente do ambiente serverless. Corre
pip listpara confirmar a versão exata no teu ambiente atual.) - Escala: 2.13.16
- JDK: 21
Bibliotecas Python instaladas
Para reproduzir o ambiente serverless 5 no seu ambiente virtual Python local, descarregue o ficheirorequirements-env-5.txt e execute pip install -r requirements-env-5.txt. Este comando instala todas as bibliotecas open source do ambiente serverless 5.
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| aiohappyeyeballs | 2.4.4 | AIOHTTP | 3.11.10 | aiosignal | 1.2.0 |
| documento anotado | 0.0.4 | tipos com anotações | 0.7.0 | anyio | 4.7.0 |
| Argão2-CFFI | 21.3.0 | argon2-cffi-vinculações | 21.2.0 | arro3-core | 0.6.5 |
| seta | 1.3.0 | AstTokens | 3.0.0 | "Astunparse" | 1.6.3 |
| Async-LRU | 2.0.4 | Atributos | 24.3.0 | Comando automático | 2.2.2 |
| azure-common | 1.1.28 | azure-core | 1.37.0 | azure-identity | 1.20.0 |
| azure-mgmt-core | 1.6.0 | azure-mgmt-web | 8.0.0 | Azure Storage Blob | 12.28.0 |
| Armazenamento de Ficheiros Azure Data Lake | 12.22.0 | Babel | 2.16.0 | backports.tarfile | 1.2.0 |
| BeautifulSoup4 | 4.12.3 | preto | 24.10.0 | lixívia | 6.2.0 |
| pisca | 1.7.0 | boto3 | 1.40.45 | Botocore | 1.40.45 |
| Ferramentas de cache | 5.5.1 | certifi | 2025.4.26 | cffi | 1.17.1 |
| Chardet | 4.0.0 | Normalizador de Charset | 3.3.2 | clicar | 8.1.8 |
| Cloudpickle | 3.0.0 | Comunicação | 0.2.1 | contorno | 1.3.1 |
| criptografia | 44.0.1 | ciclista | 0.11.0 | Cython | 3.1.5 |
| Databricks-Agentes | 1.9.1 | databricks-connect | 18.0.5 | Databricks-SDK | 0.67.0 |
| DataClasses-JSON | 0.6.7 | dbus-python | 1.3.2 | debugpy | 1.8.11 |
| decorador | 5.1.1 | defusedxml | 0.7.1 | deltalake | 1.1.4 |
| Deprecated | 1.2.18 | Distlib | 0.3.9 | convertendo docstring em markdown | 0.11 |
| executar | 1.2.0 | facetas-visão geral | 1.1.1 | fastapi | 0.128.0 |
| fastjsonschema (biblioteca para validação rápida de esquemas JSON) | 2.21.1 | bloqueio de arquivo | 3.17.0 | Fonttools | 4.55.3 |
| FQDN (Nome de Domínio Completo) | 1.5.1 | Frozenlist | 1.5.0 | fsspec | 2023.5.0 |
| GitDB | 4.0.11 | GitPython | 3.1.43 | google-api-core | 2.28.1 |
| Google-Auth (Autenticação) | 2.47.0 | Google Cloud Core | 2.5.0 | google-armazenamento-em-nuvem | 3.7.0 |
| Google-CRC32C | 1.8.0 | google-media-reutilizável | 2.8.0 | googleapis-common-protos | 1.65.0 |
| Grpcio | 1.67.0 | grpcio-status | 1.67.0 | h11 | 0.16.0 |
| HF-XET | 1.2.0 | httpcore | 1.0.9 | httplib2 | 0.20.4 |
| httpx | 0.28.1 | huggingface_hub | 1.2.4 | IDNA | 3.7 |
| importlib_metadata | 8.5.0 | flexionar | 7.3.1 | iniconfig | 1.1.1 |
| ipyflow-core | 0.0.209 | Ipykernel | 6.29.5 | IPython | 8.30.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.8.1 | isodate | 0.7.2 |
| isoduração | 20.11.0 | jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 |
| jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 | Jedi | 0.19.2 |
| Jinja2 | 3.1.6 | Jiter | 0.12.0 | jmespath | 1.0.1 |
| Joblib | 1.4.2 | JSON5 | 0.9.25 | jsonpatch | 1.33 |
| jsonpointer | 3.0.0 | jsonschema | 4.23.0 | jsonschema-especificações | 2023.7.1 |
| Jupyter-Eventos | 0.12.0 | Jupyter-LSP | 2.2.5 | jupyter_client | 8.6.3 |
| jupyter_core | 5.7.2 | jupyter_servidor | 2.15.0 | jupyter_server_terminals | 0.5.3 |
| Jupyterlab | 4.3.4 | jupyterlab_pygments | 0.3.0 | jupyterlab_server | 2.27.3 |
| jupyterlab_widgets | 1.1.11 | kiwisolver | 1.4.8 | langchain-núcleo | 1.2.6 |
| langchain-openai | 1.1.6 | Langsmith | 0.6.1 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | litellm | 1.75.9 |
| markdown-it-py | 2.2.0 | MarkupSafe | 3.0.2 | Espuma | 3.26.2 |
| Matplotlib | 3.10.0 | matplotlib-inline | 0.1.7 | Mccabe | 0.7.0 |
| mdurl | 0.1.0 | Mistune | 3.1.2 | mlflow-skinny | 3.8.1 |
| MMH3 | 5.2.0 | more-itertools | 10.3.0 | MSAL | 1.34.0 |
| MSAL-extensões | 1.3.1 | multidict | 6.1.0 | mypy extensions | 1.0.0 |
| nbclient | 0.10.2 | nbconvert | 7.16.6 | nbformat | 5.10.4 |
| nest-asyncio | 1.6.0 | nodeenv | 1.10.0 | bloco de notas | 7.3.2 |
| notebook_shim | 0.2.4 | numpy | 2.1.3 | OAuthlib | 3.2.2 |
| OpenAI | 2.14.0 | OpenTelemetry API | 1.39.1 | OpenTelemetry-Proto | 1.39.1 |
| OpenTelemetry SDK | 1.39.1 | Convenções Semânticas de OpenTelemetry | 0.60b1 | Orjson | 3.11.5 |
| sobrescrições | 7.4.0 | embalagem | 24,2 | pandas | 2.2.3 |
| PandocFilters | 1.5.0 | Parso | 0.8.4 | PathSpec | 0.10.3 |
| vítima | 1.0.1 | pexpect | 4.8.0 | almofada | 11.1.0 |
| pip | 25.0.1 | platformdirs | 4.3.7 | enredo | 5.24.1 |
| Pluggy | 1.5.0 | prometheus_client | 0.21.1 | kit de ferramentas de prompt | 3.0.43 |
| propcache | 0.3.1 | Proto-Plus | 1.27.0 | Protobuf | 5.29.4 |
| psutil | 5.9.0 | psycopg2 | 2.9.11 | ptyprocess | 0.7.0 |
| puro-eval | 0.2.2 | py4j | 0.10.9.9 | Pyarrow | 21.0.0 |
| pyasn1 | 0.4.8 | pyasn1-módulos | 0.2.8 | pyccolo | 0.0.71 |
| Pycparser | 2.21 | Pidântico | 2.10.6 | pydantic_core | 2.27.2 |
| Pyflakes | 3.2.0 | Pigmentos | 2.19.1 | PyGObject | 3.48.2 |
| pyiceberg | 0.10.0 | PyJWT | 2.10.1 | pyodbc | 5.2.0 |
| pyparsing | 3.2.0 | Pyright | 1.1.394 | Piroaring | 1.0.3 |
| Pytest | 8.3.5 | python-dateutil (uma biblioteca de software para manipulação de datas em Python) | 2.9.0.post0 | Python-Dotenv | 1.2.1 |
| python-json-logger | 3.2.1 | python-lsp-jsonrpc | 1.1.2 | python-lsp-servidor | 1.12.2 |
| pytoolconfig | 1.2.6 | Pytz | 2024.1 | PyYAML | 6.0.2 |
| Pyzmq | 26.2.0 | referenciação | 0.30.2 | regex | 2024.11.6 |
| pedidos | 2.32.3 | pedidos-cinto de ferramentas | 1.0.0 | rfc3339-verificador | 0.1.4 |
| rfc3986-validador | 0.1.1 | rico | 13.9.4 | corda | 1.13.0 |
| rpds-py | 0.22.3 | RSA | 4.9.1 | s3transfer | 0.14.0 |
| scikit-learn (biblioteca de aprendizado de máquina em Python) | 1.6.1 | SciPy | 1.15.3 | nascido no mar | 0.13.2 |
| Send2Trash | 1.8.2 | Ferramentas de configuração | 78.1.1 | Shellingham | 1.5.4 |
| seis | 1.17.0 | smmap | 5.0.0 | sniffio | 1.3.0 |
| contentores classificados | 2.4.0 | Coador de sopa | 2.5 | SQLPARSE | 0.5.5 |
| ssh-import-id | 5.11 | stack-data | 0.6.3 | Starlette | 0.50.0 |
| strictyaml | 1.7.3 | tenacidade | 9.0.0 | terminado | 0.17.1 |
| Threadpoolctl | 3.5.0 | tiktoken | 0.12.0 | tinycss2 | 1.4.0 |
| tokenize_rt | 6.1.0 | Tokenizadores | 0.22.2 | Tomli | 2.0.1 |
| tornado | 6.5.1 | tqdm | 4.67.1 | traitlets | 5.14.3 |
| Protetor de Tipografia | 4.3.0 | Typer-Slim | 0.21.1 | types-python-dateutil | 2.9.0.20251115 |
| inspeção de digitação | 0.9.0 | typing_extensions (extensões de digitação) | 4.12.2 | tzdata | 2024.1 |
| Ujson | 5.10.0 | Atualizações não supervisionadas | 0.1 | uri-modelo | 1.3.0 |
| urllib3 | 2.3.0 | uuid_utils | 0.12.0 | uvicorn | 0.40.0 |
| virtualenv | 20.29.3 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| Webcolors | 25.10.0 | codificações da web | 0.5.1 | Websocket-cliente | 1.8.0 |
| whatthepatch (ferramenta para comparação de patches) | 1.0.2 | wheel | 0.45.1 | sempre que | 0.7.3 |
| widgetsnbextension | 3.6.6 | embrulhado | 1.17.0 | Yapf | 0.40.2 |
| yarl | 1.18.0 | zipp | 3.21.0 | zstandard | 0.23.0 |
Instalei bibliotecas Java e Scala (Scala 2.13)
| ID do grupo | ID do artefato | Versão |
|---|---|---|
| com.databricks | databricks-connect_2.13 | 18.0.0 |
| com.fasterxml.jackson.core | Jackson-Annotations | 2.15.2 |
| com.fasterxml.jackson.core | Jackson-Core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.lihaoyi | ammonite-compiler-interface_2.13.16 | 3.0.2 |
| com.lihaoyi | Ammonite-compiler_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-interp-api_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-interp_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-repl-api_2.13.16 | 3.0.2 |
| com.lihaoyi | Ammonite-repl_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-runtime_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-util_2.13 | 3.0.2 |
| com.lihaoyi | fansi_2.13 | 0.5.0 |
| com.lihaoyi | OS-lib_2.13 | 0.11.3 |
| com.lihaoyi | pprint_2.13 | 0.9.0 |
| com.lihaoyi | scalaparse_2.13 | 3.1.1 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.json4s | JSON4S-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson_2.13 | 4.0.7 |
| sh.almond | channels_2.13 | 0.14.1-1 |
| sh.almond | intérprete-api_2.13 | 0.14.1-1 |
| sh.almond | interpreter_2.13 | 0.14.1-1 |
| sh.almond | Jupyter-api_2.13 | 0.14.1-1 |
| sh.almond | kernel_2.13 | 0.14.1-1 |
| sh.almond | logger_2.13 | 0.14.1-1 |
| sh.almond | protocol_2.13 | 0.14.1-1 |
| sh.almond | Scala-interpreter_2.13.16 | 0.14.1-1 |
| sh.almond | Scala-kernel_2.13.16 | 0.14.1-1 |
| sh.almond | shared-directives_2.13 | 0.14.1-1 |