Nota
O acesso a esta página requer autorização. Podes tentar iniciar sessão ou mudar de diretório.
O acesso a esta página requer autorização. Podes tentar mudar de diretório.
Este artigo descreve as informações de ambiente do sistema para ambiente sem servidor versão 3.
Para garantir a compatibilidade do aplicativo, as cargas de trabalho sem servidor usam uma API versionada, conhecida como versão do ambiente, que permanece compatível com as versões mais recentes do servidor.
Pode selecionar a versão do ambiente usando o painel lateral do Ambiente nos seus notebooks sem servidor. Consulte Selecionar uma versão do ambiente.
Novos recursos e melhorias
Os novos recursos e melhorias a seguir estão disponíveis no ambiente sem servidor 3.
Atualizações da API
18 de agosto de 2025
UDFs Python escalares agora suportam credenciais de serviço
UDFs Python escalares podem usar credenciais de serviço Unity Catalog para acessar com segurança serviços de nuvem externos. Para obter mais informações, consulte Credenciais de serviço em UDFs Python escalares.
Junho 13, 2025
O ambiente sem servidor 3 inclui as seguintes atualizações de API:
- Adicionado suporte à API pushdown de filtro para fontes de dados Python. Consulte Adicionar suporte à API de pushdown de filtro a fontes de dados Python.
- O traceback do Python UDF agora inclui quadros do driver e do executor, juntamente com quadros do cliente. Consulte A melhoria do traceback do Python UDF.
- Novos
listaggestring_aggfunções agregamSTRINGeBINARYvalores em um grupo. Veja Novaslistaggestring_aggfunções. -
variant_geteget_json_objectagora consideram espaços iniciais nos caminhos do Apache Spark. Veja variant_get e get_json_object agora consideram espaços iniciais em caminhos no Apache Spark. - SPARK-51079 Suporte tipos de variáveis grandes em pandas UDF, createDataFrame e toPandas com Arrow.
-
SPARK-51186 Adicionar
StreamingPythonRunnerInitializationExceptionà exceção de base do PySpark. - SPARK-51112 Evite usar o pyarrow em uma tabela vazia.
-
SPARK-51506 [PYTHON][ss] Não imponha os usuários a implementar close() em
TransformWithStateInPandas -
SPARK-51425 [Connect] Adicionar API de cliente para definir configuração personalizada
operation_id - SPARK-51206 [PYTHON][connect] Retirar auxiliares de conversão de Arrow do Spark Connect
Databricks Connect atualizado para 16.3
Junho 13, 2025
Use os recursos e melhorias disponíveis no Databricks Connect for Databricks Runtime 16.3. Consulte Databricks Connect para o Databricks Runtime 16.3.
Realce de erro de sintaxe em Python melhorado
Junho 13, 2025
O realce de erro de sintaxe Python passará por as seguintes melhorias:
- Latência de tratamento de erros mais rápida.
- Suporte para destacamento de erros de tipos Python.
- Configurabilidade de Linter através de ficheiros
pyproject.toml.
Consulte Destaque de erro do Python.
Suporte a CLI Git em terminal web e notebook
Junho 13, 2025
Agora você pode usar a CLI do Git em um notebook sem servidor e no terminal da Web do notebook sem servidor.
Mudança comportamental em relação a versões de ambiente conflitantes
Junho 13, 2025
Nos casos em que uma versão de ambiente sem servidor é declarada no painel Ambiente do bloco de anotações e em um arquivo de ambiente base personalizado, a versão do ambiente base tem precedência, a menos que ambas as versões declaradas estejam na versão 3, caso em que a versão do bloco de anotações é usada.
Por exemplo:
- Se o notebook usa v1 e o ambiente base usa v3, a carga de trabalho usará v3.
- Se o notebook usar v1 e o ambiente base usar v2, a carga de trabalho usará v1.
- Se o notebook usa v3 e o ambiente base usa v1, a carga de trabalho usará v1.
- Se o notebook usar v2 e o ambiente base usar v1, a carga de trabalho usará v2.
Ambiente do sistema
- Sistema Operacional: Ubuntu 24.04.2 LTS
- Píton: 3.12.3
- Conexão Databricks: 16.4.2
Bibliotecas Python instaladas
Para reproduzir o ambiente sem servidor 3 em seu ambiente virtual Python local, baixe o arquivo requirements-env-3.txt e execute pip install -r requirements-env-3.txt. Este comando instala todas as bibliotecas de código aberto do ambiente sem servidor 3.
| Library | Version | Library | Version | Library | Version |
|---|---|---|---|---|---|
| annotated-types | 0.7.0 | anyio | 4.2.0 | asttokens | 2.0.5 |
| astunparse | 1.6.3 | autocommand | 2.2.2 | azure-core | 1.33.0 |
| azure-storage-blob | 12.23.0 | azure-storage-file-datalake | 12.17.0 | backports.tarfile | 1.2.0 |
| black | 24.4.2 | blinker | 1.7.0 | boto3 | 1.34.69 |
| botocore | 1.34.69 | cachetools | 5.3.3 | certifi | 2024.6.2 |
| cffi | 1.16.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| click | 8.1.7 | cloudpickle | 3.0.0 | comm | 0.2.1 |
| contourpy | 1.2.0 | criptografia | 42.0.5 | cycler | 0.11.0 |
| Cython | 3.0.11 | databricks-connect | 16.4.2 | databricks-sdk | 0.49.0 |
| dbus-python | 1.3.2 | debugpy | 1.6.7 | decorador | 5.1.1 |
| Deprecated | 1.2.18 | dill | 0.3.8 | distlib | 0.3.8 |
| executing | 0.8.3 | facets-overview | 1.1.1 | fastapi | 0.115.12 |
| filelock | 3.15.4 | fonttools | 4.51.0 | gitdb | 4.0.11 |
| GitPython | 3.1.37 | google-api-core | 2.20.0 | google-auth | 2.38.0 |
| google-cloud-core | 2.4.3 | google-cloud-storage | 3.1.0 | google-crc32c | 1.7.1 |
| google-resumable-media | 2.7.2 | googleapis-common-protos | 1.69.2 | grpcio | 1.71.0 |
| grpcio-status | 1.71.0 | h11 | 0.14.0 | httplib2 | 0.20.4 |
| idna | 3.7 | importlib-metadata | 7.0.1 | inflect | 7.3.1 |
| iniconfig | 1.1.1 | ipyflow-core | 0.0.206 | ipykernel | 6.29.5 |
| ipython | 8.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.7.2 | jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 |
| jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 | jedi | 0.19.1 |
| jmespath | 1.0.1 | joblib | 1.4.2 | jupyter_client | 8.6.0 |
| jupyter_core | 5.7.2 | kiwisolver | 1.4.4 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | matplotlib | 3.8.4 |
| matplotlib-inline | 0.1.6 | mlflow-skinny | 2.21.3 | more-itertools | 10.3.0 |
| mypy-extensions | 1.0.0 | nest-asyncio | 1.6.0 | numpy | 1.26.4 |
| oauthlib | 3.2.2 | opentelemetry-api | 1.31.1 | opentelemetry-sdk | 1.31.1 |
| opentelemetry-semantic-conventions | 0.52b1 | packaging | 24.1 | pandas | 1.5.3 |
| parso | 0.8.3 | pathspec | 0.10.3 | patsy | 0.5.6 |
| pexpect | 4.8.0 | pillow | 10.3.0 | pip | 25.0.1 |
| platformdirs | 3.10.0 | plotly | 5.22.0 | pluggy | 1.5.0 |
| prompt-toolkit | 3.0.43 | proto-plus | 1.26.1 | protobuf | 5.29.4 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | py4j | 0.10.9.7 | pyarrow | 15.0.2 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.68 |
| pycparser | 2.21 | pydantic | 2.8.2 | pydantic_core | 2.20.1 |
| Pygments | 2.15.1 | PyGObject | 3.48.2 | PyJWT | 2.7.0 |
| pyodbc | 5.0.1 | pyparsing | 3.0.9 | pytest | 8.3.0 |
| python-dateutil | 2.9.0.post0 | python-lsp-jsonrpc | 1.1.2 | pytz | 2024.1 |
| PyYAML | 6.0.1 | pyzmq | 25.1.2 | requests | 2.32.2 |
| rsa | 4.9 | s3transfer | 0.10.4 | scikit-learn | 1.4.2 |
| scipy | 1.13.1 | seaborn | 0.13.2 | setuptools | 75.8.0 |
| six | 1.16.0 | smmap | 5.0.0 | sniffio | 1.3.0 |
| sqlparse | 0.5.3 | ssh-import-id | 5.11 | stack-data | 0.2.0 |
| starlette | 0.46.1 | statsmodels | 0.14.2 | tenacity | 8.2.2 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.4.1 | traitlets | 5.14.3 | typeguard | 4.3.0 |
| typing_extensions | 4.11.0 | tzdata | 2024.1 | ujson | 5.10.0 |
| unattended-upgrades | 0.1 | urllib3 | 2.2.2 | uvicorn | 0.34.0 |
| virtualenv | 20.29.2 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| wheel | 0.45.1 | wrapt | 1.14.1 | zipp | 3.17.0 |
| zstandard | 0.23.0 |