Nuta
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować się zalogować lub zmienić katalog.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
W tym artykule opisano informacje o środowisku systemowym dla środowiska bezserwerowego w wersji 3.
Aby zapewnić zgodność aplikacji, obciążenia bezserwerowe używają interfejsu API w wersji znanej jako wersja środowiska, która pozostaje zgodna z nowszymi wersjami serwera.
Możesz wybrać wersję środowiska przy użyciu panelu bocznego Environment w notesach bezserwerowych. Zobacz Wybieranie wersji środowiska.
Nowe funkcje i ulepszenia
Następujące nowe funkcje i ulepszenia są dostępne w środowisku bezserwerowym 3.
Aktualizacje interfejsu API
18 sierpnia 2025 r.
Skalarne funkcje zdefiniowane przez użytkownika języka Python obsługują teraz poświadczenia usługi
Scalar Python UDF umożliwia bezpieczne uzyskiwanie dostępu do zewnętrznych usług w chmurze przy użyciu poświadczeń usługi wykazu aparatu Unity. Aby uzyskać więcej informacji, zobacz Poświadczenia usługi w scalar Python UDF.
13 czerwca 2025 r.
Środowisko bezserwerowe 3 zawiera następujące aktualizacje interfejsu API:
- Dodano obsługę interfejsu API wypychania filtru do źródeł danych języka Python. Zobacz Dodawanie obsługi API wypychania filtrowania do źródeł danych języka Python.
- Śledzenie UDF dla Pythona obejmuje teraz klatki zarówno ze sterownika, jak i węzła wykonawczego, wraz z klatkami klienta. Zobacz Ulepszenia funkcji śledzenia UDF języka Python.
- Nowe funkcje
listaggistring_aggagregują wartościSTRINGiBINARYw grupie. Zobacz Nowelistaggistring_aggfunkcje. -
variant_getiget_json_objectteraz uwzględniają wiodące spacje w ścieżkach w Apache Spark. Zobacz variant_get i get_json_object, które teraz rozważają wiodące spacje w ścieżkach na platformie Apache Spark. - SPARK-51079 Obsługa dużych typów zmiennych w pandas UDF, createDataFrame i toPandas przy użyciu Arrow.
-
SPARK-51186 Dodaj
StreamingPythonRunnerInitializationExceptiondo bazowego wyjątku PySpark. -
SPARK-51112 Unikaj używania funkcji pyarrow
to_pandasna pustej tabeli. -
SPARK-51506 [PYTHON][ss] Nie wymuszaj na użytkownikach implementacji close() w
TransformWithStateInPandas -
SPARK-51425 [Connect] Dodawanie interfejsu API klienta w celu ustawienia niestandardowego
operation_id - SPARK-51206 [PYTHON][connect] Przeniesienie pomocników konwersji Arrow poza Spark Connect
Usługa Databricks Connect została uaktualniona do wersji 16.3
13 czerwca 2025 r.
Skorzystaj z funkcji i ulepszeń dostępnych w programie Databricks Connect dla środowiska Databricks Runtime 16.3. Zobacz Databricks Connect dla środowiska Databricks Runtime 16.3.
Ulepszone wyróżnianie błędów składni języka Python
13 czerwca 2025 r.
Wyróżnianie błędów składni języka Python spowoduje następujące ulepszenia:
- Szybsze opóźnienie obsługi błędów.
- Obsługa wyróżniania błędów typu języka Python.
- Konfigurowanie programu Linter za pośrednictwem
pyproject.tomlplików.
Zobacz Wyróżnianie błędów języka Python.
Obsługa CLI Git w terminalu webowym i notesie
13 czerwca 2025 r.
Teraz możesz używać interfejsu wiersza polecenia usługi Git w notesie bezserwerowym i w terminalu internetowym notesu bezserwerowego.
Zmiana zachowania dotycząca konfliktujących wersji środowiska
13 czerwca 2025 r.
W przypadkach, gdy wersja środowiska bezserwerowego jest zadeklarowana zarówno w panelu Środowisko notesu, jak i w niestandardowym pliku środowiska podstawowego, wersja środowiska podstawowego ma pierwszeństwo, chyba że obie zadeklarowane wersje są w wersji 3, w takim przypadku używana jest wersja notesu.
Przykład:
- Jeśli notatnik używa v1, a środowisko podstawowe używa v3, obciążenie będzie korzystać z v3.
- Jeśli notatnik używa wersji 1, a środowisko bazowe używa wersji 2, to obciążenie będzie korzystać z wersji 1.
- Jeśli notatnik używa wersji 3, a środowisko podstawowe wersji 1, to obciążenie będzie korzystać z wersji 1.
- Jeśli notatnik używa wersji 2, a środowisko podstawowe używa wersji 1, obciążenie będzie używać wersji 2.
Środowisko systemu
- system operacyjny: Ubuntu 24.04.2 LTS
- Python: 3.12.3
- Databricks Connect: 16.4.2
Zainstalowane biblioteki języka Python
Aby odtworzyć środowisko bezserwerowe 3 w lokalnym środowisku wirtualnym języka Python, pobierz plik requirements-env-3.txt i uruchom polecenie pip install -r requirements-env-3.txt. To polecenie instaluje wszystkie biblioteki open source ze środowiska bezserwerowego 3.
| Library | Version | Library | Version | Library | Version |
|---|---|---|---|---|---|
| annotated-types | 0.7.0 | anyio | 4.2.0 | asttokens | 2.0.5 |
| astunparse | 1.6.3 | autocommand | 2.2.2 | azure-core | 1.33.0 |
| azure-storage-blob | 12.23.0 | azure-storage-file-datalake | 12.17.0 | backports.tarfile | 1.2.0 |
| black | 24.4.2 | blinker | 1.7.0 | boto3 | 1.34.69 |
| botocore | 1.34.69 | cachetools | 5.3.3 | certifi | 2024.6.2 |
| cffi | 1.16.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| click | 8.1.7 | cloudpickle | 3.0.0 | comm | 0.2.1 |
| contourpy | 1.2.0 | kryptografia | 42.0.5 | cycler | 0.11.0 |
| Cython | 3.0.11 | databricks-connect | 16.4.2 | databricks-sdk | 0.49.0 |
| dbus-python | 1.3.2 | debugpy | 1.6.7 | dekorator | 5.1.1 |
| Deprecated | 1.2.18 | dill | 0.3.8 | distlib | 0.3.8 |
| executing | 0.8.3 | facets-overview | 1.1.1 | fastapi | 0.115.12 |
| filelock | 3.15.4 | fonttools | 4.51.0 | gitdb | 4.0.11 |
| GitPython | 3.1.37 | google-api-core | 2.20.0 | google-auth | 2.38.0 |
| google-cloud-core | 2.4.3 | google-cloud-storage | 3.1.0 | google-crc32c | 1.7.1 |
| google-resumable-media | 2.7.2 | googleapis-common-protos | 1.69.2 | grpcio | 1.71.0 |
| grpcio-status | 1.71.0 | h11 | 0.14.0 | httplib2 | 0.20.4 |
| idna | 3.7 | importlib-metadata | 7.0.1 | inflect | 7.3.1 |
| iniconfig | 1.1.1 | ipyflow-core | 0.0.206 | ipykernel | 6.29.5 |
| ipython | 8.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.7.2 | jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 |
| jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 | jedi | 0.19.1 |
| jmespath | 1.0.1 | joblib | 1.4.2 | jupyter_client | 8.6.0 |
| jupyter_core | 5.7.2 | kiwisolver | 1.4.4 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | matplotlib | 3.8.4 |
| matplotlib-inline | 0.1.6 | mlflow-skinny | 2.21.3 | more-itertools | 10.3.0 |
| mypy-extensions | 1.0.0 | nest-asyncio | 1.6.0 | numpy | 1.26.4 |
| oauthlib | 3.2.2 | opentelemetry-api | 1.31.1 | opentelemetry-sdk | 1.31.1 |
| opentelemetry-semantic-conventions | 0.52b1 | packaging | 24.1 | pandas | 1.5.3 |
| parso | 0.8.3 | pathspec | 0.10.3 | patsy | 0.5.6 |
| pexpect | 4.8.0 | pillow | 10.3.0 | pip | 25.0.1 |
| platformdirs | 3.10.0 | plotly | 5.22.0 | pluggy | 1.5.0 |
| prompt-toolkit | 3.0.43 | proto-plus | 1.26.1 | protobuf | 5.29.4 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | py4j | 0.10.9.7 | pyarrow | 15.0.2 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.68 |
| pycparser | 2.21 | pydantic | 2.8.2 | pydantic_core | 2.20.1 |
| Pygments | 2.15.1 | PyGObject | 3.48.2 | PyJWT | 2.7.0 |
| pyodbc | 5.0.1 | pyparsing | 3.0.9 | pytest | 8.3.0 |
| python-dateutil | 2.9.0.post0 | python-lsp-jsonrpc | 1.1.2 | pytz | 2024.1 |
| PyYAML | 6.0.1 | pyzmq | 25.1.2 | requests | 2.32.2 |
| rsa | 4.9 | s3transfer | 0.10.4 | scikit-learn | 1.4.2 |
| scipy | 1.13.1 | seaborn | 0.13.2 | setuptools | 75.8.0 |
| six | 1.16.0 | smmap | 5.0.0 | sniffio | 1.3.0 |
| sqlparse | 0.5.3 | ssh-import-id | 5.11 | stack-data | 0.2.0 |
| starlette | 0.46.1 | statsmodels | 0.14.2 | tenacity | 8.2.2 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.4.1 | traitlets | 5.14.3 | typeguard | 4.3.0 |
| typing_extensions | 4.11.0 | tzdata | 2024.1 | ujson | 5.10.0 |
| unattended-upgrades | 0.1 | urllib3 | 2.2.2 | uvicorn | 0.34.0 |
| virtualenv | 20.29.2 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| wheel | 0.45.1 | wrapt | 1.14.1 | zipp | 3.17.0 |
| zstandard | 0.23.0 |