Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Ten artykuł przedstawia informacje o środowisku systemowym dla wersji 3.
Aby zapewnić zgodność aplikacji, obciążenia bezserwerowe używają interfejsu API w wersji znanej jako wersja środowiska, która pozostaje zgodna z nowszymi wersjami serwera.
Możesz wybrać środowisko podstawowe zawierające tę wersję środowiska przy użyciu panelu bocznego Środowisko w notesach bezserwerowych. Zobacz Wybieranie środowiska podstawowego.
Nowe funkcje i ulepszenia
Następujące nowe funkcje i ulepszenia są dostępne w wersji środowiska 3.
Aktualizacje interfejsu API
18 sierpnia 2025 r.
Skalarne funkcje UDF w języku Python teraz obsługują poświadczenia usługi.
Skalarne funkcje UDF Python mogą korzystać z poświadczeń serwisowych Unity Catalog, aby bezpiecznie uzyskiwać dostęp do zewnętrznych usług w chmurze. Aby uzyskać więcej informacji, zobacz Poświadczenia usługi w skalarnym Python UDF.
13 czerwca 2025 r.
Wersja środowiska 3 zawiera następujące aktualizacje API:
- Dodano obsługę interfejsu API wypychania filtru do źródeł danych języka Python. Zobacz Dodawanie obsługi API wypychania filtrowania do źródeł danych języka Python.
- Śledzenie UDF dla Pythona obejmuje teraz klatki zarówno ze sterownika, jak i węzła wykonawczego, wraz z klatkami klienta. Zobacz Ulepszenia funkcji śledzenia UDF języka Python.
- Nowe funkcje
listaggistring_aggagregują wartościSTRINGiBINARYw grupie. Zobacz Nowelistaggistring_aggfunkcje. -
variant_getiget_json_objectteraz uwzględniają wiodące spacje w ścieżkach w Apache Spark. Zobacz variant_get i get_json_object, które teraz rozważają wiodące spacje w ścieżkach na platformie Apache Spark. - SPARK-51079 Obsługa dużych typów zmiennych w pandas UDF, createDataFrame i toPandas przy użyciu Arrow.
-
SPARK-51186 Dodaj
StreamingPythonRunnerInitializationExceptiondo bazowego wyjątku PySpark. -
SPARK-51112 Unikaj używania funkcji pyarrow
to_pandasna pustej tabeli. -
SPARK-51506 [PYTHON][ss] Nie wymuszaj na użytkownikach implementacji close() w
TransformWithStateInPandas -
SPARK-51425 [Connect] Dodawanie interfejsu API klienta w celu ustawienia niestandardowego
operation_id - SPARK-51206 [PYTHON][connect] Przeniesienie pomocników konwersji Arrow poza Spark Connect
Usługa Databricks Connect została uaktualniona do wersji 16.3
13 czerwca 2025 r.
Skorzystaj z funkcji i ulepszeń dostępnych w programie Databricks Connect dla środowiska Databricks Runtime 16.3. Zobacz Databricks Connect dla środowiska Databricks Runtime 16.3.
Ulepszone wyróżnianie błędów składni języka Python
13 czerwca 2025 r.
Wyróżnianie błędów składni języka Python spowoduje następujące ulepszenia:
- Szybsze opóźnienie obsługi błędów.
- Obsługa wyróżniania błędów typu języka Python.
- Konfigurowanie programu Linter za pośrednictwem
pyproject.tomlplików.
Zobacz Wyróżnianie błędów języka Python.
Obsługa CLI Git w terminalu webowym i notesie
13 czerwca 2025 r.
Teraz możesz używać interfejsu wiersza polecenia usługi Git w notesie bezserwerowym i w terminalu internetowym notesu bezserwerowego.
Zmiana zachowania dotycząca konfliktujących wersji środowiska
13 czerwca 2025 r.
W przypadkach, gdy wersja środowiska jest deklarowana zarówno w wybraniu środowiska bazowego notatnika, jak i w niestandardowym pliku środowiska bazowego, wersja pliku środowiska bazowego ma pierwszeństwo, chyba że obie zadeklarowane wersje są objęte wersją 3, wtedy używana jest wersja notatnika.
Przykład:
- Jeśli notatnik używa v1, a środowisko podstawowe używa v3, obciążenie będzie korzystać z v3.
- Jeśli notatnik używa wersji 1, a środowisko bazowe używa wersji 2, to obciążenie będzie korzystać z wersji 1.
- Jeśli notatnik używa wersji 3, a środowisko podstawowe wersji 1, to obciążenie będzie korzystać z wersji 1.
- Jeśli notatnik używa wersji 2, a środowisko podstawowe używa wersji 1, obciążenie będzie używać wersji 2.
Środowisko systemu
- system operacyjny: Ubuntu 24.04.2 LTS
- Python: 3.12.3
- Databricks Connect: 16.4.19
Zainstalowane biblioteki języka Python
Aby odtworzyć środowisko w wersji 3 w lokalnym środowisku wirtualnym Pythona, pobierz plik requirements-env-3.txt i uruchom pip install -r requirements-env-3.txt. To polecenie instaluje wszystkie biblioteki z środowiska wersji 3.
| Library | Version | Library | Version | Library | Version |
|---|---|---|---|---|---|
| annotated-types | 0.7.0 | anyio | 4.2.0 | asttokens | 2.0.5 |
| astunparse | 1.6.3 | azure-core | 1.33.0 | azure-storage-blob | 12.23.0 |
| azure-storage-file-datalake | 12.17.0 | black | 24.4.2 | boto3 | 1.34.69 |
| botocore | 1.34.69 | cachetools | 5.3.3 | certifi | 2024.6.2 |
| cffi | 1.16.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| click | 8.1.7 | cloudpickle | 3.0.0 | comm | 0.2.1 |
| contourpy | 1.2.0 | kryptografia | 42.0.5 | cycler | 0.11.0 |
| Cython | 3.0.11 | databricks-connect | 16.4.19 | databricks-sdk | 0.49.0 |
| debugpy | 1.6.7 | dekorator | 5.1.1 | Deprecated | 1.2.18 |
| dill | 0.3.8 | executing | 0.8.3 | facets-overview | 1.1.1 |
| fastapi | 0.115.12 | fonttools | 4.51.0 | gitdb | 4.0.11 |
| GitPython | 3.1.37 | google-api-core | 2.20.0 | google-auth | 2.38.0 |
| google-cloud-core | 2.4.3 | google-cloud-storage | 3.1.0 | google-crc32c | 1.7.1 |
| google-resumable-media | 2.7.2 | googleapis-common-protos | 1.69.2 | grpcio | 1.71.0 |
| grpcio-status | 1.71.0 | h11 | 0.14.0 | idna | 3.7 |
| importlib-metadata | 7.0.1 | iniconfig | 1.1.1 | ipyflow-core | 0.0.206 |
| ipykernel | 6.29.5 | ipython | 8.32.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | isodate | 0.7.2 | jedi | 0.19.1 |
| jmespath | 1.0.1 | joblib | 1.4.2 | jupyter_client | 8.6.0 |
| jupyter_core | 5.7.2 | kiwisolver | 1.4.4 | matplotlib | 3.8.4 |
| matplotlib-inline | 0.1.6 | mlflow-skinny | 2.21.3 | mypy-extensions | 1.0.0 |
| nest-asyncio | 1.6.0 | numpy | 1.26.4 | opentelemetry-api | 1.31.1 |
| opentelemetry-sdk | 1.31.1 | opentelemetry-semantic-conventions | 0.52b1 | packaging | 24.1 |
| pandas | 1.5.3 | parso | 0.8.3 | pathspec | 0.10.3 |
| patsy | 0.5.6 | pexpect | 4.8.0 | pillow | 10.3.0 |
| pip | 25.0.1 | platformdirs | 3.10.0 | plotly | 5.22.0 |
| pluggy | 1.5.0 | prompt-toolkit | 3.0.43 | proto-plus | 1.26.1 |
| protobuf | 5.29.4 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | py4j | 0.10.9.9 |
| pyarrow | 15.0.2 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pyccolo | 0.0.68 | pycparser | 2.21 | pydantic | 2.8.2 |
| pydantic_core | 2.20.1 | Pygments | 2.15.1 | pyodbc | 5.0.1 |
| pyparsing | 3.0.9 | pytest | 8.3.0 | python-dateutil | 2.9.0.post0 |
| python-lsp-jsonrpc | 1.1.2 | pytz | 2024.1 | PyYAML | 6.0.1 |
| pyzmq | 25.1.2 | requests | 2.32.2 | rsa | 4.9 |
| s3transfer | 0.10.4 | scikit-learn | 1.4.2 | scipy | 1.13.1 |
| seaborn | 0.13.2 | smmap | 5.0.0 | sniffio | 1.3.0 |
| sqlparse | 0.5.3 | stack-data | 0.2.0 | starlette | 0.46.1 |
| statsmodels | 0.14.2 | tenacity | 8.2.2 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | tornado | 6.4.1 | traitlets | 5.14.3 |
| typing_extensions | 4.11.0 | tzdata | 2024.1 | ujson | 5.10.0 |
| urllib3 | 2.2.2 | uvicorn | 0.34.0 | wcwidth | 0.2.5 |
| wrapt | 1.14.1 | zipp | 3.17.0 | zstandard | 0.23.0 |