Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Artikel ini menguraikan informasi lingkungan sistem untuk lingkungan tanpa server versi 3.
Untuk memastikan kompatibilitas untuk aplikasi, beban kerja tanpa server menggunakan API versi, yang dikenal sebagai versi lingkungan, yang tetap kompatibel dengan versi server yang lebih baru.
Anda dapat memilih versi lingkungan menggunakan panel samping Environment di notebook tanpa server Anda. Lihat Memilih lingkungan dasar.
Fitur dan peningkatan baru
Fitur dan peningkatan baru berikut tersedia di lingkungan tanpa server 3.
Pembaruan API
18 Agustus 2025
UDF Scalar Python sekarang mendukung kredensial layanan
UDF Scalar Python dapat menggunakan kredensial layanan Unity Catalog untuk mengakses layanan cloud eksternal dengan aman. Untuk informasi selengkapnya, lihat Kredensial layanan di Scalar Python UDFs.
13 Juni 2025
Lingkungan tanpa server 3 mencakup pembaruan API berikut:
- Menambahkan dukungan API untuk fitur pushdown filter pada sumber data Python. Lihat Menambahkan dukungan API pushdown filter ke sumber data Python.
- Pelacakan UDF Python sekarang mencakup frame dari driver dan eksekutor, serta frame klien. Lihat Peningkatan jejak Python UDF.
- Fungsi baru
listaggdanstring_aggmenggabungkan nilaiSTRINGdanBINARYdalam sebuah grup. Lihat Barulistaggdanstring_aggfungsi-fungsi. -
variant_getdanget_json_objectsekarang mempertimbangkan spasi terkemuka di jalur di Apache Spark. Lihat variant_get dan get_json_object sekarang mempertimbangkan spasi di awal jalur di Apache Spark. - SPARK-51079 Mendukung jenis variabel besar di Pandas UDF, createDataFrame, dan toPandas dengan Arrow.
-
SPARK-51186 Tambahkan
StreamingPythonRunnerInitializationExceptionke pengecualian dasar PySpark. -
SPARK-51112 Hindari menggunakan pyarrow
to_pandaspada tabel kosong. -
SPARK-51506 [PYTHON][ss] Jangan memaksa pengguna untuk menerapkan close() di
TransformWithStateInPandas -
SPARK-51425 [Connect] Tambahkan API klien untuk mengatur kustom
operation_id - SPARK-51206 [PYTHON][connect] Pindahkan alat bantu konversi Arrow keluar dari Spark Connect
Databricks Connect ditingkatkan ke 16.3
13 Juni 2025
Gunakan fitur dan peningkatan yang tersedia di Databricks Connect untuk Databricks Runtime 16.3. Lihat Databricks Connect untuk Databricks Runtime 16.3.
Penyorotan kesalahan sintaks Python yang disempurnakan
13 Juni 2025
Penyorotan kesalahan sintaks Python akan melihat peningkatan berikut:
- Latensi penanganan kesalahan yang lebih cepat.
- Dukungan untuk penyorotan kesalahan tipe Python.
- Konfigurasi Linter melalui
pyproject.tomlfile.
Lihat Penyorotan kesalahan Python.
Dukungan Git CLI di terminal web dan notebook
13 Juni 2025
Anda sekarang dapat menggunakan Git CLI di notebook tanpa server dan terminal web notebook tanpa server.
Perubahan perilaku terkait versi lingkungan yang saling bertentangan
13 Juni 2025
Dalam kasus di mana versi lingkungan tanpa server dideklarasikan di panel Lingkungan buku catatan dan dalam file lingkungan dasar kustom, versi lingkungan dasar lebih diutamakan kecuali kedua versi yang dinyatakan berada di bawah versi 3, dalam hal ini versi buku catatan digunakan.
Contohnya:
- Jika notebook menggunakan v1 dan lingkungan dasar menggunakan v3, beban kerja akan menggunakan v3.
- Jika notebook menggunakan v1 dan lingkungan dasar menggunakan v2, beban kerja akan menggunakan v1.
- Jika notebook menggunakan v3 dan lingkungan dasar menggunakan v1, beban kerja akan menggunakan v1.
- Jika notebook menggunakan v2 dan lingkungan dasar menggunakan v1, beban kerja akan menggunakan v2.
Lingkungan sistem
- Sistem Operasi : Ubuntu 24.04.2 LTS
- Python: 3.12.3
- Databricks Connect: 16.4.2
Perpustakaan Python yang terinstal
Untuk mereproduksi lingkungan tanpa server 3 di lingkungan virtual Python lokal Anda, unduh file requirements-env-3.txt dan jalankan pip install -r requirements-env-3.txt. Perintah ini menginstal semua pustaka sumber terbuka dari lingkungan tanpa server 3.
| Library | Version | Library | Version | Library | Version |
|---|---|---|---|---|---|
| annotated-types | 0.7.0 | anyio | 4.2.0 | asttokens | 2.0.5 |
| astunparse | 1.6.3 | autocommand | 2.2.2 | azure-core | 1.33.0 |
| azure-storage-blob | 12.23.0 | azure-storage-file-datalake | 12.17.0 | backports.tarfile | 1.2.0 |
| black | 24.4.2 | blinker | 1.7.0 | boto3 | 1.34.69 |
| botocore | 1.34.69 | cachetools | 5.3.3 | certifi | 2024.6.2 |
| cffi | 1.16.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| click | 8.1.7 | cloudpickle | 3.0.0 | comm | 0.2.1 |
| contourpy | 1.2.0 | cryptography | 42.0.5 | cycler | 0.11.0 |
| Cython | 3.0.11 | databricks-connect | 16.4.2 | databricks-sdk | 0.49.0 |
| dbus-python | 1.3.2 | debugpy | 1.6.7 | decorator | 5.1.1 |
| Deprecated | 1.2.18 | dill | 0.3.8 | distlib | 0.3.8 |
| executing | 0.8.3 | facets-overview | 1.1.1 | fastapi | 0.115.12 |
| filelock | 3.15.4 | fonttools | 4.51.0 | gitdb | 4.0.11 |
| GitPython | 3.1.37 | google-api-core | 2.20.0 | google-auth | 2.38.0 |
| google-cloud-core | 2.4.3 | google-cloud-storage | 3.1.0 | google-crc32c | 1.7.1 |
| google-resumable-media | 2.7.2 | googleapis-common-protos | 1.69.2 | grpcio | 1.71.0 |
| grpcio-status | 1.71.0 | h11 | 0.14.0 | httplib2 | 0.20.4 |
| idna | 3.7 | importlib-metadata | 7.0.1 | inflect | 7.3.1 |
| iniconfig | 1.1.1 | ipyflow-core | 0.0.206 | ipykernel | 6.29.5 |
| ipython | 8.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.7.2 | jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 |
| jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 | jedi | 0.19.1 |
| jmespath | 1.0.1 | joblib | 1.4.2 | jupyter_client | 8.6.0 |
| jupyter_core | 5.7.2 | kiwisolver | 1.4.4 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | matplotlib | 3.8.4 |
| matplotlib-inline | 0.1.6 | mlflow-skinny | 2.21.3 | more-itertools | 10.3.0 |
| mypy-extensions | 1.0.0 | nest-asyncio | 1.6.0 | numpy | 1.26.4 |
| oauthlib | 3.2.2 | opentelemetry-api | 1.31.1 | opentelemetry-sdk | 1.31.1 |
| opentelemetry-semantic-conventions | 0.52b1 | packaging | 24.1 | pandas | 1.5.3 |
| parso | 0.8.3 | pathspec | 0.10.3 | patsy | 0.5.6 |
| pexpect | 4.8.0 | pillow | 10.3.0 | pip | 25.0.1 |
| platformdirs | 3.10.0 | plotly | 5.22.0 | pluggy | 1.5.0 |
| prompt-toolkit | 3.0.43 | proto-plus | 1.26.1 | protobuf | 5.29.4 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | py4j | 0.10.9.7 | pyarrow | 15.0.2 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.68 |
| pycparser | 2.21 | pydantic | 2.8.2 | pydantic_core | 2.20.1 |
| Pygments | 2.15.1 | PyGObject | 3.48.2 | PyJWT | 2.7.0 |
| pyodbc | 5.0.1 | pyparsing | 3.0.9 | pytest | 8.3.0 |
| python-dateutil | 2.9.0.post0 | python-lsp-jsonrpc | 1.1.2 | pytz | 2024.1 |
| PyYAML | 6.0.1 | pyzmq | 25.1.2 | requests | 2.32.2 |
| rsa | 4.9 | s3transfer | 0.10.4 | scikit-learn | 1.4.2 |
| scipy | 1.13.1 | seaborn | 0.13.2 | setuptools | 75.8.0 |
| six | 1.16.0 | smmap | 5.0.0 | sniffio | 1.3.0 |
| sqlparse | 0.5.3 | ssh-import-id | 5.11 | stack-data | 0.2.0 |
| starlette | 0.46.1 | statsmodels | 0.14.2 | tenacity | 8.2.2 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.4.1 | traitlets | 5.14.3 | typeguard | 4.3.0 |
| typing_extensions | 4.11.0 | tzdata | 2024.1 | ujson | 5.10.0 |
| unattended-upgrades | 0.1 | urllib3 | 2.2.2 | uvicorn | 0.34.0 |
| virtualenv | 20.29.2 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| wheel | 0.45.1 | wrapt | 1.14.1 | zipp | 3.17.0 |
| zstandard | 0.23.0 |