Mengonfigurasi lingkungan tanpa server

Halaman ini menjelaskan cara menggunakan panel sisi Lingkungan notebook tanpa server untuk mengonfigurasi dependensi, kebijakan penggunaan tanpa server, memori, dan lingkungan dasar. Panel ini menyediakan satu tempat untuk mengelola pengaturan serverless notebook. Pengaturan yang dikonfigurasi di panel ini hanya berlaku ketika buku catatan tersambung ke komputasi tanpa server.

Untuk memperluas panel samping Environment, klik tombol di sisi kanan notebook.

Menggunakan Runtime AI (GPU tanpa server)

Important

Runtime AI ada di Pratinjau Umum.

Ikuti langkah-langkah ini untuk mengonfigurasi Runtime AI, didukung oleh komputasi GPU tanpa server, di buku catatan Databricks Anda:

1. Dari buku catatan, klik menu drop-down komputasi di bagian atas dan pilih GPU Tanpa Server.
2. Klik untuk membuka panel sisi Lingkungan .
3. Pilih A10 dari bidang Akselerator .
4. Di bawah Lingkungan dasar, pilih Standar untuk lingkungan default atau AI untuk lingkungan yang dioptimalkan AI dengan pustaka pembelajaran mesin yang telah diinstal sebelumnya.
5. Klik Terapkan lalu Konfirmasikan bahwa Anda ingin menerapkan Runtime AI ke lingkungan buku catatan Anda.

Untuk detail selengkapnya, lihat Runtime AI.

Menggunakan komputasi tanpa server memori tinggi

Important

Fitur ini ada di Pratinjau Publik.

Jika Anda mengalami kesalahan kehabisan memori di buku catatan, Anda bisa mengonfigurasi buku catatan untuk menggunakan memori yang lebih besar. Pengaturan ini meningkatkan ukuran memori REPL yang digunakan saat menjalankan kode di notebook. Ini tidak memengaruhi ukuran memori sesi Spark. Penggunaan tanpa server dengan memori tinggi memiliki tingkat emisi DBU yang lebih tinggi daripada memori standar.

Opsi memori yang tersedia adalah:

• Standar: Memori total 16 GB.
• Tinggi: Total memori 32 GB.

Untuk mengonfigurasi pengaturan memori buku catatan:

1. Di antarmuka notebook, klik panel sisi Lingkungan.
2. Di bawah Memori, pilih Memori tinggi.
3. Klik Terapkan.

Pengaturan ini juga berlaku untuk tugas pekerjaan buku catatan, yang berjalan menggunakan preferensi memori buku catatan. Memperbarui preferensi memori di notebook memengaruhi eksekusi pekerjaan berikutnya.

Pilih kebijakan penggunaan tanpa server

Important

Fitur ini ada di Pratinjau Publik.

Kebijakan penggunaan tanpa server memungkinkan organisasi Anda menerapkan tag kustom pada penggunaan tanpa server untuk atribusi penagihan terperinci.

Jika ruang kerja Anda menggunakan kebijakan penggunaan tanpa server untuk mengaitkan penggunaan tanpa server, Anda dapat memilih kebijakan penggunaan tanpa server yang ingin Anda terapkan ke buku catatan. Jika pengguna hanya ditetapkan ke satu kebijakan penggunaan tanpa server, kebijakan tersebut dipilih secara default.

Anda dapat memilih kebijakan penggunaan tanpa server setelah notebook Anda tersambung ke komputasi serverless melalui panel samping Lingkungan :

1. Di antarmuka notebook, klik panel sisi Lingkungan.
2. Di bawah Kebijakan penggunaan tanpa server pilih kebijakan penggunaan tanpa server yang ingin Anda terapkan ke buku catatan Anda.
3. Klik Terapkan.

Ketika penyetelan ini selesai, semua penggunaan notebook akan mewarisi tag kustom dari kebijakan penggunaan serverless.

Note

Jika buku catatan Anda berasal dari repositori Git atau tidak memiliki kebijakan penggunaan tanpa server yang ditetapkan, buku catatan tersebut default ke kebijakan penggunaan tanpa server terakhir yang Anda pilih saat berikutnya dilampirkan ke komputasi tanpa server.

Pilih lingkungan dasar

Lingkungan dasar menentukan pustaka dan versi lingkungan pra-instal yang tersedia untuk notebook tanpa server Anda. Pemilih lingkungan Dasar di panel sisi Lingkungan menyediakan antarmuka terpadu untuk memilih lingkungan Anda. Untuk melihat detail pada setiap versi lingkungan, lihat versi lingkungan Tanpa Server. Databricks merekomendasikan penggunaan versi terbaru untuk mendapatkan fitur notebook yang paling mutakhir dan terkini.

Pemilih lingkungan Dasar menyertakan opsi berikut:

• Standar: Lingkungan dasar default dengan pustaka yang disediakan Databricks.
• AI: Lingkungan dasar yang dioptimalkan AI dengan pustaka pembelajaran mesin yang telah diinstal sebelumnya. Opsi ini hanya muncul ketika akselerator (GPU) dipilih.
• Lainnya: Memperluas untuk menampilkan opsi tambahan:
  • Versi lingkungan Standar dan AI sebelumnya.
  • Kustom: Memungkinkan Anda menentukan lingkungan kustom menggunakan file YAML.
• Lingkungan kerja: Daftar semua lingkungan dasar yang kompatibel yang dikonfigurasi untuk ruang kerja Anda oleh administrator.

Untuk memilih lingkungan dasar:

1. Di antarmuka notebook, klik panel sisi Lingkungan.
2. Di bawah Lingkungan dasar, pilih lingkungan dari menu dropdown.
3. Klik Terapkan.

Menambahkan dependensi ke buku catatan

Karena serverless tidak mendukung kebijakan komputasi atau skrip inisiasi, Anda harus menambahkan dependensi kustom menggunakan panel samping Lingkungan. Anda dapat menambahkan dependensi satu per satu atau menggunakan lingkungan dasar yang dapat dibagikan untuk menginstal beberapa dependensi.

Untuk menambahkan dependensi secara individual:

1. Di antarmuka notebook, klik panel sisi Lingkungan.

2. Di bagian Dependensi , klik Tambahkan Dependensi dan masukkan jalur dependensi di bidang . Anda dapat menentukan dependensi dalam format apa pun yang valid dalam file requirements.txt . File wheel Python atau proyek Python (misalnya, direktori yang berisi pyproject.toml atau setup.py) dapat terletak di file workspace atau volume Unity Catalog.

   • Jika menggunakan file ruang kerja, jalur harus absolut dan dimulai dengan /Workspace/.
   • Jika menggunakan file dalam volume Katalog Unity, jalur harus dalam format berikut: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

3. Klik Terapkan. Ini menginstal dependensi di lingkungan virtual notebook dan memulai ulang proses Python.

Important

Jangan instal PySpark atau pustaka apa pun yang menginstal PySpark sebagai dependensi pada notebook tanpa server Anda. Melakukannya akan menghentikan sesi Anda dan mengakibatkan kesalahan. Jika ini terjadi, hapus pustaka dan reset lingkungan Anda.

Untuk melihat dependensi yang terpasang, klik tab Terpasang di panel samping Lingkungan. Log penginstalan pip untuk lingkungan notebook dapat diakses dengan mengklik log pip di bagian bawah panel.

Membuat spesifikasi lingkungan kustom

Anda dapat membuat dan menggunakan kembali spesifikasi lingkungan kustom.

1. Di buku catatan tanpa server, pilih lingkungan dasar dan tambahkan dependensi apa pun yang ingin Anda instal.
2. Klik ikon menu di bagian bawah panel lingkungan lalu klik Ekspor lingkungan.
3. Simpan spesifikasi sebagai file Ruang Kerja atau dalam volume Katalog Unity.

Untuk menggunakan spesifikasi lingkungan kustom Anda di buku catatan, pilih Kustom dari menu dropdown Lingkungan dasar , lalu gunakan untuk memilih file YAML Anda.

Membuat utilitas umum untuk dibagikan di seluruh ruang kerja Anda

Contoh berikut menunjukkan kepada Anda cara menyimpan utilitas umum dalam file ruang kerja dan menambahkannya sebagai dependensi di notebook tanpa server Anda:

1. Buat folder dengan struktur berikut. Verifikasi bahwa konsumen proyek Anda memiliki akses yang sesuai ke jalur file:

   helper_utils/
   ├── helpers/
   │   └── __init__.py   # your common functions live here
   ├── pyproject.toml
   

2. Isi pyproject.toml seperti ini:

   [project]
   name = "common_utils"
   version = "0.1.0"
   

3. Tambahkan fungsi ke init.py file. Contohnya:

   def greet(name: str) -> str:
       return f"Hello, {name}!"
   

4. Di UI buku catatan, klik panel samping Lingkungan, ikon .

5. Di bagian Dependensi , klik Tambahkan Dependensi lalu masukkan jalur file util Anda. Misalnya: /Workspace/helper_utils.

6. Klik Terapkan.

Sekarang Anda bisa menggunakan fungsi di buku catatan Anda:

from helpers import greet
print(greet('world'))

Output ini sebagai:

Hello, world!

Mengatur ulang dependensi lingkungan

Jika notebook Anda terhubung ke komputasi tanpa server, Databricks secara otomatis menyimpan konten lingkungan virtual notebook. Ini berarti Anda umumnya tidak perlu menginstal ulang dependensi Python yang ditentukan dalam Environment panel samping saat Anda membuka notebook yang ada, bahkan jika telah terputus karena tidak aktif.

Python penyimpanan sementara lingkungan virtual juga berlaku untuk pekerjaan. Saat pekerjaan dijalankan, tugas apa pun dari pekerjaan yang berbagi serangkaian dependensi yang sama dengan tugas yang telah selesai dalam putaran tersebut akan lebih cepat, karena dependensi yang diperlukan sudah tersedia.

Note

Jika Anda mengubah implementasi paket Python kustom yang digunakan dalam pekerjaan tanpa server, Anda juga harus memperbarui nomor versinya sehingga pekerjaan dapat mengambil implementasi terbaru.

Untuk menghapus cache lingkungan dan melakukan penginstalan baru dependensi yang ditentukan di panel sisi Lingkungan dari buku catatan yang terhubung ke komputasi tanpa server, klik panah di samping Terapkan lalu klik Atur Ulang ke pengaturan awal.

Jika Anda menginstal paket yang merusak atau mengubah notebook inti atau lingkungan Apache Spark, hapus paket yang menyinggung lalu atur ulang lingkungan. Memulai sesi baru tidak menghapus seluruh cache lingkungan.

Mengonfigurasi repositori paket Python default

Admin ruang kerja dapat mengonfigurasi repositori paket privat atau terautentikasi dalam ruang kerja sebagai konfigurasi pip default untuk notebook tanpa server dan pekerjaan tanpa server. Ini memungkinkan pengguna untuk menginstal paket dari repositori Python internal tanpa secara eksplisit mendefinisikan index-url atau extra-index-url.

Untuk instruksi, admin ruang kerja dapat mereferensikan Konfigurasi repositori paket Python default.

Mengonfigurasi lingkungan untuk tugas pekerjaan

Untuk jenis tugas pekerjaan seperti notebook, skrip Python, roda Python, JAR, atau tugas dbt, dependensi pustaka diwariskan dari versi lingkungan tanpa server. Untuk melihat daftar pustaka yang diinstal, lihat bagian Installed Python libraries atau Installed Java dan Scala libraries dari versi environment yang Anda gunakan. Jika tugas memerlukan pustaka yang tidak diinstal, Anda dapat menginstal pustaka dari file ruang kerja, volume di Katalog Unity, atau repositori paket publik.

Untuk buku catatan dengan lingkungan buku catatan yang telah ada, Anda bisa menjalankan tugas menggunakan lingkungan buku catatan tersebut atau menggantinya dengan memilih lingkungan tingkat pekerjaan sebagai gantinya.

Important

Menggunakan komputasi tanpa server untuk tugas JAR ada di Pratinjau Umum.

Untuk menambahkan pustaka saat Anda membuat atau mengedit tugas pekerjaan:

1. Di menu drop-down Lingkungan dan Pustaka , klik di samping lingkungan Default atau klik + Tambahkan lingkungan baru.

   

2. Pilih versi lingkungan dari menu drop-down versi lingkungan . Lihat versi lingkungan Tanpa Server. Databricks merekomendasikan memilih versi terbaru untuk mendapatkan fitur terbaru.

3. Dalam dialog Konfigurasikan lingkungan, klik + Tambahkan pustaka.

4. Pilih jenis dependensi dari menu tarik-turun di bawah Pustaka.

5. Dalam kotak teks Jalur File, masukkan jalur ke pustaka.

   • Untuk Wheel Python dalam file workspace, jalurnya harus absolut dan dimulai dengan /Workspace/.
   • Untuk Python Wheel pada volume Unity Catalog, jalurnya harus /Volumes/<catalog>/<schema>/<volume>/<path>.whl.
   • Untuk file requirements.txt, pilih PyPi dan masukkan -r /path/to/requirements.txt.

   

6. Klik Konfirmasi atau + Tambahkan pustaka untuk menambahkan pustaka lain.

7. Jika Anda menambahkan tugas, klik Buat tugas. Jika Anda mengedit tugas, klik Simpan tugas.

Lingkungan dasar untuk tugas pekerjaan

Pekerjaan tanpa server mendukung lingkungan dasar kustom yang ditentukan dengan file YAML untuk tugas Python, roda Python, dan notebook. Untuk tugas buku catatan, Anda dapat memilih lingkungan dasar kustom dalam konfigurasi lingkungan pekerjaan atau menggunakan pengaturan lingkungan notebook sendiri, yang mendukung lingkungan ruang kerja dan lingkungan dasar kustom. Dalam semua kasus, hanya dependensi yang diperlukan untuk tugas yang diinstal pada runtime. Anda dapat memilih lingkungan dasar kustom langsung di pengaturan lingkungan pekerjaan. Untuk membuat lingkungan dasar kustom , lihat Membuat spesifikasi lingkungan kustom.

Lingkungan dasar terkelola dalam pekerjaan

Important

Fitur ini ada di Beta. Admin ruang kerja dapat mengontrol akses ke fitur ini dari halaman Pratinjau . Lihat Kelola pratinjau Azure Databricks.

Anda dapat memilih lingkungan dasar terkelola langsung di pengaturan lingkungan pekerjaan. Ini termasuk lingkungan dasar ruang kerja yang dikonfigurasi oleh administrator ruang kerja dan lingkungan dasar yang disediakan oleh Azure Databricks, seperti Standard dan AI. Ini adalah lingkungan dasar yang sama yang tersedia di pemilih lingkungan notebook. Untuk informasi tentang membuat dan mengelola lingkungan dasar ruang kerja, lihat Mengelola lingkungan dasar ruang kerja.

Lingkungan dasar terkelola didukung untuk tugas notebook, skrip Python, dan roda Python. Mereka tidak didukung untuk tugas-tugas JAR.

Kompatibilitas lingkungan dan komputasi

Lingkungan dasar yang Anda pilih harus kompatibel dengan jenis komputasi tugas. Misalnya, lingkungan yang dibangun untuk komputasi GPU tidak kompatibel dengan komputasi CPU. Dalam antarmuka pengguna di bagian pekerjaan, lingkungan yang tidak kompatibel akan ditampilkan dengan warna abu-abu dalam menu dropdown lingkungan dasar.

Saat Anda mengonfigurasi tugas buku catatan, jenis komputasi (CPU atau GPU) dan lingkungan dasar masing-masing bisa berasal dari pengaturan pekerjaan atau pengaturan buku catatan.

• Jika Anda mengatur akselerator perangkat keras (GPU) di tingkat pekerjaan, Anda juga harus memilih lingkungan dasar di tingkat pekerjaan. Anda tidak dapat menggunakan lingkungan buku catatan dengan akselerator tingkat tugas.
• Jika Anda mengubah jenis komputasi buku catatan (misalnya, dari CPU ke GPU) setelah membuat pekerjaan yang merujuk padanya, tugas yang sudah ada mungkin menjadi tidak kompatibel dengan lingkungan yang dikonfigurasi. Tinjau pengaturan lingkungan pekerjaan Anda setelah mengubah konfigurasi komputasi buku catatan.
• Untuk pengguna API, jika lingkungan dasar diatur di tingkat tugas tetapi jenis komputasi diwarisi dari notebook, kompatibilitas divalidasi saat waktu proses berjalan daripada saat pembuatan tugas. Jika konfigurasi tidak kompatibel, eksekusi gagal dengan kesalahan.