Mengonfigurasi lingkungan tanpa server

Artikel ini menjelaskan cara menggunakan panel samping Environment notebook tanpa server untuk mengonfigurasi dependensi, kebijakan anggaran tanpa server, memori, dan versi lingkungan. Panel ini menyediakan satu tempat untuk mengelola pengaturan serverless notebook. Pengaturan yang dikonfigurasi di panel ini hanya berlaku ketika buku catatan tersambung ke komputasi tanpa server.

Untuk memperluas panel samping Environment, klik tombol di sisi kanan notebook.

Menggunakan komputasi GPU tanpa server

Important

Komputasi GPU tanpa server ada di Beta.

Gunakan langkah-langkah berikut untuk menggunakan komputasi GPU tanpa server di buku catatan Databricks Anda:

1. Dari buku catatan, klik menu drop-down Sambungkan di bagian atas dan pilih GPU Tanpa Server.
2. Klik untuk membuka panel sisi Lingkungan .
3. Pilih A10 dari bidang Akselerator .
4. Pilih Tidak Ada untuk lingkungan default atau AI v4 untuk lingkungan AI dari bidang Lingkungan dasar .
5. Jika Anda memilih Tidak Ada dari bidang Lingkungan dasar , pilih versi Lingkungan.
6. Klik Terapkan lalu Konfirmasikan bahwa Anda ingin menerapkan komputasi GPU tanpa server ke lingkungan buku catatan Anda.

Untuk detail selengkapnya, lihat Komputasi GPU Tanpa Server.

Menggunakan komputasi tanpa server memori tinggi

Important

Fitur ini ada di Pratinjau Publik.

Jika Anda mengalami kesalahan kehabisan memori di buku catatan, Anda bisa mengonfigurasi buku catatan untuk menggunakan memori yang lebih besar. Pengaturan ini meningkatkan ukuran memori REPL yang digunakan saat menjalankan kode di notebook. Ini tidak memengaruhi ukuran memori sesi Spark. Penggunaan tanpa server dengan memori tinggi memiliki tingkat emisi DBU yang lebih tinggi daripada memori standar.

1. Di antarmuka buku catatan, klik panel samping Lingkungan.
2. Di bawah Memori, pilih Memori tinggi.
3. Klik Terapkan.

Pengaturan ini juga berlaku untuk tugas pekerjaan buku catatan, yang berjalan menggunakan preferensi memori buku catatan. Memperbarui preferensi memori di notebook memengaruhi eksekusi pekerjaan berikutnya.

Pilih kebijakan anggaran tanpa server

Important

Fitur ini ada di Pratinjau Publik.

Kebijakan anggaran tanpa server memungkinkan organisasi Anda menerapkan tag kustom pada penggunaan tanpa server untuk atribusi penagihan terperinci.

Jika ruang kerja Anda menggunakan kebijakan anggaran tanpa server untuk mengaitkan penggunaan tanpa server, Anda dapat memilih kebijakan anggaran tanpa server yang ingin Anda terapkan ke buku catatan. Jika pengguna hanya ditetapkan ke satu kebijakan anggaran tanpa server, kebijakan tersebut dipilih secara default.

Anda dapat memilih kebijakan anggaran tanpa server setelah buku catatan Anda tersambung ke komputasi tanpa server dengan menggunakan panel samping Lingkungan:

1. Di antarmuka buku catatan, klik panel samping Lingkungan.
2. Di bawah kebijakan anggaran pilih kebijakan anggaran tanpa server yang ingin Anda terapkan ke buku catatan Anda.
3. Klik Terapkan.

Ketika penyiapan ini selesai, semua penggunaan notebook akan mewarisi tag kustom dari kebijakan anggaran serverless.

Note

Jika notebook Anda berasal dari repositori Git atau tidak memiliki kebijakan anggaran tanpa server yang ditetapkan, secara default akan menggunakan kebijakan anggaran tanpa server terakhir yang Anda pilih ketika dilampirkan kembali ke komputasi tanpa server.

Pilih versi lingkungan

Versi lingkungan memungkinkan beban kerja tanpa server menerima peningkatan mesin independen tanpa memengaruhi kompatibilitas aplikasi. Untuk melihat detail pada setiap versi lingkungan, lihat versi lingkungan Tanpa Server. Databricks merekomendasikan memilih versi terbaru untuk mendapatkan fitur-fitur notebook terkini.

Untuk memilih versi lingkungan:

1. Di antarmuka buku catatan, klik panel samping Lingkungan.
2. Pada Versi lingkungan, pilih versi.
3. Klik Terapkan.

Menambahkan dependensi ke buku catatan

Karena serverless tidak mendukung kebijakan komputasi atau skrip inisiasi, Anda harus menambahkan dependensi kustom menggunakan panel samping Lingkungan. Anda dapat menambahkan dependensi satu per satu atau menggunakan lingkungan dasar yang dapat dibagikan untuk menginstal beberapa dependensi.

Untuk menambahkan dependensi secara individual:

1. Di antarmuka buku catatan, klik panel samping Lingkungan.

2. Di bagian Dependensi , klik Tambahkan Dependensi dan masukkan jalur dependensi di bidang . Anda dapat menentukan dependensi dalam format apa pun yang valid dalam file requirements.txt . File berkas wheel Python atau proyek Python (misalnya, direktori yang berisi pyproject.toml atau setup.py) dapat terletak di file ruang kerja atau volume Unity Catalog.

   • Jika menggunakan file ruang kerja, jalur harus absolut dan dimulai dengan /Workspace/.
   • Jika menggunakan file dalam volume Katalog Unity, jalur harus dalam format berikut: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

3. Klik Terapkan. Ini menginstal dependensi di lingkungan virtual notebook dan memulai ulang proses Python.

Important

Jangan instal PySpark atau pustaka apa pun yang menginstal PySpark sebagai dependensi pada notebook tanpa server Anda. Melakukannya akan menghentikan sesi Anda dan mengakibatkan kesalahan. Jika ini terjadi, hapus pustaka dan reset lingkungan Anda.

Untuk melihat dependensi yang terpasang, klik tab Terpasang di panel samping Lingkungan. Log penginstalan pip untuk lingkungan notebook dapat diakses dengan mengklik log pip di bagian bawah panel.

Menambahkan dependensi ke lingkungan dasar

Lingkungan dasar adalah file YAML yang disimpan sebagai file ruang kerja atau pada volume Katalog Unity yang menentukan dependensi lingkungan tambahan. Anda dapat memilih salah satu lingkungan dasar ruang kerja Anda dari menu dropdown Lingkungan dasar , atau pilih Kustom untuk menggunakan spesifikasi lingkungan kustom.

Anda dapat menginstal dependensi tambahan satu per satu di atas lingkungan dasar. Dependensi yang diinstal secara individual mengambil alih atau memperluas lingkungan dasar untuk notebook tersebut.

Untuk instruksi admin ruang kerja, lihat Mengelola lingkungan dasar tanpa server.

Membuat spesifikasi lingkungan kustom

Anda dapat membuat dan menggunakan kembali spesifikasi lingkungan kustom.

1. Di notebook tanpa server, pilih versi lingkungan dan tambahkan dependensi apa pun yang ingin Anda instal.
2. Klik Di bagian bawah panel lingkungan lalu klik Ekspor lingkungan.
3. Simpan spesifikasi sebagai file Ruang Kerja atau dalam volume Katalog Unity.

Untuk menggunakan spesifikasi lingkungan kustom Anda di buku catatan, pilih Kustom dari menu dropdown Lingkungan dasar , lalu gunakan ikon folder re:[Ikon folder] untuk memilih file YAML Anda.

Membuat utilitas umum untuk dibagikan di seluruh ruang kerja Anda

Contoh berikut menunjukkan kepada Anda cara menyimpan utilitas umum dalam file ruang kerja dan menambahkannya sebagai dependensi di notebook tanpa server Anda:

1. Buat folder dengan struktur berikut. Verifikasi bahwa konsumen proyek Anda memiliki akses yang sesuai ke jalur file:

   helper_utils/
   ├── helpers/
   │   └── __init__.py   # your common functions live here
   ├── pyproject.toml
   

2. Isi pyproject.toml seperti ini:

   [project]
   name = "common_utils"
   version = "0.1.0"
   

3. Tambahkan fungsi ke init.py file. Contohnya:

   def greet(name: str) -> str:
       return f"Hello, {name}!"
   

4. Di UI buku catatan, klik panel samping Lingkungan, ikon .

5. Di bagian Dependensi , klik Tambahkan Dependensi lalu masukkan jalur file util Anda. Misalnya: /Workspace/helper_utils.

6. Klik Terapkan.

Sekarang Anda bisa menggunakan fungsi di buku catatan Anda:

from helpers import greet
print(greet('world'))

Output ini sebagai:

Hello, world!

Mengatur ulang dependensi lingkungan

Jika notebook Anda terhubung ke komputasi tanpa server, Databricks secara otomatis menyimpan konten lingkungan virtual notebook. Ini berarti Anda umumnya tidak perlu menginstal ulang dependensi Python yang ditentukan di panel samping Environment saat Anda membuka notebook yang ada, bahkan jika telah terputus karena tidak aktif.

Penembolokan lingkungan virtual Python juga berlaku untuk tugas. Saat pekerjaan dijalankan, tugas apa pun dari pekerjaan yang berbagi serangkaian dependensi yang sama dengan tugas yang telah selesai dalam putaran tersebut akan lebih cepat, karena dependensi yang diperlukan sudah tersedia.

Note

Jika Anda mengubah implementasi paket Python kustom yang digunakan dalam pekerjaan tanpa server, Anda juga harus memperbarui nomor versinya sehingga pekerjaan dapat mengambil implementasi terbaru.

Untuk menghapus cache lingkungan dan melakukan penginstalan baru dependensi yang ditentukan di panel sisi Lingkungan dari buku catatan yang terhubung ke komputasi tanpa server, klik panah di samping Terapkan lalu klik Atur Ulang ke pengaturan awal.

Jika Anda menginstal paket yang merusak atau mengubah notebook inti atau lingkungan Apache Spark, hapus paket yang menyinggung lalu atur ulang lingkungan. Memulai sesi baru tidak menghapus seluruh cache lingkungan.

Mengonfigurasi repositori paket Python default

Admin ruang kerja dapat mengonfigurasi repositori paket privat atau terautentikasi dalam ruang kerja sebagai konfigurasi pip default untuk notebook tanpa server dan pekerjaan tanpa server. Ini memungkinkan pengguna untuk menginstal paket dari repositori Python internal tanpa secara eksplisit menentukan index-url atau extra-index-url.

Untuk instruksi, admin ruang kerja dapat merujuk pada Mengonfigurasi repositori paket Python bawaan.

Mengonfigurasi lingkungan untuk tugas pekerjaan

Untuk jenis tugas pekerjaan seperti notebook, skrip Python, roda Python, JAR, atau tugas dbt, dependensi pustaka diwarisi dari versi lingkungan tanpa server. Untuk melihat daftar pustaka yang diinstal, lihat bagian Pustaka Python terinstal atau pustaka Java dan Scala terinstal dari versi lingkungan yang Anda gunakan. Jika tugas memerlukan pustaka yang tidak diinstal, Anda dapat menginstal pustaka dari file ruang kerja, volume di Katalog Unity, atau repositori paket publik.

Untuk buku catatan dengan lingkungan buku catatan yang telah ada, Anda bisa menjalankan tugas menggunakan lingkungan buku catatan tersebut atau menggantinya dengan memilih lingkungan tingkat pekerjaan sebagai gantinya.

Important

Menggunakan komputasi tanpa server untuk tugas JAR ada di Beta.

Untuk menambahkan pustaka saat Anda membuat atau mengedit tugas pekerjaan:

1. Di menu dropdown Lingkungan dan Pustaka, klik di samping lingkungan Default atau klik + Tambahkan lingkungan baru.

   

2. Pilih versi lingkungan dari menu drop-down versi lingkungan . Lihat versi lingkungan Tanpa Server. Databricks merekomendasikan memilih versi terbaru untuk mendapatkan fitur terbaru.

3. Dalam dialog Konfigurasikan lingkungan, klik + Tambahkan pustaka.

4. Pilih jenis dependensi dari menu tarik-turun di bawah Pustaka.

5. Dalam kotak teks Jalur File, masukkan jalur ke pustaka.

• Untuk Python Wheel dalam file ruang kerja, jalur harus absolut dan dimulai dengan /Workspace/.

• Untuk Roda Python dalam volume Katalog Unity, jalurnya harus /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

• Untuk file requirements.txt, pilih PyPi dan masukkan -r /path/to/requirements.txt.

  

1. Klik Konfirmasi atau + Tambahkan pustaka untuk menambahkan pustaka lain.
2. Jika Anda menambahkan tugas, klik Buat tugas. Jika Anda mengedit tugas, klik Simpan tugas.