Kelola ketergantungan menggunakan lingkungan

Important

Fitur ini ada di Beta. Admin akun dapat mengontrol akses ke fitur ini dari halaman Pratinjau konsol akun menggunakan tombol Environments for Standard Compute . Lihat Kelola Pratinjau Azure Databricks.

Pada komputasi klasik, mode ketergantungan Lingkungan memungkinkan Anda mengelola ketergantungan pada tingkat beban kerja menggunakan lingkungan dasar daripada menginstal pustaka dengan cakupan komputasi. Ini adalah model yang sama seperti yang digunakan oleh komputasi tanpa server.

Pengaturan lingkungan tetap terisolasi dari perubahan tingkat komputasi, sehingga beban kerja tidak rusak ketika komputasi berubah di bawahnya. Dan karena Azure Databricks menyimpan lingkungan dasar dalam cache, dependensi tidak perlu di-resolve dan diinstal saat startup, sehingga komputasi dapat dimulai lebih cepat dan terhindar dari kegagalan akibat resolusi paket, ketersediaan repositori, atau keandalan jaringan.

Setelah Anda terhubung ke compute yang menggunakan mode dependensi Environments, Anda dapat memilih lingkungan dasar dan menambahkan dependensi dari panel samping Environment di notebook. Lihat Gunakan lingkungan dalam notebook.

Requirements

Pengaturan mode ketergantungan hanya tersedia pada komputasi yang memenuhi persyaratan berikut:

• Databricks Runtime 19 (Beta) atau lebih tinggi
• Mode akses standar
• Komputasi serbaguna dijalankan di notebook interaktif

Untuk detail dukungan, lihat Keterbatasan.

Atur mode ketergantungan

Untuk membuat komputasi yang menggunakan mode ketergantungan Lingkungan :

1. Di sidebar workspace, klik Compute lalu buka tab All-purpose compute .

2. Klik Buat komputasi.

3. Di bawah Performance, pilih 19 Beta atau lebih tinggi dari menu drop-down versi Databricks Runtime.

4. Perluas bagian Lanjutan , lalu klik Dependensies.

5. Untuk mode Dependensi, biarkan Auto tetap dipilih agar Azure Databricks dapat menentukan mode tersebut, atau klik Manual dan pilih Environments untuk menetapkannya sendiri. Lihat opsi mode ketergantungan.

   

6. Konfigurasikan sisa komputasi, lalu klik Buat.

Setelah komputasi berjalan, lampirkan notebook dan konfigurasikan lingkungannya seperti yang dijelaskan di Gunakan lingkungan dalam notebook.

Opsi mode dependensi

Kontrol Mode dependensi memiliki dua pengaturan yang menentukan bagaimana mode dipilih:

• Auto: Azure Databricks menyelesaikan mode berdasarkan konfigurasi komputasi. Auto mengarah ke Environments kecuali jika komputasi menentukan Docker, variabel lingkungan Spark, atau skrip init; dalam hal ini, Auto mengarah ke Pustaka klaster.
• Manual: Anda memilih Lingkungan atau pustaka Cluster sendiri.

Saat Anda memilih Manual, pilih mode yang sesuai dengan kebutuhan Anda:

• Lingkungan: Kelola ketergantungan pada tingkat beban kerja menggunakan lingkungan dasar. Library cluster, Docker, variabel lingkungan Spark, dan skrip init dinonaktifkan. Gunakan mode ini untuk pengalaman ketergantungan yang konsisten dan portabel yang sesuai dengan komputasi serverless.
• Library cluster: Perilaku klasik. Instal dependensi pada sumber daya komputasi menggunakan pustaka klaster, skrip init, atau Docker. Gunakan mode ini jika beban kerja Anda membutuhkan salah satu pengaturan tersebut.

Perbarui komputasi yang sudah ada

Jika Anda mengedit pengaturan untuk komputasi yang ada, beralih ke mode Lingkungan akan diblokir jika komputasi memiliki pengaturan yang tidak kompatibel, seperti skrip init, library cluster, atau Docker. Jika Anda menghapus pengaturan yang tidak kompatibel terlebih dahulu, Anda kemudian dapat mengedit mode ketergantungan.

Jika Anda beralih ke mode Cluster libraries dari mode Environments , notebook yang terlampir tetap mempertahankan pilihan lingkungan mereka tetapi pilihan tersebut menjadi tidak aktif. Jika Anda mengembalikan komputasi ke mode Lingkungan , seleksi tersebut akan aktif kembali.

Gunakan lingkungan dalam notebook

Untuk menggunakan environment dalam notebook, lampirkan notebook ke sumber daya komputasi klasik yang menggunakan mode dependensi Environments. Setelah Anda melampirkan notebook, Anda dapat mengonfigurasi dependensi notebook dari panel samping lingkunganEnvironment, dengan cara yang sama seperti pada komputasi nirserver.

Pilih lingkungan dasar

Lingkungan dasar menentukan pustaka yang sudah terpasang dan versi lingkungan yang tersedia untuk notebook Anda. Pemilih lingkungan Dasar di panel sisi Lingkungan adalah tempat Anda memilih lingkungan Anda. Databricks merekomendasikan penggunaan versi terbaru untuk mendapatkan fitur notebook yang paling mutakhir dan terkini. Untuk melihat detail setiap versi lingkungan, lihat Versi lingkungan.

Pemilih lingkungan Dasar menyertakan opsi berikut:

• Standar: Lingkungan dasar default dengan pustaka yang disediakan Databricks.
• ML: Lingkungan dasar dengan Python dan paket sistem dari Databricks Runtime untuk Pembelajaran Mesin yang telah diinstal sebelumnya.
• Lainnya: Memperluas untuk menampilkan opsi tambahan:
  • Versi sebelumnya dari lingkungan Standard dan ML.
  • Kustom: Tentukan lingkungan kustom menggunakan file YAML.
• Lingkungan ruang kerja: Menampilkan semua lingkungan dasar yang kompatibel dan dikonfigurasi untuk ruang kerja Anda oleh admin ruang kerja.

Menambahkan dependensi ke buku catatan

Azure Databricks men-cache lingkungan virtual notebook Anda, sehingga dependensi tidak perlu diinstal ulang setiap kali Anda membuka kembali notebook atau melanjutkan setelah periode tidak aktif.

Untuk menginstal dependensi satu per satu:

1. Di bagian Ketergantungan , masukkan jalur ketergantungan di kolom lalu klik +Tambah ketergantungan. Anda dapat menentukan dependensi dalam format apa pun yang valid dalam file requirements.txt . File wheel Python atau proyek Python (misalnya, direktori yang berisi pyproject.toml atau setup.py) dapat terletak di file workspace atau volume Unity Catalog.

   • Jika menggunakan file ruang kerja, jalur harus absolut dan dimulai dengan /Workspace/.
   • Jika menggunakan file dalam volume Katalog Unity, jalur harus dalam format berikut: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

2. Klik Aplikasi untuk menginstal dependensi dan memulai ulang proses Python.

Important

Jangan instal PySpark atau pustaka mana pun yang menginstal PySpark sebagai dependensi pada notebook Anda. Melakukannya akan menghentikan sesi Anda dan mengakibatkan kesalahan. Jika ini terjadi, hapus pustaka dan reset lingkungan Anda.

Untuk melihat dependensi yang terpasang, klik tab Installed di panel samping Environment. Buka log penginstalan pip untuk lingkungan notebook dengan mengklik log pip di bagian bawah panel.

Limitations

Mode ketergantungan Lingkungan mendukung beban kerja dan ketergantungan Python dalam notebook interaktif. Batasan berikut berlaku:

• Pekerjaan klasik tidak menggunakan mode ketergantungan Lingkungan . Ketika pekerjaan dijalankan pada komputasi serbaguna klasik yang menentukan mode Lingkungan , pengaturan tersebut diabaikan dan pekerjaan dijalankan dalam mode perpustakaan Klaster sebagai gantinya.
• %scala Kode tidak didukung dan akan gagal.
• Semua batasan mode akses standar berlaku, termasuk tidak mendukung R. Lihat Persyaratan dan batasan komputasi standar.

Pengaturan yang tidak kompatibel

Ketika mode ketergantungan Lingkungan diaktifkan, pengaturan komputasi berikut dinonaktifkan:

• Docker (Azure Databricks Container Services)
• Variabel lingkungan Spark
• Skrip Inisialisasi
• Pustaka klaster