Kelola ketergantungan menggunakan lingkungan

Important

Fitur ini ada di Beta. Admin akun dapat mengontrol akses ke fitur ini dari halaman Pratinjau konsol akun menggunakan tombol Environments for Standard Compute . Lihat Kelola Pratinjau Azure Databricks.

Pada sumber daya komputasi klasik yang menggunakan mode dependensi Environments, Anda mengelola dependensi di tingkat beban kerja menggunakan lingkungan dasar alih-alih menginstal pustaka pada tingkat komputasi.

Pengaturan lingkungan tetap terisolasi dari perubahan tingkat komputasi, sehingga beban kerja tidak rusak ketika komputasi berubah di bawahnya. Dan karena Azure Databricks menyimpan lingkungan dasar dalam cache, dependensi tidak perlu di-resolve dan diinstal saat startup, sehingga komputasi dapat dimulai lebih cepat dan terhindar dari kegagalan akibat resolusi paket, ketersediaan repositori, atau keandalan jaringan.

Dalam notebook yang terhubung ke sumber daya komputasi klasik yang menggunakan mode dependensi Environments, pilih environment dasar dan tambahkan dependensi dari panel samping Environment pada notebook. Untuk tugas pekerjaan, konfigurasikan ketergantungan dengan spesifikasi lingkungan pekerjaan.

Requirements

Pengaturan mode ketergantungan hanya tersedia pada komputasi yang memenuhi persyaratan berikut:

• Databricks Runtime 19 (Beta) atau lebih tinggi
• Mode akses standar
• Komputasi serbaguna atau komputasi pekerjaan klasik

Untuk detail dukungan, lihat Keterbatasan.

Atur mode ketergantungan

Untuk membuat sumber daya komputasi klasik yang menggunakan mode dependensi Environments:

1. Di sidebar workspace, klik Compute lalu buka tab All-purpose compute .

2. Klik Buat komputasi.

3. Di bawah Performance, pilih 19 Beta atau lebih tinggi dari menu drop-down versi Databricks Runtime.

4. Perluas bagian Lanjutan , lalu klik Dependensies.

5. Untuk mode Dependensi, biarkan Auto tetap dipilih agar Azure Databricks dapat menentukan mode tersebut, atau klik Manual dan pilih Environments untuk menetapkannya sendiri. Lihat opsi mode ketergantungan.

   

6. Konfigurasikan sisa komputasi, lalu klik Buat.

Setelah komputasi berjalan, lampirkan notebook dan konfigurasikan lingkungannya seperti yang dijelaskan di Gunakan lingkungan dalam notebook.

Opsi mode dependensi

Kontrol Mode dependensi memiliki dua pengaturan yang menentukan bagaimana mode dipilih:

• Auto: Azure Databricks menyelesaikan mode berdasarkan konfigurasi komputasi. Auto mengarah ke Environments kecuali jika komputasi menentukan Docker, variabel lingkungan Spark, atau skrip init; dalam hal ini, Auto mengarah ke Pustaka klaster.
• Manual: Anda memilih Lingkungan atau pustaka Cluster sendiri.

Saat Anda memilih Manual, pilih mode yang sesuai dengan kebutuhan Anda:

• Lingkungan: Kelola ketergantungan pada tingkat beban kerja menggunakan lingkungan dasar. Library cluster, Docker, variabel lingkungan Spark, dan skrip init dinonaktifkan. Gunakan mode ini untuk mengisolasi ketergantungan untuk setiap beban kerja.
• Library cluster: Perilaku klasik. Instal dependensi pada sumber daya komputasi menggunakan pustaka klaster, skrip init, atau Docker. Gunakan mode ini jika beban kerja Anda membutuhkan salah satu pengaturan tersebut.

Perbarui komputasi yang sudah ada

Jika Anda mengedit pengaturan untuk komputasi yang ada, beralih ke mode Lingkungan akan diblokir jika komputasi memiliki pengaturan yang tidak kompatibel, seperti skrip init, library cluster, atau Docker. Jika Anda menghapus pengaturan yang tidak kompatibel terlebih dahulu, Anda kemudian dapat mengedit mode ketergantungan.

Jika Anda beralih ke mode Cluster libraries dari mode Environments , notebook yang terlampir tetap mempertahankan pilihan lingkungan mereka tetapi pilihan tersebut menjadi tidak aktif. Jika Anda mengembalikan komputasi ke mode Lingkungan , seleksi tersebut akan aktif kembali.

Gunakan lingkungan dalam notebook

Untuk menggunakan environment dalam notebook, lampirkan notebook ke sumber daya komputasi klasik yang menggunakan mode dependensi Environments. Setelah Anda melampirkan notebook, konfigurasikan dependensi notebook dari panel samping Environment.

Pilih lingkungan dasar

Lingkungan dasar menentukan pustaka yang sudah terpasang dan versi lingkungan yang tersedia untuk notebook Anda. Pemilih lingkungan Dasar di panel sisi Lingkungan adalah tempat Anda memilih lingkungan Anda. Databricks merekomendasikan penggunaan versi terbaru untuk mendapatkan fitur notebook yang paling mutakhir dan terkini. Untuk melihat detail setiap versi lingkungan, lihat Versi lingkungan.

Pemilih lingkungan Dasar menyertakan opsi berikut:

• Standar: Lingkungan dasar default dengan pustaka yang disediakan Databricks.
• ML: Lingkungan dasar dengan Python dan paket sistem dari Databricks Runtime untuk Pembelajaran Mesin yang telah diinstal sebelumnya.
• Lainnya: Memperluas untuk menampilkan opsi tambahan:
  • Versi sebelumnya dari lingkungan Standard dan ML.
  • Kustom: Tentukan lingkungan kustom menggunakan file YAML.
• Lingkungan ruang kerja: Menampilkan semua lingkungan dasar yang kompatibel dan dikonfigurasi untuk ruang kerja Anda oleh admin ruang kerja.

Menambahkan dependensi ke buku catatan

Azure Databricks men-cache lingkungan virtual notebook Anda, sehingga dependensi tidak perlu diinstal ulang setiap kali Anda membuka kembali notebook atau melanjutkan setelah periode tidak aktif.

Untuk menginstal dependensi satu per satu:

1. Di bagian Ketergantungan , masukkan jalur ketergantungan di kolom lalu klik +Tambah ketergantungan. Anda dapat menentukan dependensi dalam format apa pun yang valid dalam file requirements.txt . File wheel Python atau proyek Python (misalnya, direktori yang berisi pyproject.toml atau setup.py) dapat terletak di file workspace atau volume Unity Catalog.

   • Jika menggunakan file ruang kerja, jalur harus absolut dan dimulai dengan /Workspace/.
   • Jika menggunakan file dalam volume Katalog Unity, jalur harus dalam format berikut: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

2. Klik Aplikasi untuk menginstal dependensi dan memulai ulang proses Python.

Important

Jangan instal PySpark atau pustaka mana pun yang menginstal PySpark sebagai dependensi pada notebook Anda. Melakukannya akan menghentikan sesi Anda dan mengakibatkan kesalahan. Jika ini terjadi, hapus pustaka dan reset lingkungan Anda.

Untuk melihat dependensi yang terpasang, klik tab Installed di panel samping Environment. Buka log penginstalan pip untuk lingkungan notebook dengan mengklik log pip di bagian bawah panel.

Gunakan lingkungan dalam pekerjaan

Untuk tugas pekerjaan yang berjalan pada sumber daya komputasi klasik yang menggunakan mode ketergantungan Lingkungan , konfigurasikan ketergantungan dengan spesifikasi lingkungan pekerjaan. Lingkungan pekerjaan menentukan lingkungan dasar dan ketergantungan tambahan yang dapat dirujuk oleh satu atau lebih tugas.

Untuk mengonfigurasi lingkungan untuk tugas pekerjaan, selesaikan langkah-langkah berikut:

1. Buat atau edit tugas dalam sebuah pekerjaan.
2. Di bawah Komputasi, pilih sumber daya komputasi klasik yang sudah ada yang menggunakan mode ketergantungan Lingkungan , atau tambahkan komputasi pekerjaan klasik.
3. Jika Anda menambahkan komputasi tugas klasik, luaskan Lanjutan.
4. Klik Dependensies.
5. Untuk mode Dependensi, pilih Manual dan Lingkungan, atau pertahankan Otomatis jika beralih ke Lingkungan.
6. Di bawah Lingkungan dan Perpustakaan dalam konfigurasi tugas, konfigurasikan lingkungan untuk tugas tersebut. Lihat Konfigurasikan lingkungan untuk tugas pekerjaan untuk opsi yang tersedia untuk setiap jenis tugas.

Tugas yang berjalan pada sumber daya komputasi klasik yang menggunakan mode dependensi Environments tidak mendukung pengaturan tugas Pustaka dependen. Tambahkan dependensi ke lingkungan sebagai gantinya.

Limitations

Mode ketergantungan Lingkungan mendukung beban kerja dan ketergantungan Python dalam notebook interaktif dan tugas pekerjaan. Batasan berikut berlaku:

• Tugas JAR Spark tidak didukung pada sumber daya komputasi klasik yang menggunakan mode dependensi Environments.
• Menjalankan %scala kode gagal.
• Semua batasan mode akses standar berlaku, termasuk tidak mendukung R. Lihat Persyaratan dan batasan komputasi standar.

Pengaturan yang tidak kompatibel

Ketika mode ketergantungan Lingkungan diaktifkan, pengaturan komputasi berikut dinonaktifkan:

• Docker (Azure Databricks Container Services)
• Variabel lingkungan Spark
• Skrip Inisialisasi
• Pustaka klaster