Mengonfigurasi lingkungan tanpa server

Halaman ini menjelaskan cara mengonfigurasi lingkungan tanpa server untuk buku catatan dan tugas pekerjaan. Untuk notebook, gunakan panel sisi Lingkungan untuk memilih lingkungan dasar, menginstal dependensi, mengonfigurasi memori, dan menerapkan kebijakan penggunaan. Untuk tugas pekerjaan, konfigurasikan lingkungan saat Anda membuat atau mengedit tugas.

Untuk memperluas panel sisi Lingkungan , klik tombol lingkungan di sebelah kanan buku catatan.

Panel lingkungan tanpa server

Pilih lingkungan dasar

Lingkungan dasar menentukan pustaka dan versi lingkungan pra-instal yang tersedia untuk notebook tanpa server Anda. Pemilih lingkungan Dasar di panel sisi Lingkungan adalah tempat Anda memilih lingkungan Anda. Untuk melihat detail pada setiap versi lingkungan, lihat versi lingkungan Tanpa Server. Databricks merekomendasikan penggunaan versi terbaru untuk mendapatkan fitur notebook yang paling mutakhir dan terkini.

Pemilih lingkungan Dasar menyertakan opsi berikut:

  • Standar: Lingkungan dasar tanpa server default dengan pustaka yang disediakan Databricks.
  • ML: Lingkungan dasar dengan Python dan paket sistem dari Databricks Runtime untuk Pembelajaran Mesin yang telah diinstal sebelumnya. Gunakan lingkungan ini untuk memigrasikan Databricks Runtime klasik untuk beban kerja Pembelajaran Mesin ke komputasi tanpa server. Lihat lingkungan dasar ML.
  • AI: Lingkungan dasar yang dioptimalkan AI dengan pustaka pembelajaran mesin (ML) yang telah diinstal sebelumnya. Opsi ini hanya muncul ketika akselerator (GPU) dipilih.
  • Lainnya: Memperluas untuk menampilkan opsi tambahan:
    • Versi sebelumnya dari lingkungan Standard, ML, dan AI.
    • Kustom: Tentukan lingkungan kustom menggunakan file YAML.
  • Lingkungan kerja: Daftar semua lingkungan dasar yang kompatibel yang dikonfigurasi untuk ruang kerja Anda oleh administrator.

Untuk memilih lingkungan dasar:

  1. Di UI notebook, klik panel samping Environmentenvironment.
  2. Di bawah Lingkungan dasar, pilih lingkungan dari menu drop-down.
  3. Klik Terapkan.

Menambahkan dependensi ke buku catatan

Karena serverless tidak mendukung kebijakan komputasi atau skrip init, Anda harus menginstal dependensi kustom menggunakan panel samping Environment. Anda dapat menginstal dependensi satu per satu atau menggunakan lingkungan dasar yang dapat dibagikan untuk menginstal beberapa dependensi.

Azure Databricks men-cache lingkungan virtual notebook Anda, sehingga dependensi tidak perlu diinstal ulang setiap kali Anda membuka kembali notebook atau melanjutkan setelah periode tidak aktif. Tugas yang berbagi kumpulan dependensi yang sama juga memanfaatkan cache ini dalam satu proses eksekusi.

Untuk menginstal dependensi satu per satu:

  1. Di UI notebook, klik panel samping Environmentenvironment.

  2. Di bagian Dependensi , klik Tambahkan Dependensi dan masukkan jalur dependensi di bidang . Anda dapat menentukan dependensi dalam format apa pun yang valid dalam file requirements.txt . File wheel Python atau proyek Python (misalnya, direktori yang berisi pyproject.toml atau setup.py) dapat terletak di file workspace atau volume Unity Catalog.

    • Jika menggunakan file ruang kerja, jalur harus absolut dan dimulai dengan /Workspace/.
    • Jika menggunakan file dalam volume Katalog Unity, jalur harus dalam format berikut: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

  3. Klik Aplikasi untuk menginstal dependensi dan memulai ulang proses Python.

Important

Jangan instal PySpark atau pustaka apa pun yang menginstal PySpark sebagai dependensi pada notebook tanpa server Anda. Melakukannya akan menghentikan sesi Anda dan mengakibatkan kesalahan. Jika ini terjadi, hapus pustaka dan reset lingkungan Anda.

Untuk menampilkan dependensi yang terinstal, klik tab Terinstal di panel sisi Lingkungan. Buka log penginstalan pip untuk lingkungan notebook dengan mengklik log pip di bagian bawah panel.

Note

Admin ruang kerja dapat mengonfigurasi repositori paket privat atau terautentikasi sebagai sumber pip default untuk buku catatan dan pekerjaan tanpa server. Ini memungkinkan pengguna menginstal paket dari repositori internal tanpa menentukan index-url atau extra-index-url. Lihat Konfigurasi repositori paket Python default.

Membuat spesifikasi lingkungan kustom

Anda dapat membuat dan menggunakan kembali spesifikasi lingkungan kustom.

  1. Di notebook tanpa server, pilih lingkungan dasar dan instal dependensi apa pun yang Anda inginkan.
  2. Klik tombol menu kebab Ikon menu Kebab. di bagian bawah panel lingkungan, lalu klik Ekspor lingkungan.
  3. Simpan spesifikasi sebagai file Ruang Kerja atau dalam volume Katalog Unity. Pastikan Anda memiliki izin untuk menulis ke tujuan, atau ekspor gagal dengan kesalahan Forbidden .

Untuk menggunakan spesifikasi lingkungan kustom Anda dalam buku catatan, pilih Kustom dari menu drop-down Lingkungan dasar , lalu gunakan ikon Folder folder. untuk memilih file YAML Anda.

Membuat alat umum untuk dibagikan di seluruh ruang kerja Anda

Contoh ini menyimpan utilitas dalam file ruang kerja dan menginstalnya sebagai dependensi notebook tanpa server:

  1. Buat folder dengan struktur berikut. Pastikan pengguna lain memiliki akses baca ke jalur ini:

    helper_utils/
├── helpers/
│   └── __init__.py   # your common functions live here
├── pyproject.toml

  2. Isi pyproject.toml seperti ini:

    [project]
name = "common_utils"
version = "0.1.0"

  3. Tambahkan fungsi ke init.py file. Contohnya:

    def greet(name: str) -> str:
    return f"Hello, {name}!"

  4. Di UI notebook, klik panel samping Lingkunganikon Lingkungan.

  5. Di bagian Dependensi , klik Tambahkan Dependensi lalu masukkan jalur file util Anda. Misalnya: /Workspace/helper_utils.

  6. Klik Terapkan.

Sekarang Anda bisa menggunakan fungsi di buku catatan Anda:

from helpers import greet
print(greet('world'))

Output ini sebagai:

Hello, world!

Menggunakan Runtime AI (GPU tanpa server)

Important

Runtime AI ada di Pratinjau Umum.

Ikuti langkah-langkah ini untuk mengonfigurasi Runtime AI, didukung oleh komputasi GPU tanpa server, di buku catatan Azure Databricks Anda:

  1. Dari buku catatan, klik menu drop-down komputasi di bagian atas dan pilih GPU Tanpa Server.
  2. Klik ikon Lingkungan. untuk membuka panel sisi Lingkungan .
  3. Pilih A10 dari bidang Akselerator .
  4. Di bawah Lingkungan dasar, pilih Standar untuk lingkungan default atau AI untuk lingkungan yang dioptimalkan AI dengan pustaka pembelajaran mesin (ML) yang telah diinstal sebelumnya.
  5. Klik Terapkan lalu Konfirmasikan bahwa Anda ingin menerapkan Runtime AI ke lingkungan buku catatan Anda.

Untuk detail selengkapnya, lihat Runtime AI.

Menggunakan komputasi tanpa server memori tinggi

Important

Fitur ini ada di Pratinjau Publik.

Jika Anda mengalami kesalahan kehabisan memori di notebook, konfigurasikan notebook agar menggunakan kapasitas memori yang lebih besar. Pengaturan ukuran memori ini meningkatkan ukuran memori REPL yang digunakan saat menjalankan kode di buku catatan. Ini tidak memengaruhi ukuran memori sesi Spark. Penggunaan tanpa server dengan memori tinggi memiliki tingkat emisi DBU yang lebih tinggi daripada memori standar.

Opsi memori yang tersedia adalah:

  • Standar: Memori total 16 GB.
  • Tinggi: Total memori 32 GB.

Untuk mengonfigurasi pengaturan memori buku catatan:

  1. Di UI notebook, klik panel samping Environmentenvironment.
  2. Di bawah Memori, pilih Memori tinggi.
  3. Klik Terapkan.

Pengaturan memori ini juga berlaku untuk tugas pekerjaan buku catatan yang berjalan menggunakan preferensi memori buku catatan. Memperbarui preferensi memori di notebook memengaruhi eksekusi pekerjaan berikutnya.

Pilih kebijakan penggunaan tanpa server

Important

Fitur ini ada di Pratinjau Publik.

Kebijakan penggunaan tanpa server memungkinkan organisasi Anda menerapkan tag kustom pada penggunaan tanpa server untuk atribusi penagihan terperinci.

Jika ruang kerja Anda menggunakan kebijakan penggunaan tanpa server, pilih kebijakan yang ingin Anda terapkan ke buku catatan. Jika pengguna hanya ditetapkan ke satu kebijakan penggunaan tanpa server, kebijakan tersebut berlaku secara default.

Setelah menyambungkan ke komputasi tanpa server, pilih kebijakan dari panel sisi Lingkungan :

  1. Di UI notebook, klik panel samping Environmentenvironment.
  2. Di bawah Kebijakan penggunaan tanpa server pilih kebijakan penggunaan tanpa server yang ingin Anda terapkan ke buku catatan Anda.
  3. Klik Terapkan.

Setelah kebijakan diterapkan, setiap penggunaan notebook mewarisi tag kustom dari kebijakan.

Note

Jika buku catatan Anda berasal dari repositori Git atau tidak memiliki kebijakan penggunaan tanpa server yang ditetapkan, buku catatan tersebut default ke kebijakan penggunaan tanpa server terakhir yang Anda pilih saat berikutnya dilampirkan ke komputasi tanpa server.

Sertakan lingkungan dalam ekspor file sumber

Untuk notebook Python, Anda dapat mengaktifkan atau menonaktifkan Sertakan dalam ekspor file sumber di konfigurasi lingkungan. Saat diaktifkan, lingkungan dasar dan dependensi disimpan dalam format PEP 723 dalam ekspor file sumber. Ini membantu mempertahankan konfigurasi lingkungan saat notebook disimpan di folder Git atau diunduh sebagai file sumber.

Misalnya, notebook yang menggunakan Standard v5 mengekspor konfigurasi lingkungannya sebagai metadata sebaris di bagian atas file:

# Databricks notebook source
# /// script
# [tool.databricks.environment]
# environment_version = "5"
# ///
print("Hello World!")

Mengatur ulang dependensi lingkungan

Jika notebook Anda terhubung ke komputasi tanpa server, Databricks secara otomatis menyimpan konten lingkungan virtual notebook. Ini berarti Anda umumnya tidak perlu menginstal ulang dependensi Python yang ditentukan dalam Environment panel samping saat Anda membuka buku catatan yang ada, bahkan jika telah terputus karena tidak aktif.

Python penyimpanan sementara lingkungan virtual juga berlaku untuk pekerjaan. Ketika pekerjaan berjalan, tugas apa pun yang berbagi serangkaian dependensi yang sama dengan tugas yang diselesaikan dalam eksekusi yang sama selesai lebih cepat, karena cache sudah berisi dependensi yang diperlukan.

Note

Jika Anda mengubah implementasi paket Python kustom yang digunakan dalam pekerjaan tanpa server, Anda juga harus memperbarui nomor versinya sehingga pekerjaan dapat mengambil implementasi terbaru.

Untuk menghapus cache lingkungan dan menginstal ulang dependensi yang ditentukan di panel samping Environment pada notebook yang terpasang ke komputasi nirserver, klik panah di samping Apply, lalu klik Reset to defaults.

Jika Anda menginstal paket yang merusak atau mengubah notebook inti atau lingkungan Apache Spark, hapus paket yang menyinggung lalu atur ulang lingkungan. Memulai sesi baru tidak menghapus seluruh cache lingkungan.

Mengonfigurasi lingkungan untuk tugas pekerjaan

Setiap tugas pekerjaan berjalan di lingkungan terisolasi yang mencakup lingkungan dasar dan pustaka tambahan apa pun yang Anda tentukan. Lingkungan dasar mengatur versi runtime Python dan Scala dan pustaka yang telah diinstal sebelumnya. Tugas mewarisi kumpulan pustaka bawaan yang diinstal dari versi lingkungan. Untuk melihat apa saja yang disertakan, lihat bagian Pustaka Python yang diinstal atau Pustaka Java dan Scala yang diinstal dari versi lingkungan yang Anda gunakan.

Anda dapat melengkapi pustaka yang telah diinstal sebelumnya dengan pustaka dari file di ruang kerja, volume Unity Catalog, atau repositori paket publik. Hanya dependensi yang diperlukan untuk tugas tersebut yang diinstal saat runtime.

Important

Menggunakan komputasi tanpa server untuk tugas JAR ada di Pratinjau Umum.

Important

Pemilihan lingkungan dasar terkelola masih dalam versi beta. Menu drop-down Lingkungan dasar dalam dialog Konfigurasi lingkungan memungkinkan Anda memilih dari lingkungan yang disediakan Databricks (seperti Standar dan ML) atau lingkungan yang dikonfigurasi ruang kerja. Tanpa fitur ini, dialog akan menampilkan menu tarik-turun Versi lingkungan sebagai gantinya. Administrator ruang kerja dapat mengaktifkan fitur ini dari halaman Pratinjau .

Mengonfigurasi dialog lingkungan yang memperlihatkan drop-down Lingkungan dasar diperluas dengan lingkungan Databricks dan bagian lingkungan Ruang Kerja

Mengonfigurasi lingkungan menurut jenis tugas

Cara Anda mengonfigurasi lingkungan dalam pekerjaan bergantung pada jenis tugas:

Tugas buku catatan

Tugas notebook secara default menggunakan Notebook Environment, yang memakai lingkungan dasar serta dependensi milik notebook itu sendiri yang telah dikonfigurasi. Anda dapat mengambil alih ini dengan lingkungan tingkat pekerjaan.

Menu drop-down Lingkungan dan Pustaka untuk tugas buku catatan yang memperlihatkan opsi Lingkungan Buku Catatan dan Lingkungan Pekerjaan

Untuk mengonfigurasi lingkungan tingkat pekerjaan:

  1. Di konfigurasi tugas, klik menu drop-down Lingkungan dan Pustaka .
  2. Di Lingkungan Pekerjaan, klik ikon pensil di samping Default, atau klik + Tambahkan lingkungan pekerjaan baru.
  3. Dalam dialog Konfigurasikan lingkungan , pilih dari menu drop-down Lingkungan dasar :
    • lingkungan Databricks: opsi yang disediakan Azure Databricks seperti Standard dan ML.
    • Lingkungan ruang kerja: Lingkungan kustom yang dikonfigurasi oleh administrator ruang kerja Anda. Lihat Mengelola lingkungan dasar ruang kerja.
    • Lainnya: Versi sebelumnya dan Kustom (tentukan file YAML).
  4. Di bawah Dependensi, tambahkan pustaka tambahan. Anda dapat menentukan pustaka dalam format apa pun yang valid untuk file requirements.txt, atau menggunakan jalur absolut menuju file ruang kerja atau volume Unity Catalog.
  5. Klik tombol Konfirmasi.

Note

Jika ruang kerja Anda tidak mengaktifkan lingkungan dasar ruang kerja untuk pratinjau pekerjaan, dialog Konfigurasikan lingkungan menampilkan menu drop-down Versi lingkungan , bukan lingkungan Dasar.

Untuk mengonfigurasi lingkungan, pilih versi, lalu klik + Tambahkan pustaka. Anda dapat menentukan jalur file ruang kerja (dimulai dengan /Workspace/), jalur volume Katalog Unity (dimulai dengan /Volumes/), atau referensi file persyaratan (misalnya, -r /Workspace/path/to/requirements.txt).

Skrip Python dan tugas roda Python

Skrip Python dan tugas roda Python memerlukan lingkungan untuk dikonfigurasi.

bagian Environment and Libraries untuk tugas roda Python memperlihatkan tautan Tambahkan dependensi

  1. Dalam konfigurasi tugas, di bawah Lingkungan dan Pustaka, klik + Tambahkan dependensi.
  2. Dalam dialog Konfigurasikan lingkungan , pilih dari menu drop-down Lingkungan dasar :
    • lingkungan Databricks: opsi yang disediakan Azure Databricks seperti Standard dan ML.
    • Lingkungan ruang kerja: Lingkungan kustom yang dikonfigurasi oleh administrator ruang kerja Anda. Lihat Mengelola lingkungan dasar ruang kerja.
    • Lainnya: Versi sebelumnya dan Kustom (tentukan file YAML).
  3. Di bawah Dependensi, tambahkan pustaka tambahan.
  4. Klik tombol Konfirmasi.

Note

Jika ruang kerja Anda tidak mengaktifkan lingkungan dasar ruang kerja untuk pratinjau pekerjaan, dialog Konfigurasikan lingkungan menampilkan menu drop-down Versi lingkungan , bukan lingkungan Dasar.

Untuk mengonfigurasi lingkungan, pilih versi, lalu klik + Tambahkan pustaka. Anda dapat menentukan jalur file ruang kerja (dimulai dengan /Workspace/), jalur volume Katalog Unity (dimulai dengan /Volumes/), atau referensi file persyaratan (misalnya, -r /Workspace/path/to/requirements.txt).

Tugas Dbt

Tugas DBT menggunakan lingkungan tingkat pekerjaan untuk konfigurasi pustaka.

Menu drop-down Lingkungan dan Pustaka untuk tugas dbt yang menampilkan opsi Lingkungan Jobs

Untuk mengonfigurasi lingkungan tingkat pekerjaan:

  1. Di konfigurasi tugas, klik menu drop-down Lingkungan dan Pustaka .
  2. Di Lingkungan Pekerjaan, klik ikon pensil di samping lingkungan yang ada, atau klik + Tambahkan lingkungan pekerjaan baru.
  3. Dalam dialog Konfigurasikan lingkungan , pilih dari menu drop-down Lingkungan dasar :
    • lingkungan Databricks: opsi yang disediakan Azure Databricks seperti Standard dan ML.
    • Lingkungan ruang kerja: Lingkungan kustom yang dikonfigurasi oleh administrator ruang kerja Anda. Lihat Mengelola lingkungan dasar ruang kerja.
    • Lainnya: Versi sebelumnya dan Kustom (tentukan file YAML).
  4. Di bawah Dependensi, tambahkan pustaka tambahan. Anda dapat menentukan pustaka dalam format apa pun yang valid untuk file requirements.txt, atau menggunakan jalur absolut menuju file ruang kerja atau volume Unity Catalog.
  5. Klik tombol Konfirmasi.

Note

Jika ruang kerja Anda tidak mengaktifkan lingkungan dasar ruang kerja untuk pratinjau pekerjaan, dialog Konfigurasikan lingkungan menampilkan menu drop-down Versi lingkungan , bukan lingkungan Dasar.

Untuk mengonfigurasi lingkungan, pilih versi, lalu klik + Tambahkan pustaka. Anda dapat menentukan jalur file ruang kerja (dimulai dengan /Workspace/), jalur volume Katalog Unity (dimulai dengan /Volumes/), atau referensi file persyaratan (misalnya, -r /Workspace/path/to/requirements.txt).

Tugas JAR

Lingkungan dasar ruang kerja tidak didukung untuk tugas JAR. Untuk mengonfigurasi lingkungan untuk tugas JAR:

Bagian Lingkungan dan Pustaka untuk tugas JAR memperlihatkan tautan Tambahkan dependensi JAR

  1. Dalam konfigurasi tugas, di bawah Lingkungan dan Pustaka, klik + Tambahkan dependensi JAR.
  2. Dalam dialog Konfigurasikan lingkungan :
    • Secara opsional, masukkan jalur ke file YAML di bidang Lingkungan dasar .
    • Pilih versi lingkungan dari menu drop-down Versi lingkungan .
    • Di bawah Dependensi JAR, tambahkan jalur ke file JAR Anda.
  3. Klik tombol Konfirmasi.

Untuk membuat lingkungan dasar berbasis YAML kustom, lihat Membuat spesifikasi lingkungan kustom.

Kompatibilitas lingkungan dan komputasi

Lingkungan dasar yang Anda pilih harus kompatibel dengan jenis komputasi tugas. Misalnya, lingkungan yang dibangun untuk komputasi GPU tidak kompatibel dengan komputasi CPU. Di UI pekerjaan, lingkungan yang tidak kompatibel tidak tersedia di menu tarik-turun lingkungan dasar.

Saat Anda mengonfigurasi tugas buku catatan, jenis komputasi (CPU atau GPU) dan lingkungan dasar masing-masing bisa berasal dari pengaturan pekerjaan atau pengaturan buku catatan.

  • Jika Anda mengatur akselerator perangkat keras (GPU) di tingkat pekerjaan, Anda juga harus memilih lingkungan dasar di tingkat pekerjaan. Anda tidak dapat menggunakan lingkungan buku catatan dengan akselerator tingkat pekerjaan.
  • Jika Anda memiliki tugas pekerjaan yang mereferensikan buku catatan, dan Anda memperbarui jenis komputasi buku catatan yang dirujuk (misalnya, dari CPU ke GPU), tugas yang ada mungkin menjadi tidak kompatibel dengan lingkungan yang dikonfigurasi. Tinjau pengaturan lingkungan pekerjaan Anda setelah mengubah konfigurasi komputasi buku catatan.
  • Untuk pengguna API: jika Anda mengatur lingkungan dasar di tingkat pekerjaan tetapi notebook menentukan jenis komputasi, Azure Databricks memvalidasi kompatibilitas saat runtime, bukan pada waktu pembuatan pekerjaan. Jika konfigurasi tidak kompatibel, eksekusi gagal dengan kesalahan.
  • Last updated on