Atur lingkungan Anda

Penting

Fitur ini ada di Pratinjau Umum.

AI Runtime menyediakan dua lingkungan Python yang dikelola untuk komputasi GPU serverless. Lingkungan standar mencakup cuda. Pada lingkungan versi 5, torch dan torchvision tidak lagi diinstal sebelumnya. Lingkungan AI Databricks sudah dilengkapi dengan PyTorch, Transformers, dan kerangka kerja ML serta deep learning lainnya. Pilih lingkungan Standar untuk kontrol penuh atas tumpukan dependensi Anda, atau lingkungan AI untuk penyiapan pelatihan yang siap digunakan. Anda bisa mulai dari salah satu lingkungan dan menginstal lebih banyak paket sendiri.

Tip

  • Pilih lingkungan Standard untuk kontrol penuh atas dependensi, atau lingkungan AI Databricks untuk tumpukan ML siap pakai.
  • Standar mencakup cuda. Sejak lingkungan versi 5, torch dan torchvision tidak lagi diprainstal. Lingkungan AI menambahkan PyTorch, Transformers, dan lainnya.
  • Instal lebih banyak paket dengan %uv pip install (versi lingkungan 5 ke atas) atau %pip install di notebook, atau dengan environment.dependencies di CLI.

Lingkungan apa yang akan digunakan

AI Runtime menawarkan dua lingkungan Python terkelola, lingkungan Standar dan lingkungan AI Databricks.

Lingkungan Karakteristik utama Kapan digunakan
Lingkungan standar Minimal; termasuk cuda. Mulai lingkungan versi 5, torch dan torchvision tidak lagi terpasang secara bawaan. Anda ingin kontrol penuh atas tumpukan dependensi Anda dan lebih suka menginstal hanya apa yang Anda butuhkan
Lingkungan AI Databricks Telah dimuat sebelumnya dengan kerangka kerja ML populer (PyTorch, Transformers, dan banyak lagi) Anda menginginkan lingkungan lengkap untuk pelatihan, penyempurnaan, dan eksperimen tanpa manajemen dependensi manual

Anda juga dapat menggunakan lingkungan dasar workspace yang dibuat oleh admin workspace untuk AI Runtime. Lihat Membangun untuk komputasi GPU tanpa server (AI Runtime).

Untuk memilih lingkungan di notebook, buka panel sisi Lingkungan dan pilih lingkungan dasar:

Memilih lingkungan dasar di panel samping Lingkungan notebook.

Lingkungan standar (lingkungan minimal)

Lingkungan minimal dan stabil yang hanya berisi paket yang diperlukan untuk operasi Runtime AI. Lingkungan termasuk cuda untuk dukungan GPU. Pada lingkungan versi 5, torch dan torchvision tidak lagi diinstal sebelumnya. Instal versi yang dibutuhkan beban kerja Anda dengan %uv pip install atau %pip install. Untuk paket yang diinstal di setiap versi lingkungan, lihat catatan rilis di bawah ini.

Terbaik untuk: Pengguna yang menginginkan kontrol penuh atas tumpukan dependensi mereka dan lebih suka menginstal hanya apa yang mereka butuhkan.

Untuk memilih: Di panel sisi Lingkungan , pilih Standard v6 sebagai lingkungan dasar Anda.

Untuk detail selengkapnya tentang versi paket yang diinstal dalam versi yang berbeda, lihat catatan rilis:

Lingkungan AI Databricks

Tersedia di lingkungan 4 dan seterusnya. Lingkungan AI dibangun di atas lingkungan Standar dengan paket runtime umum dan paket khusus untuk pembelajaran mesin pada GPU. Paket yang telah diinstal sebelumnya meliputi:

  • PyTorch (dengan dukungan CUDA)
  • Transformers (Hugging Face)
  • Dan dependensi ML/DL tambahan

Terbaik untuk: Praktisi ML yang menginginkan lingkungan lengkap untuk beban kerja pelatihan, penyempurnaan, dan eksperimen tanpa manajemen dependensi manual.

Untuk memilih: Di panel samping Lingkungan , pilih AI v6 sebagai lingkungan dasar Anda.

Untuk detail selengkapnya tentang versi paket yang diinstal dalam versi yang berbeda, lihat catatan rilis:

Instal paket tambahan

Anda bisa memulai dari lingkungan yang dikelola atau lingkungan dasar workspace dan menginstal paket Python Anda sendiri di atasnya. Cara Anda menginstalnya tergantung pada bagaimana Anda terhubung ke AI Runtime.

Di dalam buku catatan

Instal paket di bagian atas notebook atau skrip pelatihan Anda dengan %uv pip, yang menginstal dengan uv dan lebih cepat daripada %pip. Sematkan versi agar proses tetap dapat direproduksi:

%uv pip install "trl==1.1.0"
%uv pip install "transformers==5.5.4"

Untuk referensi lengkap untuk %pip dan %uv pip, termasuk versi lingkungan yang mendukung masing-masing, lihat Mengelola pustaka dengan perintah %uv.

Saat Anda menggunakan dekorator @distributed untuk beban kerja multi-GPU, paket yang Anda instal sebelum memanggil .distributed() secara otomatis dibuat snapshot dan disebarkan ke semua proses terdistribusi. Ukuran total paket yang diinstal tidak boleh melebihi 15 GB. Untuk detail selengkapnya, lihat Menambahkan dependensi ke buku catatan.

Dengan CLI

air CLI menggunakan lingkungan yang dikelola dengan sama. Pilih salah satu dengan environment.version, lalu daftar paket yang akan diinstal di atasnya di bawah environment.dependencies di workload YAML Anda. CLI menginstalnya ke lingkungan yang dipilih dengan uv, sehingga Anda tidak perlu mengelola lingkungan virtual terpisah sendiri:

environment:
  version: '6'
  dependencies:
    - trl==1.1.0
    - transformers==5.5.4

Untuk memulai dari lingkungan AI Databricks, atur version ke pengenal lingkungan AI seperti databricks_ai_v5. Untuk format dependensi lengkap, flag penginstalan yang didukung, dan dukungan citra Docker khusus, lihat Dependensi Python.

Lingkungan dasar ruang kerja

Admin ruang kerja dapat membangun lingkungan dasar ruang kerja untuk komputasi GPU tanpa server, yang membuatnya tersedia untuk semua pengguna di ruang kerja melalui menu drop-down Lingkungan dasar . Untuk detailnya, lihat Membangun untuk komputasi GPU tanpa server (AI Runtime).

Untuk menggunakan lingkungan dasar dalam beban kerja terjadwal, rujuk lingkungan tersebut dengan pengidentifikasinya dalam blok environments pada pekerjaan atau bundel. Sebagai contoh, tugas Declarative Automation Bundles ini memilih lingkungan AI Databricks:

resources:
  jobs:
    train:
      tasks:
        - task_key: train
          environment_key: default
      environments:
        - environment_key: default
          spec:
            base_environment: databricks_ai_v6

Untuk contoh pekerjaan lengkap, lihat Jadwalkan dengan API Pekerjaan dan Paket Otomatisasi Deklaratif.

Cache lingkungan dan modul kustom

Kapan lingkungan di-cache?

AI Runtime menyimpan cache lingkungan notebook Anda, jadi saat Anda membuka kembali notebook Anda tidak perlu menginstal ulang paket. Untuk detail selengkapnya, lihat Mengatur ulang dependensi lingkungan.

Caching berlaku untuk notebook interaktif. Beban kerja yang dijalankan melalui air CLI atau dijadwalkan sebagai job tidak menggunakan cache ini; setiap kali dijalankan, dependensinya diinstal dari awal.

Sebagai praktik terbaik, pin paket ke versi tertentu agar lingkungan cache Anda tetap valid dan run Anda tetap dapat direproduksi.

Bagaimana cara mengimpor modul kustom?

Langkah-langkah berikut menunjukkan cara menggunakan modul Python Anda sendiri.

  1. Sinkronkan kode Anda ke ruang kerja. Kloning repositori Git ke workspace dengan folder Git, atau unggah file langsung sebagai file workspace. Simpan kode bersama di bawah /Workspace/Shared untuk proyek tim, atau di folder pengguna untuk pengembangan pribadi. Menyimpan kode di folder Git membuatnya tetap terkontrol versinya.
  2. Tambahkan folder tersebut ke sys.path dan impor folder tersebut di bagian atas notebook atau skrip pelatihan Anda:
import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function

Keterbatasan

Kemampuan berikut ini tidak tersedia pada Runtime AI:

  • Fungsi Spark: Anda tidak dapat mengimpor atau menggunakan fungsi PySpark secara langsung. Runtime AI adalah lingkungan khusus Python; Spark tidak tersedia sebagai runtime lokal. Namun, Spark Connect tersedia untuk pemuatan data. Lihat Memuat data pada Runtime AI.
  • Pustaka Databricks Runtime ML: Paket yang telah diinstal sebelumnya bukan pengganti Databricks Runtime ML. Beberapa pustaka ML yang tersedia di Databricks Runtime ML mungkin tidak diinstal sebelumnya pada AI Runtime.
  • Artefak privat: AI Runtime memang mendukung artefak privat dalam kasus tertentu. Hubungi tim akun Anda untuk detail selengkapnya.
  • Last updated on