Atur lingkungan Anda

Penting

Runtime AI untuk tugas node tunggal sedang dalam Pratinjau Umum. API pelatihan terdistribusi untuk beban kerja multi-GPU tetap berada di Beta.

Halaman ini menjelaskan cara memilih dan mengonfigurasi lingkungan Python untuk Runtime AI, termasuk perilaku cache lingkungan, impor modul khusus, dan batasan yang diketahui.

Lingkungan apa yang akan digunakan

AI Runtime menawarkan dua lingkungan Python terkelola, lingkungan dasar default, dan lingkungan AI Databricks.

Lingkungan	Karakteristik utama	Kapan digunakan
Lingkungan dasar default	Minimal, mencakup hanya torch, cuda, dan torchvision	Anda ingin kontrol penuh atas tumpukan dependensi Anda dan lebih suka menginstal hanya apa yang Anda butuhkan
Lingkungan AI Databricks	Telah dimuat sebelumnya dengan kerangka kerja ML populer (PyTorch, Transformers, dan banyak lagi)	Anda menginginkan lingkungan lengkap untuk pelatihan, penyempurnaan, dan eksperimen tanpa manajemen dependensi manual

Nota

Lingkungan dasar ruang kerja tidak didukung untuk Runtime AI. Sebagai gantinya, gunakan lingkungan default atau AI, dan tentukan dependensi tambahan langsung di panel sisi Lingkungan atau pip install lingkungan tersebut.

Lingkungan dasar default (lingkungan minimal)

Lingkungan minimal dan stabil yang hanya berisi paket yang diperlukan untuk operasi Runtime AI. Lingkungan mencakup torch, cuda, dan torchvision, dioptimalkan untuk kompatibilitas. Untuk versi paket tertentu, gunakan pip install atau sematkan versi yang diperlukan sesuai kebutuhan.

Terbaik untuk: Pengguna yang menginginkan kontrol penuh atas tumpukan dependensi mereka dan lebih suka menginstal hanya apa yang mereka butuhkan.

Ini adalah lingkungan default saat Anda terhubung ke GPU tanpa server melalui AI Runtime.

Untuk detail selengkapnya tentang versi paket yang diinstal dalam versi yang berbeda, lihat catatan rilis:

• Lingkungan GPU 4

Lingkungan AI Databricks

Tersedia di lingkungan 4 dan seterusnya. Lingkungan AI dibangun di atas lingkungan dasar default dengan paket runtime umum dan paket khusus untuk pembelajaran mesin pada GPU. Paket yang telah diinstal sebelumnya meliputi:

• PyTorch (dengan dukungan CUDA)
• Transformers (Hugging Face)
• Dan dependensi ML/DL tambahan

Terbaik untuk: Praktisi ML yang menginginkan lingkungan lengkap untuk beban kerja pelatihan, penyempurnaan, dan eksperimen tanpa manajemen dependensi manual.

Untuk memilih: Di panel sisi Lingkungan , pilih AI v4 sebagai lingkungan dasar Anda.

Untuk detail selengkapnya tentang versi paket yang diinstal dalam versi yang berbeda, lihat catatan rilis:

• Lingkungan AI 4

Lingkungan dasar ruang kerja

Lingkungan dasar yang digunakan di ruang kerja tidak didukung untuk Runtime AI. Anda tidak dapat menggunakan konfigurasi lingkungan tingkat ruang kerja kustom.

Untuk mengonfigurasi lingkungan pembelajaran mendalam Anda untuk proyek, gunakan salah satu dari dua lingkungan dasar yang disediakan (default atau Databricks AI) dan instal paket tambahan secara terprogram menggunakan %pip install dalam notebook Anda atau di bagian atas skrip pelatihan Anda:

%pip install datasets accelerate peft bitsandbytes

Anda dapat menginstal pustaka tambahan ke lingkungan Runtime AI. Lihat Menambahkan dependensi ke buku catatan.

Perilaku

Kapan lingkungan di-cache?

Lingkungan di-cache di seluruh sesi untuk mempercepat waktu mulai. Saat Anda terhubung kembali ke Runtime AI dengan konfigurasi lingkungan yang sama, paket yang diinstal sebelumnya mungkin tersedia dari cache, mengurangi waktu penyiapan.

Namun, perilaku cache tidak dijamin - selalu pastikan notebook Anda menyertakan perintah yang diperlukan %pip install untuk reproduksi.

Bagaimana cara mengimpor modul kustom?

Anda dapat mengimpor modul kustom dengan menempatkannya /Workspace/Shared dan menambahkan jalur ke sys.path:

import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function

Anda juga dapat mengunggah file modul sebagai file Ruang Kerja dan mengimpornya secara langsung. Untuk kolaborasi multi-pengguna, simpan kode bersama di /Workspace/Shared daripada folder khusus pengguna. Untuk pengembangan aktif, gunakan folder khusus pengguna dan dorong ke repositori Git jarak jauh untuk kontrol versi.

Keterbatasan

Kemampuan berikut ini tidak tersedia pada Runtime AI:

• Fungsi Spark — Anda tidak dapat mengimpor atau menggunakan fungsi PySpark secara langsung. Runtime AI adalah lingkungan khusus Python; Spark tidak tersedia sebagai runtime lokal. Namun, Spark Connect tersedia untuk pemuatan data. Lihat Memuat data pada Runtime AI.
• Perpustakaan Databricks Runtime ML — Paket yang sudah diinstal sebelumnya bukanlah pengganti untuk Databricks Runtime ML. Beberapa pustaka ML yang tersedia di Databricks Runtime ML mungkin tidak diinstal sebelumnya pada AI Runtime.
• Lingkungan dasar ruang kerja — Konfigurasi lingkungan tingkat ruang kerja kustom tidak didukung.
• Artefak privat — Runtime AI mendukung artefak privat dalam kasus tertentu. Hubungi tim akun Anda untuk detail selengkapnya.