Atur lingkungan Anda

Penting

Fitur ini ada di Pratinjau Umum.

Runtime AI menyediakan dua lingkungan Python terkelola untuk komputasi GPU tanpa server: lingkungan Standar minimal dengan torch, , cudadan torchvision, dan lingkungan AI Databricks yang telah dimuat sebelumnya dengan PyTorch, Transformers, dan kerangka kerja ML dan pembelajaran mendalam lainnya. Pilih lingkungan Standar untuk kontrol penuh atas tumpukan dependensi Anda, atau lingkungan AI untuk penyiapan pelatihan yang siap digunakan. Anda juga dapat memulai dari salah satu lingkungan dan menambahkan paket dengan %pip install.

Lingkungan apa yang akan digunakan

AI Runtime menawarkan dua lingkungan Python terkelola, lingkungan Standar dan lingkungan AI Databricks.

Lingkungan Karakteristik utama Kapan digunakan
Lingkungan standar Minimal; termasuk cuda. Mulai lingkungan versi 5, torch dan torchvision tidak lagi terpasang secara bawaan. Anda ingin kontrol penuh atas tumpukan dependensi Anda dan lebih suka menginstal hanya apa yang Anda butuhkan
Lingkungan AI Databricks Telah dimuat sebelumnya dengan kerangka kerja ML populer (PyTorch, Transformers, dan banyak lagi) Anda menginginkan lingkungan lengkap untuk pelatihan, penyempurnaan, dan eksperimen tanpa manajemen dependensi manual

Anda juga dapat menggunakan lingkungan dasar ruang kerja yang telah dibangun admin ruang kerja untuk komputasi GPU tanpa server. Lihat Membangun untuk komputasi GPU tanpa server (AI Runtime).

Lingkungan standar (lingkungan minimal)

Lingkungan minimal dan stabil yang hanya berisi paket yang diperlukan untuk operasi Runtime AI. Lingkungan termasuk cuda untuk dukungan GPU. Pada lingkungan versi 5, torch dan torchvision tidak lagi diinstal sebelumnya. Instal versi yang dibutuhkan beban kerja Anda dengan pip install. Untuk paket yang diinstal di setiap versi lingkungan, lihat catatan rilis di bawah ini.

Terbaik untuk: Pengguna yang menginginkan kontrol penuh atas tumpukan dependensi mereka dan lebih suka menginstal hanya apa yang mereka butuhkan.

Untuk memilih: Di panel sisi Lingkungan , pilih Standar v5 atau Standard v4 sebagai lingkungan dasar Anda.

Untuk detail selengkapnya tentang versi paket yang diinstal dalam versi yang berbeda, lihat catatan rilis:

Lingkungan AI Databricks

Tersedia di lingkungan 4 dan seterusnya. Lingkungan AI dibangun di atas lingkungan Standar dengan paket runtime umum dan paket khusus untuk pembelajaran mesin pada GPU. Paket yang telah diinstal sebelumnya meliputi:

  • PyTorch (dengan dukungan CUDA)
  • Transformers (Hugging Face)
  • Dan dependensi ML/DL tambahan

Terbaik untuk: Praktisi ML yang menginginkan lingkungan lengkap untuk beban kerja pelatihan, penyempurnaan, dan eksperimen tanpa manajemen dependensi manual.

Untuk memilih: Di panel sisi Lingkungan , pilih AI v5 atau AI v4 sebagai lingkungan dasar Anda.

Untuk detail selengkapnya tentang versi paket yang diinstal dalam versi yang berbeda, lihat catatan rilis:

Lingkungan dasar ruang kerja

Admin ruang kerja dapat membangun lingkungan dasar ruang kerja untuk komputasi GPU tanpa server, yang membuatnya tersedia untuk semua pengguna di ruang kerja melalui menu drop-down Lingkungan dasar . Untuk detailnya, lihat Membangun untuk komputasi GPU tanpa server (AI Runtime).

Anda juga dapat mengonfigurasi lingkungan pembelajaran mendalam per proyek dengan memulai dari salah satu lingkungan dasar yang disediakan (default atau Databricks AI) dan menginstal paket tambahan secara terprogram menggunakan %pip install dalam notebook Anda atau di bagian atas skrip pelatihan Anda:

%pip install "trl==1.1.0"
%pip install "peft==0.19.1"
%pip install "transformers==5.5.4"
%pip install "fsspec==2024.9.0"
%pip install "huggingface_hub==1.11.0"
%pip install "datasets==3.2.0"
%pip install "accelerate==1.13.0"

Saat menggunakan dekorator @distributed untuk beban kerja multi-GPU, paket yang diinstal dengan %pip install sebelum memanggil .distributed() akan secara otomatis dibuat snapshot dan disebarkan ke semua proses terdistribusi. Ukuran total paket yang diinstal tidak boleh melebihi 15 GB.

Untuk detail selengkapnya, lihat Menambahkan dependensi ke buku catatan.

Cache lingkungan dan modul kustom

Kapan lingkungan di-cache?

Lingkungan di-cache di seluruh sesi untuk mempercepat waktu mulai. Saat Anda terhubung kembali ke Runtime AI dengan konfigurasi lingkungan yang sama, paket yang diinstal sebelumnya mungkin tersedia dari cache, mengurangi waktu penyiapan.

Namun, perilaku cache tidak dijamin, jadi selalu pastikan notebook Anda menyertakan perintah yang diperlukan %pip install untuk reproduksi.

Bagaimana cara mengimpor modul kustom?

Anda dapat mengimpor modul kustom dengan menempatkannya /Workspace/Shared dan menambahkan jalur ke sys.path:

import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function

Anda juga dapat mengunggah file modul sebagai file Ruang Kerja dan mengimpornya secara langsung. Untuk kolaborasi multi-pengguna, simpan kode bersama di /Workspace/Shared daripada folder khusus pengguna. Untuk pengembangan aktif, gunakan folder khusus pengguna dan dorong ke repositori Git jarak jauh untuk kontrol versi.

Keterbatasan

Kemampuan berikut ini tidak tersedia pada Runtime AI:

  • Fungsi Spark: Anda tidak dapat mengimpor atau menggunakan fungsi PySpark secara langsung. Runtime AI adalah lingkungan khusus Python; Spark tidak tersedia sebagai runtime lokal. Namun, Spark Connect tersedia untuk pemuatan data. Lihat Memuat data pada Runtime AI.
  • Pustaka Databricks Runtime ML: Paket yang telah diinstal sebelumnya bukan pengganti Databricks Runtime ML. Beberapa pustaka ML yang tersedia di Databricks Runtime ML mungkin tidak diinstal sebelumnya pada AI Runtime.
  • Artefak privat: AI Runtime memang mendukung artefak privat dalam kasus tertentu. Hubungi tim akun Anda untuk detail selengkapnya.
  • Last updated on