AI Runtime

Penting

Fitur ini ada di Pratinjau Umum.

AI Runtime adalah penawaran komputasi di Databricks yang ditujukan untuk beban kerja pembelajaran mendalam , dan menghadirkan dukungan GPU untuk Databricks Tanpa Server. Anda dapat menggunakan AI Runtime untuk melatih dan menyempurnakan model kustom menggunakan kerangka kerja favorit Anda dan mendapatkan efisiensi, performa, dan kualitas canggih. Untuk gambaran umum tentang bagaimana komputasi tanpa server cocok dengan arsitektur Databricks, lihat Arsitektur ruang kerja tanpa server.

Fitur utama

• Infrastruktur GPU yang dikelola sepenuhnya: Akses tanpa server dan fleksibel ke GPU dan tidak ada konfigurasi kluster, pemilihan driver, atau kebijakan penskalakan otomatis untuk dikelola.
• Runtime yang dikhususkan untuk pembelajaran mendalam: Pilih lingkungan Standar minimalis untuk fleksibilitas maksimal terhadap dependensi atau lingkungan AI berfitur lengkap yang sudah dipramuat dengan kerangka kerja ML populer.
• Terintegrasi secara asli di seluruh notebook, pekerjaan, Unity Catalog, dan MLflow untuk pengembangan, akses data, dan pelacakan eksperimen yang mulus.
• Dukungan kepatuhan: Mendukung sebagian besar standar kepatuhan. Untuk standar dan pengecualian yang didukung, lihat profil keamanan kepatuhan.
• Akses terminal web: Jalankan perintah shell, pantau penggunaan GPU dengan nvidia-smi, dan kelola file langsung di komputasi saat terhubung ke lingkungan GPU serverless versi 5 atau lebih tinggi. Lihat perintah shell Run di terminal web Azure Databricks.

Opsi perangkat keras

Semua akselerator Runtime AI menyediakan satu simpul. Jumlah GPU pada simpul tersebut tergantung pada jenis akselerator:

Akselerator	GPU per simpul	Memori GPU	Paling cocok untuk	Pelatihan yang didistribusikan
1xA10	1	24 GB	ML kecil hingga menengah dan tugas pembelajaran mendalam seperti model ML klasik atau menyempurnakan model bahasa yang lebih kecil	Tidak didukung (GPU tunggal)
1xH100	1	80 GB	Beban kerja yang membutuhkan lebih banyak memori GPU daripada yang disediakan 1xA10 tetapi tidak memerlukan pelatihan terdistribusi multi-GPU, seperti menyempurnakan model bahasa ukuran sedang	Tidak didukung (GPU tunggal)
8xH100	8	80 GB per GPU	Beban kerja AI skala besar termasuk melatih atau menyempurnakan model besar-besaran atau menjalankan tugas pembelajaran mendalam tingkat lanjut	Didukung menggunakan @distributed dekorator dengan gpus=8

Kasus penggunaan yang direkomendasikan

Databricks merekomendasikan Runtime AI untuk setiap kasus penggunaan pelatihan model kustom yang melibatkan pembelajaran mendalam, beban kerja klasik skala besar, atau GPU.

Contohnya:

• Penyempurnaan LLM (LoRA, QLoRA, penyempurnaan penuh)
• Visi komputer (deteksi objek, klasifikasi gambar)
• Sistem pemberi rekomendasi berbasis pembelajaran mendalam
• Pembelajaran penguatan
• Prakiraan rangkaian waktu berbasis pembelajaran mendalam

Persyaratan

• Ruang kerja di salah satu wilayah yang didukung Azure berikut ini:
  • centralus
  • eastus
  • eastus2
  • northcentralus
  • westcentralus
  • westus
  • westus3

Keterbatasan

• AI Runtime hanya mendukung akselerator A10 dan H100.
• Runtime AI tidak mendukung profil keamanan kepatuhan untuk standar FedRAMP High atau DoD IL5. Semua standar kepatuhan lainnya didukung.
• Menambahkan dependensi menggunakan panel Lingkungan tidak didukung untuk pekerjaan yang dijadwalkan dalam Runtime AI. Instal dependensi secara terprogram menggunakan %pip install di buku catatan Anda sebagai gantinya.
• Untuk pekerjaan terjadwal pada Runtime AI, perilaku pemulihan otomatis untuk versi paket yang tidak kompatibel yang terkait dengan buku catatan Anda tidak didukung.
• Waktu operasi maksimum untuk beban kerja adalah tujuh hari. Untuk pekerjaan pelatihan model yang melebihi batas ini, terapkan titik pemeriksaan dan mulai ulang pekerjaan setelah runtime maksimum tercapai.
• Runtime AI menyediakan akses sesuai permintaan ke sumber daya GPU. Meskipun ini mengarah pada akses yang mudah dan fleksibel ke GPU, mungkin ada periode di mana kapasitas dibatasi atau tidak tersedia di wilayah Anda.
• Runtime AI memanfaatkan GPU lintas wilayah dalam kasus tertentu selama saat permintaan tinggi. Mungkin ada biaya keluar yang terkait dengan penggunaan tersebut, dan konektivitas jaringan lintas wilayah mungkin terbatas pada waktu tertentu.

Hubungkan ke Runtime AI

Anda dapat menyambungkan ke Runtime AI secara interaktif dari notebook, terminal IDE menggunakan terowongan SSH, pekerjaan terjadwal, JOBS API, dan Bundel Otomatisasi Deklaratif. Untuk instruksi langkah demi langkah, lihat Menyambungkan ke Runtime AI.

Menyiapkan lingkungan kerja

AI Runtime menawarkan dua lingkungan Python terkelola: lingkungan Standar minimal, dan lingkungan AI Databricks berperforma lengkap yang telah dimuat sebelumnya dengan kerangka kerja ML populer seperti PyTorch dan Transformers. Untuk detail tentang memilih lingkungan, perilaku cache, mengimpor modul kustom, dan batasan yang diketahui, lihat Mengatur Lingkungan Anda.

Memuat data pada Runtime AI

Memahami cara kerja akses data pada Runtime AI sangat penting untuk pengalaman yang lancar. Untuk detailnya, lihat Memuat data pada Runtime AI.

Pelatihan terdistribusi

Runtime AI mendukung pelatihan terdistribusi di beberapa GPU pada simpul tunggal yang tersambung dengan notebook Anda. @distributed Dengan menggunakan dekorator dari serverless_gpu API Python, Anda dapat meluncurkan beban kerja multi-GPU dengan PyTorch DDP, FSDP, atau DeepSpeed dengan konfigurasi minimal. Untuk detailnya, lihat Pelatihan terdistribusi di buku catatan.

Pelacakan dan pengamatan eksperimen

Untuk integrasi MLflow, melihat log, dan manajemen titik pemeriksaan model, lihat Pelacakan dan pengamatan eksperimen.

Kode Genie untuk pembelajaran mendalam

Genie Code mendukung beban kerja pembelajaran mendalam pada Runtime AI. Ini dapat membantu menghasilkan kode pelatihan, menyelesaikan kesalahan penginstalan pustaka, menyarankan pengoptimalan, dan men-debug masalah umum. Lihat Menggunakan Kode Genie untuk ilmu data.

Panduan

Untuk migrasi dari beban kerja klasik, contoh notebook, dan pemecahan masalah, lihat Panduan pengguna untuk AI Runtime.