Overview

AI Runtime adalah penawaran komputasi di Databricks yang ditujukan untuk beban kerja pembelajaran mendalam , dan menghadirkan dukungan GPU untuk Databricks Tanpa Server. Anda dapat menggunakan AI Runtime untuk melatih dan menyempurnakan model kustom dengan framework seperti PyTorch dan Hugging Face Transformers. Untuk gambaran umum tentang bagaimana komputasi tanpa server cocok dengan arsitektur Databricks, lihat Arsitektur ruang kerja tanpa server.

Fitur utama

AI Runtime menggabungkan infrastruktur GPU yang dikelola dengan runtime yang dirancang untuk deep learning:

  • Infrastruktur GPU yang dikelola sepenuhnya: Akses tanpa server dan fleksibel ke GPU dan tidak ada konfigurasi kluster, pemilihan driver, atau kebijakan penskalakan otomatis untuk dikelola.
  • Runtime yang dikhususkan untuk pembelajaran mendalam: Pilih lingkungan Standar minimalis untuk fleksibilitas maksimal terhadap dependensi atau lingkungan AI berfitur lengkap yang sudah dipramuat dengan kerangka kerja ML populer.
  • Terintegrasi secara asli di seluruh notebook, pekerjaan, Unity Catalog, dan MLflow untuk pengembangan, akses data, dan pelacakan eksperimen yang mulus.

Opsi perangkat keras

Semua akselerator Runtime AI menyediakan satu simpul. Jumlah GPU pada simpul tersebut tergantung pada jenis akselerator:

Akselerator GPU per simpul Memori GPU Paling cocok untuk Pelatihan terdistribusi
1xA10 1 24 GB ML kecil hingga menengah dan tugas pembelajaran mendalam seperti model ML klasik atau menyempurnakan model bahasa yang lebih kecil Tidak didukung (GPU tunggal)
1xH100 1 80 GB Beban kerja yang membutuhkan lebih banyak memori GPU daripada yang disediakan 1xA10 tetapi tidak memerlukan pelatihan terdistribusi multi-GPU, seperti menyempurnakan model bahasa ukuran sedang Tidak didukung (GPU tunggal)
8xH100 8 80 GB per GPU Beban kerja AI skala besar termasuk melatih atau menyempurnakan model besar-besaran atau menjalankan tugas pembelajaran mendalam tingkat lanjut Didukung oleh dekorator @distributed, yang secara bawaan menggunakan kedelapan GPU

Tip

Hanya 8xH100 yang mendukung pelatihan terdistribusi multi-GPU. Untuk beban kerja GPU tunggal, pilih 1xA10 atau 1xH100 berdasarkan memori GPU yang dibutuhkan model Anda.

Databricks merekomendasikan Runtime AI untuk setiap kasus penggunaan pelatihan model kustom yang melibatkan pembelajaran mendalam, beban kerja klasik skala besar, atau GPU.

Contohnya:

  • Penyempurnaan LLM (LoRA, QLoRA, penyempurnaan penuh)
  • Visi komputer (deteksi objek, klasifikasi gambar)
  • Sistem pemberi rekomendasi berbasis pembelajaran mendalam
  • Pembelajaran penguatan
  • Prakiraan rangkaian waktu berbasis pembelajaran mendalam

Persyaratan

Sebelum Anda mulai, pastikan ruang kerja Anda memenuhi persyaratan berikut:

Limitations

Perhatikan keterbatasan berikut saat Anda merencanakan beban kerja AI Runtime:

  • AI Runtime hanya mendukung akselerator A10 dan H100.
  • Runtime AI tidak mendukung profil keamanan kepatuhan untuk standar FedRAMP High atau DoD IL5.
  • Menambahkan dependensi menggunakan panel Lingkungan tidak didukung untuk pekerjaan yang dijadwalkan dalam Runtime AI. Instal dependensi secara terprogram menggunakan %pip install di buku catatan Anda sebagai gantinya.
  • Untuk pekerjaan terjadwal pada Runtime AI, perilaku pemulihan otomatis untuk versi paket yang tidak kompatibel yang terkait dengan buku catatan Anda tidak didukung.
  • Upaya koneksi AI Runtime berakhir setelah 15 menit untuk notebook interaktif dan setelah 24 jam untuk pekerjaan notebook atau pekerjaan CLI. Sesi notebook terhubung dan pekerjaan notebook dapat berjalan hingga dua hari, dan pekerjaan CLI dapat berjalan hingga 14 hari. Untuk pekerjaan pelatihan model yang berjalan lama, terapkan checkpoint dan restart pekerjaan saat waktu eksekusi maksimum tercapai.
  • Runtime AI menyediakan akses sesuai permintaan ke sumber daya GPU. Meskipun ini mengarah pada akses yang mudah dan fleksibel ke GPU, mungkin ada periode di mana kapasitas dibatasi atau tidak tersedia di wilayah Anda.
  • Runtime AI memanfaatkan GPU lintas wilayah dalam kasus tertentu selama saat permintaan tinggi. Mungkin ada biaya keluar yang terkait dengan penggunaan tersebut, dan konektivitas jaringan lintas wilayah mungkin terbatas pada waktu tertentu.

Hubungkan ke Runtime AI

Anda dapat menyambungkan ke Runtime AI secara interaktif dari notebook, terminal IDE menggunakan terowongan SSH, pekerjaan terjadwal, JOBS API, dan Bundel Otomatisasi Deklaratif. Untuk petunjuk langkah demi langkah, lihat Hubungkan ke AI Runtime dari notebook.

Menyiapkan lingkungan kerja

AI Runtime menawarkan dua lingkungan Python terkelola: lingkungan Standar minimal, dan lingkungan AI Databricks berperforma lengkap yang telah dimuat sebelumnya dengan kerangka kerja ML populer seperti PyTorch dan Transformers. Untuk detail tentang memilih lingkungan, perilaku cache, mengimpor modul kustom, dan batasan yang diketahui, lihat Mengatur Lingkungan Anda.

Tip

Pilih lingkungan Standard untuk kontrol penuh atas tumpukan ketergantungan Anda, atau lingkungan AI Databricks untuk menghindari instalasi framework umum seperti PyTorch dan Transformers.

Memuat data pada Runtime AI

Memahami cara kerja akses data pada Runtime AI sangat penting untuk pengalaman yang lancar. Untuk detailnya, lihat Memuat data pada Runtime AI.

Pelatihan terdistribusi

Runtime AI mendukung pelatihan terdistribusi di beberapa GPU pada simpul tunggal yang tersambung dengan notebook Anda. Dengan menggunakan @distributed dekorator dari Databricks AI Runtime SDK (databricks.air), Anda dapat menjalankan beban kerja multi-GPU dengan PyTorch DDP, FSDP, atau DeepSpeed dengan konfigurasi minimal. Dekorator sedang dalam Public Preview. Untuk detailnya, lihat Pelatihan terdistribusi di buku catatan.

Tip

Validasikan beban kerja Anda pada satu GPU sebelum menskalakannya ke 8xH100 dengan dekorator @distributed.

Ray pada AI Runtime

AI Runtime mendukung Ray untuk beban kerja GPU terdistribusi, termasuk Ray Core, Ray Data, Ray Train, dan Ray Tune. Anda dapat menjalankan job Ray single-node dan multi-node di lingkungan komputasi GPU serverless tanpa perlu menyiapkan cluster. Untuk detail dan contoh, lihat Ray on AI Runtime.

Pelacakan dan pengamatan eksperimen

Untuk integrasi MLflow, melihat log, dan pemantauan GPU, lihat Pelacakan dan observabilitas eksperimen. Untuk checkpoint model, lihat Tingkatkan kinerja pelatihan dan ketahanan pada AI Runtime.

Menjadikan beban kerja pelatihan siap produksi

Terapkan beban kerja AI Runtime dengan Bundel Otomasi Deklaratif untuk menjalankan kode pelatihan Anda sendiri, membangun pekerjaan multi-tugas yang menggabungkan tugas GPU dan CPU, menjadwalkan pipeline, dan mempromosikan dari pengembangan hingga produksi. Lihat Jadwalkan beban kerja GPU dan susun tugas.

Kode Genie untuk pembelajaran mendalam

Genie Code dapat membantu mengembangkan dan memecahkan masalah beban kerja deep learning di AI Runtime. Perangkat ini dapat menghasilkan kode pelatihan terdistribusi, menyelesaikan masalah lingkungan dan ketergantungan, serta menyelidiki kegagalan GPU dan beban kerja terdistribusi. Lihat Gunakan Kode Genie dengan AI Runtime.

Guides

Untuk migrasi dari beban kerja klasik, contoh, dan pemecahan masalah, lihat Panduan pengguna untuk AI Runtime. Untuk memindahkan beban kerja pelatihan Slurm yang sudah ada ke AI Runtime, lihat Migrasi dari Slurm.

  • Terakhir diperbarui pada