Runtime AI

Penting

Fitur ini ada di Pratinjau Umum.

AI Runtime adalah penawaran komputasi GPU serverless di Databricks yang ditujukan untuk beban kerja deep learning . Anda dapat menggunakan AI Runtime untuk melatih dan menyempurnakan model kustom menggunakan kerangka kerja favorit Anda dan mendapatkan efisiensi, performa, dan kualitas canggih.

Get started

Jalankan beban kerja pertama Anda dalam hitungan menit menggunakan panduan cepat kami.

Get started	Deskripsi
🚀 Databricks CLI quickstart	Berasal dari cluster Slurm atau Kubernetes? Berlatih menggunakan AI Runtime dari terminal Anda dalam hitungan menit.
📓 Panduan mulai cepat Notebook	Pasang notebook Anda ke GPU dalam hitungan detik dan kembangkan secara interaktif.
⚡ Ray	Berasal dari gugus sinar? Jalankan Ray di AI Runtime dengan dukungan dashboard.
🧭 Ikhtisar	Pelajari hal-hal utama tentang AI Runtime dalam dua menit: GPU yang tersedia, cara kerjanya, dan keterbatasannya.

Fitur

AI Runtime adalah platform GPU full-stack, dengan banyak cara untuk terhubung ke GPU, alat observabilitas dan debugging bawaan, serta lingkungan yang sudah dibangun.

Terhubung ke GPU serverless: Akses GPU serverless dari mana pun Anda bekerja.

Feature	Deskripsi
Notebooks	Hubungkan notebook ke komputasi GPU serverless dan kembangkan secara interaktif, tanpa pengaturan cluster.
IDE melalui SSH	Sambungkan dari IDE atau terminal Anda melalui tunnel SSH untuk bekerja langsung pada node GPU.
Databricks CLI	Kirim dan kelola pekerjaan pelatihan GPU terdistribusi dari laptop Anda menggunakan konfigurasi pekerjaan YAML.
Agen AI	Gunakan databricks-ai-runtime agent skill untuk mengirimkan, memantau, dan mengelola job pelatihan GPU melalui agen AI Anda.
Ray	Jalankan Ray Core, Ray Data, Ray Train, dan Ray Tune pada komputasi GPU tanpa server.

Mengelola Ketergantungan: Kendalikan Python dan pustaka sistem yang digunakan untuk menjalankan beban kerja Anda.

Feature	Deskripsi
Lingkungan yang sudah dibangun	Mulailah dari lingkungan Standard minimal atau lingkungan AI Databricks yang sudah dimuat dengan kerangka ML.

Memuat data ke GPU: Mengirimkan data pelatihan ke GPU Anda secara efisien.

Feature	Deskripsi
Loader data yang efisien	Streaming data dari volume Unity Catalog dengan pemuat data yang toleran terhadap kesalahan dan dirancang untuk utilisasi GPU tinggi.

Debugging dan Observabilitas: Lacak eksperimen, periksa output, dan diagnosis kegagalan.

Feature	Deskripsi
MLflow untuk pembelajaran mendalam	Lacak eksperimen, metrik, dan run dengan MLflow.
Penampil log	Lihat output pelatihan dan pantau penggunaan sumber daya GPU saat kode Anda berjalan.
Debugging menggunakan agen	Gunakan Genie Code untuk menghasilkan kode pelatihan, menyelesaikan masalah lingkungan, dan men-debug kegagalan GPU.

Penjadwalan dan pelayanan waktu nyata: Beralih dari pengembangan interaktif ke pekerjaan terjadwal dan titik akhir.

Feature	Deskripsi
Jadwalkan beban kerja GPU	Terapkan kode pelatihan dengan Bundel Otomasi Deklaratif, jadwalkan eksekusi, dan bangun alur kerja multitugas untuk GPU dan CPU.
Sajikan model Anda	Terapkan model terlatih Anda di balik endpoint yang dapat diskalakan dengan Model Serving.

Examples

Jelajahi contoh notebook end-to-end dan Databricks CLI untuk AI Runtime.

Example	Deskripsi
Pembelajaran mesin klasik	XGBoost yang dipercepat GPU, prediksi tabular zero-shot, dan peramalan deret waktu.
Sistem rekomendasi	Latih model rekomendasi pembelajaran mendalam, seperti arsitektur dua menara.
Visi Komputer	Beban kerja deteksi objek dan klasifikasi gambar pada GPU.
Model OSS pasca-pelatihan (LLM)	Menyempurnakan dan melatih lanjutan LLM sumber terbuka dengan LoRA, penyetelan penuh, serta pustaka seperti TRL, Unsloth, dan Axolotl.
Inferensi batch	Jalankan inferensi batch skala besar dengan Ray Data dan vLLM di beberapa GPU.
Pelatihan terdistribusi multi-GPU	Skalakan pelatihan di berbagai GPU dan node dengan DDP, FSDP, dan DeepSpeed.

Guides

Panduan berfokus pada tugas untuk migrasi beban kerja ke AI Runtime dan memaksimalkan penggunaan GPU Anda.

Guide	Deskripsi
Beralih dari Slurm	Petakan skrip batch Slurm, peluncur terdistribusi, dan penyimpanan bersama Anda ke CLI Databricks.
Migrasi beban kerja GPU klasik	Pindahkan beban kerja deep learning yang sudah ada dari cluster Databricks klasik ke AI Runtime.
Kinerja dan ketahanan	Tingkatkan throughput pelatihan dan buat pekerjaan yang sudah lama berjalan lebih tahan terhadap kegagalan.

Sumber daya tambahan

Temukan konten yang berguna: pembaruan produk terbaru dan bagaimana AI Runtime bekerja di balik layar.

Resource	Deskripsi
Pembaruan produk	Lihat pembaruan dan pengumuman produk AI Runtime terbaru.
Bagaimana AI Runtime bekerja secara rahasia	Baca bagaimana Databricks menjaga GPU tetap andal selama AI Runtime.