Melatih model AI dan ML

Azure Databricks menawarkan solusi komputasi fleksibel yang disesuaikan dengan kebutuhan pembelajaran mesin yang berbeda, mulai dari runtime kluster terkelola hingga lingkungan GPU tanpa server sepenuhnya.

Compute	Deskripsi
AI Runtime	Lingkungan komputasi GPU tanpa server yang dioptimalkan untuk beban kerja pembelajaran mendalam simpul tunggal dan multi-simpul kustom.
Databricks Runtime untuk Pembelajaran Mesin	Lingkungan komputasi klasik dengan pustaka bawaan untuk pembelajaran mesin klasik dan beban kerja pembelajaran mendalam.

Runtime AI (Pratinjau)

Penting

Fitur ini ada di Pratinjau Umum.

AI Runtime adalah penawaran khusus dalam ekosistem tanpa server Databricks. Ini dioptimalkan untuk beban kerja pembelajaran mendalam simpul tunggal dan multi-simpul kustom, seperti MENYEmpurnakan LLM atau melatih model visi komputer. Untuk gambaran umum tentang bagaimana komputasi tanpa server cocok dengan arsitektur Databricks, lihat Arsitektur ruang kerja tanpa server.

Fitur-fitur kunci mencakup:

• Ketersediaan instan: Menghapus kebutuhan untuk mengelola infrastruktur kluster yang mendasar, memungkinkan Anda menyambungkan notebook langsung ke sumber daya GPU tanpa server.
• Perangkat keras berkinerja tinggi: Menyediakan akses ke GPU A10 untuk tugas yang hemat biaya.
• Lingkungan terkelola: Menawarkan lingkungan dasar default untuk penyesuaian penuh atau lingkungan AI yang telah dimuat sebelumnya dengan paket ML umum seperti Transformer dan Ray.
• Penskalan fleksibel: Mendukung pelatihan terdistribusi di beberapa GPU dan simpul.

Lingkungan Eksekusi Databricks untuk Pembelajaran Mesin

Databricks Runtime for Machine Learning adalah runtime khusus yang mengotomatiskan pembuatan sumber daya komputasi dengan infrastruktur bawaan. Ini dirancang untuk pengguna yang menginginkan lingkungan yang komprehensif dan siap digunakan untuk pembelajaran mesin klasik dan pembelajaran mendalam.

Fitur-fitur kunci mencakup:

• Pustaka yang telah diinstal sebelumnya: Mencakup pustaka populer seperti PyTorch, TensorFlow, dan XGBoost, yang sering menerima pembaruan dan dukungan yang dioptimalkan.
• Fleksibilitas komputasi: Mendukung jenis instans berbasis CPU dan GPU, termasuk AWS Graviton untuk meningkatkan harga ke performa.
• Pengoptimalan: Menawarkan integrasi dengan Photon untuk mempercepat tugas Spark SQL, DataFrames, dan rekayasa fitur.
• Kontrol akses: Memerlukan mode akses khusus untuk akses data yang aman melalui Unity Catalog.