Pembelajaran mesin di Azure Databricks

Membangun, menyebarkan, dan mengelola aplikasi pembelajaran mesin di Azure Databricks. Platform terintegrasi menyatukan seluruh siklus hidup ML dari persiapan data hingga pemantauan produksi.

Sedang mencari AI generatif dan agen AI? Lihat Membuat agen AI di Azure Databricks.

Get started

Coba mulai cepat, siapkan data Anda, atau buat model kode rendah.

Panduan	Description
Memulai: Membangun model pembelajaran mesin pertama Anda di Databricks	Bangun model klasifikasi sederhana dengan scikit-learn dari awal hingga akhir.
AutoML	Bangun model berkualitas tinggi secara otomatis dengan kode minimal menggunakan rekayasa fitur otomatis dan penyetelan hiperparameter.
Memuat data untuk pembelajaran mesin dan pembelajaran mendalam	Muat dan siapkan data untuk ML dan alur kerja pembelajaran mendalam.
Melatih model pemberi rekomendasi	Latih model pemberi rekomendasi dengan arsitektur dua menara atau DLRM.

Melatih model pembelajaran mesin klasik

Buat model pembelajaran mesin dengan alat otomatis dan lingkungan pengembangan kolaboratif.

Feature	Description
Runtime Databricks untuk Machine Learning	Kluster yang telah dikonfigurasi sebelumnya dengan scikit-learn, XGBoost, MLflow, dan pustaka ML lainnya, ditambah dukungan untuk kerangka kerja pembelajaran mendalam.
Pelacakan MLflow	Lacak eksperimen, bandingkan performa model, dan kelola siklus hidup pengembangan model lengkap.
Rekayasa fitur	Membuat, mengelola, dan menyajikan fitur dengan alur data otomatis dan penemuan fitur.
Buku catatan Databricks	Lingkungan pengembangan kolaboratif dengan dukungan untuk Python, R, Scala, dan SQL untuk alur kerja ML.

Melatih model pembelajaran mendalam

Gunakan komputasi terkelola dan kerangka kerja bawaan untuk mengembangkan model pembelajaran mendalam.

Feature	Description
Pelatihan terdistribusi	Contoh pembelajaran mendalam terdistribusi menggunakan Ray, TorchDistributor, dan DeepSpeed.
AI Runtime	Komputasi GPU tanpa server untuk beban kerja pelatihan dan inferensi pembelajaran mendalam kustom.
Praktik terbaik DL	Panduan untuk pilihan kerangka kerja, pemuatan data, penskalaan terdistribusi, dan mengelola siklus hidup model pembelajaran mendalam.
PyTorch	Pelatihan satu node dan pelatihan terdistribusi menggunakan PyTorch.

Menyebarkan dan menyajikan model

Sebarkan model ke produksi dengan titik akhir yang dapat diskalakan, inferensi real time, dan pemantauan tingkat perusahaan.

Feature	Description
Penyajian Model	Sebarkan model kustom dan LLM sebagai titik akhir REST yang dapat diskalakan dengan penskalakan otomatis dan dukungan GPU.
AI Gateway	Mengatur dan memantau akses ke model yang dilayani di Azure Databricks dengan pelacakan penggunaan, pencatatan payload, dan kontrol keamanan.
Model eksternal	Integrasikan model pihak ketiga yang dihosting di luar Databricks dengan tata kelola dan pemantauan terpadu.
API model dasar	Akses dan gunakan model-model unggulan terbuka yang dihosting oleh Databricks.

Memantau dan mengatur sistem ML

Memastikan kualitas model, integritas data, dan kepatuhan terhadap alat pemantauan dan tata kelola yang komprehensif.

Feature	Description
Katalog Unity	Mengatur data, fitur, model, dan fungsi dengan kontrol akses terpadu, pelacakan silsilah data, dan penemuan.
Pembuatan profil data	Pantau kualitas data, performa model, dan penyimpangan prediksi dengan pemberitahuan otomatis dan analisis akar penyebab.
Deteksi anomali	Pantau kesegaran dan kelengkapan data di tingkat katalog.
MLflow untuk Model	Lacak eksperimen, kelola model di Unity Catalog, sebarkan, dan evaluasi model pembelajaran mesin di seluruh siklus hidup pengembangan.

Mengoperasionalkan alur kerja ML

Meningkatkan operasi pembelajaran mesin dengan proses kerja otomatis, integrasi CI/CD, dan pipeline siap produksi.

Feature	Description
Model-Model pada Katalog Unity	Gunakan registri model di Unity Catalog untuk tata kelola terpusat dan untuk mengelola siklus hidup model, termasuk penyebaran.
Pekerjaan Lakeflow	Bangun alur kerja otomatis dan alur ETL siap produksi untuk pemrosesan data ML.
Ray di Databricks	Menskalakan beban kerja ML dengan komputasi terdistribusi untuk pelatihan dan inferensi model skala besar.
Alur kerja MLOps	Terapkan MLOps end-to-end dengan jalur pelatihan otomatis, pengujian, dan penyebaran.