Konsep: Ilmu data dan pembelajaran mesin di Azure Databricks

Ilmu data dan pembelajaran mesin (DS dan ML) mengekstrak wawasan dan membangun model prediktif dari data. DS dan ML mencakup eksplorasi dan pemodelan interaktif serta sistem produksi otomatis. ML klasik mencakup teknik seperti klasifikasi, regresi, deteksi anomali, prakiraan, dan rekomendasi.

Metode pembelajaran mendalam modern dan AI generatif (GenAI) adalah jenis ML secara teknis. Bagian ini mencakup pembelajaran mendalam. Untuk GenAI, lihat Konsep: AI Generatif di Azure Databricks.

Siklus hidup ML

Siklus hidup ML mencakup proses menyeluruh dari data mentah hingga model produksi, lalu kembali lagi melalui pemantauan dan pelatihan ulang. Tahapan utama meliputi:

1. Cakupan kasus penggunaan dengan menentukan target prediksi, metrik keberhasilan, dan persyaratan produksi.
2. Jalankan analisis data eksploratif (EDA) untuk memahami distribusi data, sinyal prediktif, dan masalah kualitas data sebelum pemodelan.
3. Siapkan data dan fitur, yang dikelola dalam feature store.
4. Melatih model dan melacak eksperimen, mencatat metadata eksperimen untuk analisis dan untuk penyebaran.
5. Evaluasi kualitas model terhadap data yang disimpan dan kriteria pemangku kepentingan.
6. Daftarkan, siapkan, dan uji model sebelum mempromosikannya ke produksi.
7. Terapkan ke lingkungan produksi di endpoint real-time atau job inferensi batch.
8. Pantau dan pelatihan ulang untuk menyesuaikan model dengan mengubah data atau perilaku pengguna.

Lihat Siklus hidup pembelajaran mesin untuk panduan untuk setiap tahap.

Pengembangan dan operasi yang dibantu AI

Azure Databricks memiliki Genie Code, asisten AI yang terintegrasi di seluruh notebook dan ruang kerja. Gunakan ini untuk pengembangan, debugging, dan operasional berkelanjutan, dengan memanfaatkan pengetahuan khususnya tentang konteks perusahaan Anda. Lihat Menggunakan Kode Genie untuk ilmu data.

Anda dapat menggunakan Kode Genie di setiap langkah alur kerja Anda:

• Mulailah dengan obrolan Genie untuk menemukan model, data, dan fitur yang relevan di ruang kerja anda dan Unity Catalog.
• Gunakan Kode Genie untuk membuat prototipe alur untuk fiturisasi, pelatihan model, dan penyetelan, evaluasi, dan penyebaran.
• Analisis model yang melayani titik akhir dengan Genie Code untuk mendiagnosis dan menyelidiki masalah dalam produksi.

Anda juga dapat menggunakan alat pengkodian pihak ketiga untuk mengembangkan dan memelihara alur ML pada Azure Databricks. Lihat Keterampilan agen untuk asisten pemrograman AI.

Apa itu platform ML?

Platform ML adalah gabungan infrastruktur, perkakas, dan lapisan tata kelola yang mendukung siklus hidup ML penuh, dari data mentah hingga model produksi. Platform ML yang dirancang dengan baik menghubungkan rekayasa data, ilmu data interaktif, dan ML produksi dalam satu sistem yang diatur.

Komponen utama meliputi:

• Aset data seperti file, tabel, alur pemrosesan, dan penyimpanan fitur
• Alat eksperimen seperti notebook dan visualisasi, dengan kolaborasi sederhana dan bantuan AI
• Infrastruktur pelatihan dengan lingkungan yang dapat disesuaikan dan sumber daya komputasi yang fleksibel
• Infrastruktur penyebaran dan pemantauan untuk penyajian batch dan real-time, dengan dasbor dan pemberitahuan produksi
• MLOps dan alat tata kelola untuk orkestrasi, CI/CD, silsilah data, manajemen akses, dan pengelogan audit

Kemampuan tata kelola utama meliputi:

• Tata kelola terpadu data dan aset ML. Pelajari lebih lanjut di Apa itu Unity Catalog?.
• Tata kelola terpadu titik akhir model. Pelajari selengkapnya di Gateway AI untuk menyajikan titik akhir.
• Pendekatan keamanan terpadu. Pelajari selengkapnya di Databricks AI Security.
• Administrasi terpadu data dan alat ML. Pelajari selengkapnya di Administrasi.

Lihat juga Azure Databricks kemampuan data science dan ML serta arsitektur Azure Databricks.

ML vs. pembelajaran mendalam vs. GenAI

Batas antara pembelajaran mesin (ML), pembelajaran mendalam (DL), dan AI generatif (GenAI) dapat menjadi fuzzy. Panduan ini berfokus pada ML dan pembelajaran mendalam, tetapi fitur platform berikut mendukung ketiga paradigma:

• Model Serving mendukung model ML klasik, pembelajaran mendalam, dan GenAI kustom untuk inferensi real time dan batch.
• ai_query mendukung kueri SQL dan beban kerja inferensi batch untuk ketiga paradigma.

• Runtime AI dan Runtime Databricks dengan dukungan GPU untuk Pembelajaran Mesin mendukung pelatihan dan penyempurnaan di ketiga paradigma.

• Pelacakan eksperimen MLflow melacak eksekusi dan eksperimen untuk ketiga paradigma.
• Databricks AI Search menyajikan data yang tidak terstruktur untuk ketiga paradigma.

Sumber daya tambahan

• Siklus hidup pembelajaran mesin - tahap siklus hidup ML dan praktik terbaik
• Azure Databricks kemampuan data science dan ML - kemampuan ML Azure Databricks menurut tahap alur kerja
• AI di Databricks - Kasus penggunaan, pelanggan, dan sumber daya lainnya