Kemampuan data science dan ML Azure Databricks

Azure Databricks memiliki platform terpadu untuk siklus hidup ilmu data (DS) dan pembelajaran mesin (ML) lengkap, dari penyerapan data mentah melalui rekayasa fitur, pelatihan model, penyebaran, dan pemantauan produksi. Azure Databricks terintegrasi dengan kerangka kerja ML sumber terbuka populer, menambahkan tata kelola tingkat perusahaan, pengamatan, dan alat operasional, yang secara kolektif dikenal sebagai MLOps.

Halaman ini mencantumkan kemampuan DS dan ML utama, yang diatur menurut tahap alur kerja.

Analisis Data Eksploratif

Azure Databricks menyederhanakan analisis data eksploratif (EDA) dengan menyediakan alat interaktif, kolaboratif, dan bantuan AI untuk ilmuwan data. Ilmuwan data dapat menjelajahi data menggunakan obrolan bahasa alami, UI, atau kode, dan mereka dapat berkolaborasi menggunakan pengeditan bersama real time dan berbagi kode berbasis Git. Genie Code dapat melakukan EDA otomatis sepenuhnya atau bertindak sebagai asisten interaktif.

Kategori	Features
Antarmuka pengguna	Notebook menyediakan ruang kolaboratif untuk eksplorasi, visualisasi, dan dokumentasi untuk EDA. Dasbor menyediakan EDA berbasis SQL dan visualisasi. Genie Chat memiliki antarmuka bahasa alami untuk mengajukan pertanyaan data.
Collaboration	Notebook, dasbor, dan aset ruang kerja lainnya semuanya dapat dibagikan dan diatur oleh izin ruang kerja. Lihat misalnya Berkolaborasi menggunakan notebook Databricks. Notebook danfolder Git memungkinkan penerapan versi dan kolaborasi berbasis Git.
Asisten AI	Genie Code dapat melakukan EDA otomatis sepenuhnya atau bertindak sebagai asisten interaktif. Keterampilan agen untuk asisten pengodean AI meningkatkan performa asisten pihak ketiga yang menulis kode untuk Azure Databricks.

Menyiapkan dan menyajikan fitur

Azure Databricks menyederhanakan data untuk ML dengan menyatukan tata kelola data dan beban kerja ML. Dengan semua data yang dikelola di bawah Unity Catalog dengan kontrol akses halus, Anda dapat menyesuaikan rekayasa data dan batas ML agar sesuai dengan organisasi Anda. Data dapat disiapkan untuk ML menggunakan alat rekayasa data apa pun seperti alur Lakeflow. Fitur dikelola di Feature Store untuk melayani kebutuhan batch dan real-time, dengan satu sumber tepercaya yang terkelola untuk fitur.

Kode Genie mempercepat penemuan dan persiapan data dengan menelusuri Katalog Unity untuk menemukan tabel yang relevan, menyarankan transformasi fitur, dan menghasilkan kode untuk penyerapan dan alur fitur.

Jenis fitur	Features
Fitur pemrosesan batch	Tabel fitur di Unity Catalog menyimpan fitur batch yang telah dihitung sebelumnya dengan pelacakan asal data dan tata kelola otomatis. Tim menemukan dan menggunakan kembali fitur yang sudah ada alih-alih membangun ulang pipeline dari awal. Tampilan Fitur menyediakan API baru untuk menentukan fitur yang kemudian dapat digunakan untuk komputasi fitur batch atau real-time.
Fitur waktu nyata	Untuk fitur yang telah dikomputasi sebelumnya, penyimpanan fitur online menyajikan tabel fitur untuk model real time yang melayani kasus penggunaan. Saat input featurisasi hanya tersedia pada saat penyajian, penyajian fitur mendukung penghitungan fitur sesuai permintaan untuk melengkapi tabel fitur. Fitur didefinisikan sebagai fungsi, bukan dikomputasi sebelumnya. Tampilan Fitur menyediakan API baru untuk menentukan fitur yang kemudian dapat digunakan untuk komputasi fitur batch atau real-time.
Data yang tidak terstruktur	Pencarian AI memungkinkan penyajian data yang tidak terstruktur dan menjalankan pencarian semantik.

Melatih model ML

Azure Databricks memiliki alat fleksibel untuk melatih ML dan model pembelajaran mendalam. Lingkungan yang telah dikonfigurasi sebelumnya dan dapat disesuaikan memungkinkan Anda menggunakan pustaka ML kustom, dan sumber daya komputasi yang dipercepat CPU dan GPU tanpa server memungkinkan peningkatan dan penskalaan sesuai permintaan. Genie Code menyediakan AutoML cerdas, menerima permintaan dalam bahasa alami dan membangun alur kerja multi-notebook yang lengkap untuk featurisasi, pelatihan, penyetelan, evaluasi, dan penerapan.

Kategori	Features
Jenis ML	Azure Databricks mendukung semua jenis ML, termasuk: ML Klasik: Pembelajaran yang diawasi dan tidak diawasi dengan scikit-learn, XGBoost, LightGBM, Apache Spark MLlib, dan kerangka kerja ML lainnya Pembelajaran mendalam: Pelatihan jaringan neural dengan PyTorch, TensorFlow, dan Hugging Face Transformers, termasuk pelatihan terdistribusi di beberapa GPU Penyetelan hiperparameter: Pencarian otomatis di seluruh ruang algoritma dan hiperparameter menggunakan alat seperti Optuna dan Ray Untuk AI generatif, lihat Azure Databricks kemampuan AI generatif.
Compute	Komputasi tanpa server dimulai secara instan untuk notebook interaktif dan alur kerja terjadwal, dengan penskalaan otomatis dan tidak ada manajemen kluster. Mendukung kluster yang dipercepat dengan CPU maupun GPU. Komputasi klasik memiliki manajemen komputer tunggal dan kluster, untuk beban kerja CPU dan GPU.
Lingkungan dan pustaka	Lingkungan komputasi tanpa server menyediakan lingkungan dasar yang dapat sepenuhnya disesuaikan untuk ML. Untuk komputasi GPU tanpa server, Runtime AI menyediakan lingkungan yang telah dikonfigurasi sebelumnya untuk pelatihan dan inferensi berbasis GPU. Untuk komputasi klasik, Databricks Runtime untuk Pembelajaran Mesin menyediakan lingkungan kluster yang telah dikonfigurasi sebelumnya dengan pustaka ML utama yang telah diinstal dan diuji bersama-sama, untuk kluster yang dipercepat CPU dan GPU.
Asisten pengkodian AI	Genie Code dapat menemukan data Unity Catalog, membuat notebook ML, dan memecahkan masalah pipeline. Keterampilan agen untuk asisten pengodean AI meningkatkan performa asisten pihak ketiga yang menulis kode untuk Azure Databricks.

Melacak dan mengelola eksperimen

MLflow yang dikelola Azure Databricks menyediakan fondasi untuk pengembangan ML yang dapat direproduksi dan dapat diaudit. Integrasinya dengan Unity Catalog dan Git menyediakan pelacakan dan silsilah data dan aset kode. Setiap versi model dalam registri ditautkan kembali ke eksekusi pelatihan, himpunan data, lingkungan, dan penerapan git yang menghasilkannya, menyediakan jejak audit lengkap untuk model yang disebarkan.

Kategori	Features
Pelacakan eksperimen	Pelacakan MLflow mencatat parameter, metrik, dan artefak untuk setiap proses pelatihan. Bandingkan eksekusi di UI MLflow untuk mengidentifikasi konfigurasi berkinerja terbaik.
Registri model	Model di Unity Catalog menyediakan registri model MLflow yang terintegrasi dengan Unity Catalog. Artefak model versi diatur dengan alias siklus hidup (Staging, Production), kontrol akses, silsilah data, dan berbagi lintas ruang kerja.
Reprodusibilitas	Notebook dan kode dapat di-versi menggunakan folder Databricks Git dan terintegrasi dengan penyedia Git apa pun.

Menyebarkan dan menyajikan model

Azure Databricks mendukung inferensi batch dan penyajian waktu nyata. Inferensi batch menerapkan model secara efisien untuk himpunan data besar, sedangkan penyajian real time menyediakan model sebagai titik akhir API latensi rendah. Kode Genie dapat menghasilkan kode untuk penyebaran model dan mendiagnosis masalah dan performa untuk model yang melayani titik akhir.

Pola layanan	Features
Inferensi kumpulan	ai_query memberikan inferensi batch yang efisien untuk model kustom yang disebarkan sebagai titik akhir Model Melayani. Anda juga dapat menggunakan kode kustom dengan Apache Spark UDF (misalnya) atau mlflow.pyfunc untuk inferensi batch.
Penayangan waktu nyata	Model Serving menyediakan titik akhir REST terkelola latensi rendah dengan waktu aktif tinggi dengan penskalaan otomatis tanpa server. Ini mendukung penyajian CPU dan GPU untuk kerangka kerja ML apa pun, dan Anda dapat menggunakan Genie untuk menilai dan memecahkan masalah penyajian titik akhir.
Inferensi berbasis SQL	Fungsi AI menyediakan prediksi ML yang dapat diakses SQL untuk prakiraan, deteksi anomali, dan analisis driver, tanpa Python atau penyebaran model yang diperlukan. Untuk model kustom, fungsi ai_query AI menyediakan inferensi batch yang efisien yang didukung oleh titik akhir Model Serving.

Mengevaluasi dan memantau

Azure Databricks memberikan evaluasi yang fleksibel untuk pelatihan dan pemantauan berkelanjutan untuk produksi. Log penyajian real time ke tabel inferensi yang diatur dalam Unity Catalog, dan pemantauan kualitas data menyediakan pemantauan dengan metrik, dasbor, dan pemberitahuan kustom.

Kategori	Features
Evaluation	Evaluasi ML dengan MLflow dapat digunakan untuk menentukan metrik yang akan dicatat ke MLflow, atau Pelacakan MLflow dapat mencatat metrik yang dihitung menggunakan framework kustom Anda. Kode Genie dapat membantu dalam memilih metrik evaluasi dan menulis kode evaluasi.
Pengelogan prediksi	Tabel Inferensi mencatat permintaan dan respons penyajian, sehingga memungkinkan pemantauan, analitik, dan penyusunan set pelatihan.
Pemantauan dan peringatan	Pemantauan kualitas data melacak kualitas data, penyimpangan, dan metrik kustom, dengan deteksi anomali bawaan dan pembuatan profil data. Pemantauan kualitas data menyediakan antarmuka pengguna pemantauan, dan Anda dapat membangun dasbor kustom dari tabel pemantauan. Anda dapat mengatur pemberitahuan untuk deteksi anomali untuk meningkatkan insiden dengan cepat.

MLOps dan tata kelola

Azure Databricks menyediakan serangkaian alat lengkap untuk operasi ML (MLOps) dan tata kelola. MLOps Stacks menyediakan templat untuk mengaktifkan promosi otomatis yang dapat diulang dari pengembangan ke produksi menggunakan infrastruktur sebagai kode. Data, fitur, model, dan titik akhir sepenuhnya diatur oleh Unity Catalog dan AI Gateway.

Kategori	Features
CI/CD untuk ML	MLOps Stacks, dibangun di Bundel Automasi Deklaratif, menyediakan manajemen berbasis kode dan penyebaran infrastruktur dan alur kerja ML. Ini termasuk templat CI/CD untuk mengotomatiskan pelatihan, evaluasi, dan penyebaran.
Orkestrasi alur kerja	Lakeflow Jobs mengorkestrasi alur kerja ML multilangkah sebagai pipeline terjadwal atau yang dipicu.
Tata kelola aset data dan model	Unity Catalog menyediakan tata kelola terpadu untuk data, fitur, dan model terdaftar. Kontrol akses terperinci, pelacakan asal-usul data, dan log audit berlaku untuk semua aset.
Tata kelola titik akhir model	Gateway AI menyediakan tata kelola dan pemantauan terpusat untuk titik akhir model, termasuk batas laju, pelacakan penggunaan, dan pengelogan payload.

Dukungan sumber terbuka

Azure Databricks memberikan dukungan penuh untuk ekosistem ML sumber terbuka.

Anda dapat menggunakan kerangka kerja ML sumber terbuka apa pun pada Azure Databricks: scikit-learn, XGBoost, LightGBM, PyTorch, TensorFlow, Hugging Face Transformers, Ray, dan banyak lagi. MLflow atau alat kustom Anda dapat menyimpan artefak model dalam format terbuka yang dapat diekspor dan dijalankan di luar Azure Databricks.

MLflow adalah sumber terbuka, dibuat oleh Azure Databricks dan digunakan oleh 10.000+ organisasi. Data pelacakan eksperimen, artefak model, dan definisi alur Anda disimpan dalam format terbuka.

Tata kelola data dan AI dibangun di atas API Unity Catalog sumber terbuka, dan penyimpanan data didasarkan pada format Delta Lake yang terbuka. Data fitur dan himpunan data pelatihan Anda tetap dalam file portabel terbuka.

Sumber daya tambahan

• Pembelajaran mesin di Azure Databricks
• Sumber terbuka vs. MLflow terkelola di Azure Databricks