AI dan pembelajaran mesin di Databricks

Membangun, menyebarkan, dan mengelola aplikasi AI dan pembelajaran mesin dengan Mosaic AI, platform terintegrasi yang menyatukan seluruh siklus hidup AI dari persiapan data hingga pemantauan produksi.

Untuk serangkaian tutorial untuk memulai, lihat tutorial AI dan pembelajaran mesin.

Membangun aplikasi AI generatif

Mengembangkan dan menyebarkan aplikasi AI generatif tingkat perusahaan seperti model bahasa yang diperhalus, agen AI, dan generasi dengan augmentasi pengambilan.

Feature	Description
AI Playground	Prototipe dan menguji model AI generatif dengan rekayasa permintaan tanpa kode dan penyetelan parameter.
Agen Bricks	Pendekatan sederhana untuk membangun dan mengoptimalkan sistem agen AI khusus domain dan berkualitas tinggi untuk kasus penggunaan AI umum.
Model Fondasi	Melayani LLM canggih termasuk Meta Llama, Anthropic Claude, dan OpenAI GPT melalui API yang aman dan dapat diskalakan.
Kerangka Kerja Agen AI Mosaik	Membangun dan menyebarkan agen berkualitas produksi termasuk aplikasi RAG dan sistem multi-agen dengan Python.
MLflow untuk GenAI	Mengukur, meningkatkan, dan memantau kualitas di seluruh siklus hidup aplikasi GenAI menggunakan metrik yang didukung AI dan pengamatan jejak komprehensif.
Pencarian Vektor	Menyimpan dan mengkueri vektor penyematan dengan sinkronisasi otomatis ke pangkalan pengetahuan Anda untuk aplikasi RAG.
Komputasi GPU tanpa server	Sesuaikan beban kerja pembelajaran mendalam node tunggal dan multi-node untuk pelatihan dan penyempurnaan model khusus menggunakan kerangka kerja favorit Anda dan dapatkan efisiensi, performa, dan kualitas mutakhir.
Penyempurnaan Model Dasar	Sesuaikan model fondasi dengan data Anda sendiri untuk mengoptimalkan performa untuk aplikasi tertentu.

Melatih model pembelajaran mesin klasik

Buat model pembelajaran mesin dengan alat otomatis dan lingkungan pengembangan kolaboratif.

Feature	Description
AutoML	Bangun model berkualitas tinggi secara otomatis dengan kode minimal menggunakan rekayasa fitur otomatis dan penyetelan hiperparameter.
Runtime Databricks untuk Machine Learning	Kluster yang telah dikonfigurasi sebelumnya dengan dukungan TensorFlow, PyTorch, Keras, dan GPU untuk pengembangan pembelajaran mendalam.
Pelacakan MLflow	Lacak eksperimen, bandingkan performa model, dan kelola siklus hidup pengembangan model lengkap.
Rekayasa fitur	Membuat, mengelola, dan menyajikan fitur dengan alur data otomatis dan penemuan fitur.
Buku catatan Databricks	Lingkungan pengembangan kolaboratif dengan dukungan untuk Python, R, Scala, dan SQL untuk alur kerja ML.

Melatih model pembelajaran mendalam

Gunakan kerangka kerja bawaan untuk mengembangkan model pembelajaran mendalam.

Feature	Description
Pelatihan terdistribusi	Contoh pembelajaran mendalam terdistribusi menggunakan Ray, TorchDistributor, dan DeepSpeed.
Praktik terbaik untuk pembelajaran mendalam tentang Databricks	Praktik terbaik untuk pembelajaran mendalam tentang Databricks.
PyTorch	Pelatihan satu node dan pelatihan terdistribusi menggunakan PyTorch.
TensorFlow	Node tunggal dan pelatihan terdistribusi menggunakan TensorFlow dan TensorBoard.
Solusi referensi	Solusi referensi untuk pembelajaran mendalam.

Menyebarkan dan menyajikan model

Sebarkan model ke produksi dengan titik akhir yang dapat diskalakan, inferensi real time, dan pemantauan tingkat perusahaan.

Feature	Description
Penyajian Model	Sebarkan model kustom dan LLM sebagai titik akhir REST yang dapat diskalakan dengan penskalakan otomatis dan dukungan GPU.
AI Gateway	Mengatur dan memantau akses ke model AI generatif dengan pelacakan penggunaan, pencatatan payload, dan kontrol keamanan.
Model eksternal	Integrasikan model pihak ketiga yang dihosting di luar Databricks dengan tata kelola dan pemantauan terpadu.
API model dasar	Akses dan gunakan model-model unggulan terbuka yang dihosting oleh Databricks.

Memantau dan mengatur sistem ML

Memastikan kualitas model, integritas data, dan kepatuhan terhadap alat pemantauan dan tata kelola yang komprehensif.

Feature	Description
Katalog Unity	Mengatur data, fitur, model, dan fungsi dengan kontrol akses terpadu, pelacakan silsilah data, dan penemuan.
Pembuatan profil data	Pantau kualitas data, performa model, dan penyimpangan prediksi dengan pemberitahuan otomatis dan analisis akar penyebab.
Deteksi anomali	Pantau kesegaran dan kelengkapan data di tingkat katalog.
MLflow untuk Model	Lacak, evaluasi, dan pantau aplikasi AI generatif sepanjang siklus hidup pengembangan.

Mengoperasionalkan alur kerja ML

Meningkatkan operasi pembelajaran mesin dengan proses kerja otomatis, integrasi CI/CD, dan pipeline siap produksi.

Feature	Description
Model-Model pada Katalog Unity	Gunakan registri model di Unity Catalog untuk tata kelola terpusat dan untuk mengelola siklus hidup model, termasuk penyebaran.
Pekerjaan Lakeflow	Bangun alur kerja otomatis dan alur ETL siap produksi untuk pemrosesan data ML.
Ray di Databricks	Menskalakan beban kerja ML dengan komputasi terdistribusi untuk pelatihan dan inferensi model skala besar.
Alur kerja MLOps	Terapkan MLOps end-to-end dengan jalur pelatihan otomatis, pengujian, dan penyebaran.
Integrasi Git	Kontrol versi kode dan notebook ML dengan integrasi Git yang mulus serta pengembangan kolaboratif.