MLflow di Databricks

Artikel ini menjelaskan bagaimana MLflow pada Databricks digunakan untuk mengembangkan agen AI generatif berkualitas tinggi dan model pembelajaran mesin.

Nota

Jika Anda baru saja mulai menggunakan Azure Databricks, pertimbangkan untuk mencoba MLflow di Databricks Free Edition.

Apa itu MLflow?

MLflow adalah platform rekayasa AI sumber terbuka terbesar untuk agen, LLM, dan model ML. MLflow memungkinkan tim dari semua ukuran untuk men-debug, mengevaluasi, memantau, dan mengoptimalkan aplikasi AI berkualitas produksi sambil mengontrol biaya dan mengelola akses ke model dan data. Dengan lebih dari 30 juta unduhan bulanan, ribuan organisasi mengandalkan MLflow setiap hari untuk mengirim AI ke produksi dengan percaya diri.

Fitur komprehensif MLflow untuk agen dan aplikasi LLM mencakup observabilitas kelas produksi, evaluasi, manajemen prompt, Gateway AI untuk mengelola biaya dan akses model, dan banyak lagi.

Untuk pengembangan model pembelajaran mesin (ML), MLflow menyediakan pelacakan eksperimen, kemampuan evaluasi model, registri model produksi, dan alat penyebaran model.

MLflow mendukung penyedia LLM, kerangka kerja agen, pustaka ML, dan bahasa pemrograman apa pun. MLflow menyediakan SDK asli untuk Python, TypeScript/JavaScript, Java, dan R.

MLflow 3

MLflow 3 di Azure Databricks memberikan pengamatan, evaluasi, dan manajemen prompt yang canggih untuk agen dan aplikasi LLM. Untuk pengembangan model ML, MLflow 3 menyediakan pelacakan eksperimen, evaluasi model, registri model produksi, dan alat penyebaran model. Dengan menggunakan MLflow 3 di Azure Databricks, Anda dapat:

Lacak dan analisis performa model, aplikasi AI, dan agen Anda secara terpusat di semua lingkungan, mulai dari kueri interaktif dalam buku catatan pengembangan melalui penyebaran batch produksi atau layanan real-time.
Mengatur alur kerja evaluasi dan penyebaran menggunakan Katalog Unity dan mengakses log status komprehensif untuk setiap versi model, aplikasi AI, atau agen Anda.
Lihat dan akses metrik dan parameter model dari halaman versi model di Unity Catalog dan dari REST API.
Anotasi permintaan dan respons (jejak rekam) untuk semua aplikasi dan agen AI generatif Anda, memungkinkan pakar manusia dan teknik otomatis (seperti LLM sebagai penilai) untuk memberikan umpan balik yang kaya. Anda dapat memanfaatkan umpan balik ini untuk menilai dan membandingkan performa versi aplikasi dan membangun himpunan data untuk meningkatkan kualitas.

Kemampuan ini menyederhanakan dan memperlancar evaluasi, implementasi, debugging, dan pemantauan untuk semua inisiatif AI Anda.

MLflow 3 juga memperkenalkan konsep Model yang Terlog dan Tugas Penerapan.

Model yang Dicatat membantu Anda melacak kemajuan model sepanjang siklus hidupnya. Saat Anda mencatat model menggunakan log_model(), LoggedModel dibuat yang bertahan di seluruh siklus hidup model, di berbagai lingkungan dan eksekusi, dan berisi tautan ke artefak seperti metadata, metrik, parameter, dan kode yang digunakan untuk menghasilkan model. Anda dapat menggunakan Model Tercatat untuk membandingkan model satu sama lain, menemukan model yang paling berperforma, dan melacak informasi saat debugging.
Pekerjaan penyebaran dapat digunakan untuk mengelola siklus hidup model, termasuk langkah-langkah seperti evaluasi, persetujuan, dan penyebaran. Alur kerja model ini diatur oleh Unity Catalog, dan semua peristiwa disimpan ke log aktivitas yang tersedia di halaman versi model di Unity Catalog.

Lihat artikel berikut untuk menginstal dan mulai menggunakan MLflow 3.

MLflow yang dikelola Databricks

Databricks menyediakan versi MLflow yang dikelola sepenuhnya dan dihosting, membangun pengalaman sumber terbuka untuk membuatnya lebih kuat dan dapat diskalakan untuk penggunaan perusahaan.

Aplikasi Agen dan LLM

MLflow di Databricks menyediakan platform lengkap untuk mengembangkan, mengevaluasi, dan memantau agen dan aplikasi LLM.

Pengamatan:Pelacakan MLflow merekam input, output, dan metadata yang terkait dengan setiap langkah perantara permintaan, memungkinkan Anda menemukan sumber perilaku tak terduga dengan cepat dalam agen.
Evaluasi: Gunakan Evaluasi Agen AI Mosaik untuk mengukur dan meningkatkan kualitas agen, didukung oleh evaluasi MLflow.
Manajemen prompt: Versi, kelola, dan lakukan iterasi pada template prompt yang digunakan di seluruh aplikasi AI Anda.
Pengembangan agen: Gunakan Mosaic AI Agent Framework untuk membuat agen, yang bergantung pada MLflow untuk melacak kode agen, metrik performa, dan jejak.
Debugging interaktif: Gunakan Kode Genie untuk observabilitas dan evaluasi agen untuk akses bahasa alami ke trace, eksekusi evaluasi, penilaian, dan banyak lagi dalam eksperimen MLflow Anda.

Pengembangan model ML

MLflow on Databricks menyediakan pelacakan eksperimen, evaluasi model, registri model produksi, dan alat penyebaran model untuk pengembangan model ML.

Diagram berikut menunjukkan bagaimana Databricks terintegrasi dengan MLflow untuk melatih dan menyebarkan model pembelajaran mesin.

MLflow terintegrasi dengan Databricks untuk mengembangkan dan menyebarkan model ML.

MLflow yang dikelola Databricks dibangun di Unity Catalog dan Cloud Data Lake untuk menyatukan semua data dan aset AI Anda dalam siklus hidup ML:

Feature store: Pencarian fitur otomatis dari Databricks menyederhanakan integrasi dan mengurangi kesalahan.
Melatih model: Menggunakan Mosaic AI untuk melatih model atau menyempurnakan model fondasi.
Pelacakan : MLflow melacak pelatihan dengan mencatat parameter, metrik, dan artefak untuk mengevaluasi dan membandingkan performa model.
Model Registry: MLflow Model Registry, terintegrasi dengan Unity Catalog mempusatkan model dan artefak AI.
Penyajian Model: Mosaic AI Model Serving menerapkan model ke endpoint API REST.
Monitoring: Mosaic AI Model Serving secara otomatis menangkap permintaan dan respons untuk memantau serta mendebug model. MLflow menambah data ini dengan data pelacakan untuk setiap permintaan.

Pelatihan model

Model MLflow berada di inti pengembangan AI dan ML pada Databricks. Model MLflow adalah format standar untuk mengemas model pembelajaran mesin dan agen AI generatif. Format standar memastikan bahwa model dan agen dapat digunakan oleh alat hilir dan alur kerja pada Databricks.

Dokumentasi MLflow - Model.

Databricks menyediakan fitur untuk membantu Anda melatih berbagai jenis model ML.

Melatih model AI menggunakan Mosaic AI.

Pelacakan eksperimen

Databricks menggunakan eksperimen MLflow sebagai unit organisasi untuk melacak pekerjaan Anda saat mengembangkan model.

Pelacakan eksperimen memungkinkan Anda mencatat dan mengelola parameter, metrik, artefak, dan versi kode selama pelatihan pembelajaran mesin dan pengembangan agen. Mengatur log menjadi eksperimen dan eksekusi memungkinkan Anda membandingkan model, menganalisis performa, dan melakukan iterasi dengan lebih mudah.

Pelacakan eksperimen menggunakan Databricks.
Lihat dokumentasi MLflow untuk informasi umum tentang eksekusi dan pelacakan eksperimen.

Registri Model dengan Katalog Unity

MLflow Model Registry adalah repositori model terpusat, UI, dan set API untuk mengelola proses penyebaran model.

Databricks mengintegrasikan Model Registry dengan Unity Catalog untuk memberikan tata kelola terpusat untuk model. Integrasi Unity Catalog memungkinkan Anda mengakses model di seluruh ruang kerja, melacak silsilah model, dan menemukan model untuk digunakan kembali.

Mengelola model menggunakan Databricks Unity Catalog.
Lihat dokumentasi MLflow untuk informasi umum tentang Model Registry.

Model Serving

Databricks Model Serving terintegrasi erat dengan MLflow Model Registry dan menyediakan antarmuka terpadu dan dapat diskalakan untuk menyebarkan, mengatur, dan mengkueri model AI. Setiap model yang Anda layani tersedia sebagai REST API yang dapat Anda integrasikan ke dalam aplikasi web atau klien.

Meskipun merupakan komponen yang berbeda, Model Serving sangat bergantung pada MLflow Model Registry untuk menangani penerapan versi model, manajemen dependensi, validasi, dan tata kelola.

Penyajian Model menggunakan Databricks.

Sumber terbuka vs. Fitur MLflow yang dikelola Databricks

Untuk konsep MLflow umum, API, dan fitur yang dibagikan antara sumber terbuka dan versi yang dikelola Databricks, lihat dokumentasi MLflow . Untuk fitur eksklusif untuk MLflow yang dikelola Databricks, lihat Dokumentasi Databricks.

Tabel berikut menyoroti perbedaan utama antara MLflow sumber terbuka dan MLflow yang dikelola Databricks dan menyediakan tautan dokumentasi untuk membantu Anda mempelajari lebih lanjut:

Fitur	Ketersediaan MLflow di sumber terbuka	Ketersediaan pada MLflow yang dikelola Databricks
Keamanan	Pengguna harus menyediakan lapisan tata kelola keamanan mereka sendiri	Keamanan tingkat perusahaan Databricks
Pemulihan bencana	Tidak tersedia	Pemulihan bencana Databricks
Pelacakan eksperimen	API Pelacakan MLflow	API Pelacakan MLflow terintegrasi dengan pelacakan eksperimen tingkat lanjut Databricks
Pendaftaran Model	Registri MLflow Model	MLflow Model Registry terintegrasi dengan Databricks Unity Catalog
Integrasi Katalog Unity	Integrasi sumber terbuka dengan Unity Catalog	Databricks Unity Catalog
Penyebaran model	Integrasi yang dikonfigurasi pengguna dengan solusi penyajian eksternal (SageMaker, Kubernetes, layanan kontainer, dan sebagainya)	Databricks Model Penyajian dan solusi penyajian eksternal
Agen AI	pengembangan MLflow LLM	Pengembangan LLM MLflow terintegrasi dengan Kerangka Kerja Agen AI Mosaic dan Evaluasi Agen
Enkripsi	Tidak tersedia	Enkripsi menggunakan kunci yang dikelola pelanggan