Tujuan dari model kematangan ini adalah untuk membantu memperjelas prinsip dan praktik Operasi Pembelajaran Mesin (MLOps). Model kematangan menunjukkan peningkatan berkelanjutan dalam pembuatan dan pengoperasian lingkungan aplikasi pembelajaran mesin tingkat produksi. Anda dapat menggunakannya sebagai metrik untuk menetapkan persyaratan progresif yang diperlukan untuk mengukur kematangan lingkungan produksi pembelajaran mesin dan prosesnya yang terkait.
Model kematangan
Model kematangan MLOps membantu memperjelas prinsip dan praktik Operasi Pengembangan (DevOps) yang diperlukan untuk menjalankan lingkungan MLOps yang berhasil. Ini dimaksudkan untuk mengidentifikasi kesenjangan dalam upaya organisasi yang ada untuk menerapkan lingkungan seperti itu. Ini juga merupakan cara untuk menunjukkan kepada Anda bagaimana menumbuhkan kemampuan MLOps Anda secara bertahap, dan tidak membebani Anda dengan persyaratan lingkungan yang sepenuhnya matang. Gunakan sebagai panduan untuk:
Perkirakan cakupan pekerjaan untuk interaksi baru.
Tetapkan kriteria keberhasilan yang realistis.
Identifikasi kiriman yang akan Anda serahkan pada akhir interaksi.
Seperti kebanyakan model kematangan, model kematangan MLOps secara kualitatif menilai orang/budaya, proses/struktur, dan objek/teknologi. Jika tingkat kematangan meningkat, kemungkinan akan meningkat sehingga insiden atau kesalahan akan mengarah pada peningkatan kualitas proses pengembangan dan produksi.
Model kematangan MLOps mencakup lima tingkat kemampuan teknis:
| Tingkat |
Deskripsi |
Sorotan |
Teknologi |
| 0 |
Tanpa MLOps |
- Sulit mengelola siklus hidup model pembelajaran mesin penuh
- Timnya berbeda dan rilisnya merepotkan
- Sebagian besar sistem ada sebagai "kotak hitam", sedikit umpan balik selama/setelah penyebaran
|
- Pembuatan dan penyebaran manual
- Pengujian model dan aplikasi manual
- Tidak ada pelacakan terpusat performa model
- Pelatihan model manual
|
| 1 |
DevOps tetapi tanpa MLOps |
- Rilis tidak terlalu merepotkan dibandingkan Tanpa MLO, tetapi mengandalkan Tim Data untuk setiap model baru
- Umpan balik yang masih terbatas tentang seberapa baik performa model dalam produksi
- Sulit melacak/mereproduksi hasil
|
- Pembuatan otomatis
- Pengujian otomatis kode aplikasi
|
| 2 |
Pelatihan Otomatis |
- Lingkungan pelatihan dikelola sepenuhnya dan dapat dilacak
- Mudah mereproduksi model
- Rilis manual, tetapi gesekan rendah
|
- Pelatihan model otomatis
- Pelacakan terpusat performa pelatihan model
- Manajemen model
|
| 3
|
Penerapan Model Otomatis |
- Rilis bergesekan rendah dan otomatis
- Keterlacakan penuh dari penyebaran kembali ke data asli
- Seluruh lingkungan terkelola: melatih > produksi pengujian >
|
- Pengujian A/B performa model untuk penyebaran yang terintegrasi
- Pengujian otomatis semua kode
- Pelacakan terpusat performa pelatihan model
|
| 4
|
Operasi Otomatis MLOps Penuh |
- Sistem penuh otomatis dan mudah dipantau
- Sistem produksi memberikan informasi tentang cara meningkatkan dan, dalam beberapa kasus, secara otomatis meningkatkan dengan model baru
- Mendekati sistem waktu henti nol
|
- Pelatihan dan pengujian model otomatis
- Verbose, metrik terpusat dari model yang disebarkan
|
Tabel berikut mengidentifikasi karakteristik terperinci untuk tingkat kematangan proses tersebut. Modelnya akan terus berkembang. Versi ini terakhir diperbarui pada Januari 2020.
Level 0: Tanpa MLOps
| Sosial |
Pembuatan Model |
Rilis Model |
Integrasi Aplikasi |
- Ilmuwan data: tertutup, tidak dalam komunikasi reguler dengan tim yang lebih besar
- Teknisi data (jika ada): tertutup, tidak dalam komunikasi reguler dengan tim yang lebih besar
- Teknisi perangkat lunak: tertutup, menerima model dari jarak jauh dari anggota tim lainnya
|
- Data dikumpulkan secara manual
- Komputasi mungkin tidak dikelola
- Eksperimen tidak dapat dilacak secara terprediksi
- Hasil akhir mungkin merupakan file model tunggal yang diserahkan secara manual dengan input/output
|
- Proses manual
- Skrip penilaian mungkin dibuat secara manual dengan baik setelah eksperimen, bukan versi yang dikontrol
- Rilis ditangani oleh ilmuwan data atau teknisi data saja
|
- Sangat bergantung pada keahlian ilmuwan data untuk menerapkan
- Rilis manual setiap waktu
|
Level 1: DevOps tanpa MLOps
| Sosial |
Pembuatan Model |
Rilis Model |
Integrasi Aplikasi |
- Ilmuwan data: tertutup, tidak dalam komunikasi reguler dengan tim yang lebih besar
- Teknisi data (jika ada): tertutup, tidak dalam komunikasi reguler dengan tim yang lebih besar
- Teknisi perangkat lunak: tertutup, menerima model dari jarak jauh dari anggota tim lainnya
|
- Alur data mengumpulkan data secara otomatis
- Komputasi dikelola atau tidak dikelola
- Eksperimen tidak dapat dilacak secara terprediksi
- Hasil akhir mungkin merupakan file model tunggal yang diserahkan secara manual dengan input/output
|
- Proses manual
- Skrip penilaian mungkin dibuat secara manual dengan baik setelah eksperimen, kemungkinan versi dikontrol
- Diserahkan kepada teknisi perangkat lunak
|
- Pengujian integrasi dasar ada untuk model
- Sangat bergantung pada keahlian ilmuwan data untuk menerapkan model
- Rilis otomatis
- Kode aplikasi memiliki unit pengujian
|
Level 2: Pelatihan Otomatis
| Sosial |
Pembuatan Model |
Rilis Model |
Integrasi Aplikasi |
- Ilmuwan data: Bekerja langsung dengan teknisi data untuk mengubah kode eksperimen menjadi skrip/pekerjaan yang dapat diulang
- Teknisi data: Bekerja dengan ilmuwan data
- Teknisi perangkat lunak: tertutup, menerima model dari jarak jauh dari anggota tim lainnya
|
- Alur data mengumpulkan data secara otomatis
- Komputasi dikelola
- Hasil eksperimen dilacak
- Baik kode pelatihan dan model yang dihasilkan adalah versi yang dikontrol
|
- Rilis manual
- Skrip penilaian adalah versi yang dikontrol dengan pengujian
- Rilis dikelola oleh tim teknik Perangkat Lunak
|
- Pengujian integrasi dasar ada untuk model
- Sangat bergantung pada keahlian ilmuwan data untuk menerapkan model
- Kode aplikasi memiliki unit pengujian
|
Level 3: Penyebaran Model Otomatis
| Sosial |
Pembuatan Model |
Rilis Model |
Integrasi Aplikasi |
- Ilmuwan data: Bekerja langsung dengan teknisi data untuk mengubah kode eksperimen menjadi skrip/pekerjaan yang dapat diulang
- Insinyur data: Bekerja dengan ilmuwan data dan insinyur perangkat lunak untuk mengelola input/output
- Teknisi perangkat lunak: Bekerja dengan teknisi data untuk mengotomatisasi integrasi model ke dalam kode aplikasi
|
- Alur data mengumpulkan data secara otomatis
- Komputasi dikelola
- Hasil eksperimen dilacak
- Baik kode pelatihan dan model yang dihasilkan adalah versi yang dikontrol
|
- Rilis otomatis
- Skrip penilaian adalah versi yang dikontrol dengan pengujian
- Rilis dikelola oleh alur pengiriman berkelanjutan (CI/CD)
|
- Pengujian unit dan integrasi untuk setiap rilis model
- Tidak terlalu bergantung pada keahlian ilmuwan data untuk menerapkan model
- Kode aplikasi memiliki pengujian unit/integrasi
|
Level 4: Pelatihan Ulang Otomatis MLOps Penuh
| Sosial |
Pembuatan Model |
Rilis Model |
Integrasi Aplikasi |
- Ilmuwan data: Bekerja langsung dengan teknisi data untuk mengubah kode eksperimen menjadi skrip/pekerjaan yang dapat diulang. Bekerja dengan teknisi perangkat lunak untuk mengidentifikasi penanda untuk teknisi data
- Insinyur data: Bekerja dengan ilmuwan data dan insinyur perangkat lunak untuk mengelola input/output
- Teknisi perangkat lunak: Bekerja dengan teknisi data untuk mengotomatisasi integrasi model ke dalam kode aplikasi. Menerapkan pengumpulan metrik pasca-penyebaran
|
- Alur data mengumpulkan data secara otomatis
- Pelatihan ulang dipicu secara otomatis berdasarkan metrik produksi
- Komputasi dikelola
- Hasil eksperimen dilacak
- Baik kode pelatihan dan model yang dihasilkan adalah versi yang dikontrol
|
- Rilis Otomatis
- Skrip Penilaian adalah versi yang dikontrol dengan pengujian
- Rilis dikelola oleh alur CI/CD dan integrasi berkelanjutan
|
- Pengujian Unit dan Integrasi untuk setiap rilis model
- Tidak terlalu bergantung pada keahlian ilmuwan data untuk menerapkan model
- Kode aplikasi memiliki pengujian unit/integrasi
|
Langkah berikutnya