Pemantauan model dengan Azure Pembelajaran Mesin

Dalam artikel ini, Anda mempelajari tentang pemantauan model di Azure Pembelajaran Mesin, sinyal dan metrik yang dapat Anda pantau, dan praktik yang direkomendasikan untuk menggunakan pemantauan model.

Kasus untuk pemantauan model

Pemantauan model adalah langkah terakhir dalam siklus hidup end-to-end pembelajaran mesin. Langkah ini melacak performa model dalam produksi dan bertujuan untuk memahami performa dari ilmu data dan perspektif operasional.

Tidak seperti sistem perangkat lunak tradisional, perilaku sistem pembelajaran mesin diatur tidak hanya oleh aturan yang ditentukan dalam kode, tetapi juga oleh perilaku model yang dipelajari dari data. Oleh karena itu, perubahan distribusi data, kecondongan penyajian pelatihan, masalah kualitas data, pergeseran lingkungan, atau perubahan perilaku konsumen semuanya dapat menyebabkan model menjadi basi. Ketika model menjadi basi, performanya dapat menurun ke titik bahwa model gagal menambahkan nilai bisnis atau mulai menyebabkan masalah kepatuhan serius di lingkungan yang sangat diatur.

Batasan pemantauan model di Azure Pembelajaran Mesin

Pemantauan model Azure Pembelajaran Mesin hanya mendukung penggunaan autentikasi berbasis kredensial (misalnya, token SAS) untuk mengakses data yang terkandung dalam penyimpanan data. Untuk mempelajari selengkapnya tentang penyimpanan data dan mode autentikasi, lihat Administrasi data.

Cara kerja pemantauan model di Azure Pembelajaran Mesin

Untuk menerapkan pemantauan, Azure Pembelajaran Mesin memperoleh sinyal pemantauan dengan melakukan komputasi statistik pada data inferensi produksi yang dialirkan dan data referensi. Data referensi dapat berupa data pelatihan historis, data validasi, atau data kebenaran dasar. Di sisi lain, data inferensi produksi mengacu pada data input dan output model yang dikumpulkan dalam produksi.

Setiap sinyal pemantauan memiliki satu atau beberapa metrik. Pengguna dapat mengatur ambang batas untuk metrik ini untuk menerima pemberitahuan melalui Azure Pembelajaran Mesin atau Azure Event Grid tentang anomali model atau data. Pemberitahuan ini dapat meminta pengguna untuk menganalisis atau memecahkan masalah sinyal pemantauan di studio Azure Pembelajaran Mesin untuk peningkatan kualitas model berkelanjutan.

Langkah-langkah berikut menjelaskan contoh komputasi statistik yang digunakan untuk memperoleh sinyal pemantauan bawaan, seperti penyimpangan data, untuk model yang sedang dalam produksi.

• Untuk fitur dalam data pelatihan, hitung distribusi statistik nilainya. Distribusi ini adalah distribusi dasar untuk fitur tersebut.
• Hitung distribusi statistik nilai terbaru fitur yang terlihat dalam produksi.
• Bandingkan distribusi nilai terbaru fitur dalam produksi dengan distribusi garis besar dengan melakukan pengujian statistik atau menghitung skor jarak.
• Saat statistik pengujian atau skor jarak antara kedua distribusi melebihi ambang batas yang ditentukan pengguna, Azure Pembelajaran Mesin mengidentifikasi anomali dan memberi tahu pengguna.

Penyiapan pemantauan model

Untuk mengaktifkan dan menggunakan pemantauan model di Azure Pembelajaran Mesin:

1. Aktifkan pengumpulan data inferensi produksi. Jika Anda menyebarkan model ke titik akhir online Azure Pembelajaran Mesin, Anda dapat mengaktifkan pengumpulan data inferensi produksi dengan menggunakan pengumpulan data model Azure Pembelajaran Mesin. Namun, jika Anda menyebarkan model di luar Azure Pembelajaran Mesin atau ke titik akhir batch Azure Pembelajaran Mesin, Anda bertanggung jawab untuk mengumpulkan data inferensi produksi. Anda kemudian dapat menggunakan data ini untuk pemantauan model Azure Pembelajaran Mesin.
2. Menyiapkan pemantauan model. Anda dapat menggunakan Azure Pembelajaran Mesin SDK/CLI 2.0 atau UI studio untuk menyiapkan pemantauan model dengan mudah. Selama penyiapan, Anda dapat menentukan sinyal pemantauan pilihan Anda dan menyesuaikan metrik dan ambang batas untuk setiap sinyal.
3. Melihat dan menganalisis hasil pemantauan model. Setelah pemantauan model disiapkan, Azure Pembelajaran Mesin menjadwalkan pekerjaan pemantauan untuk dijalankan pada frekuensi yang Anda tentukan. Setiap eksekusi menghitung dan mengevaluasi metrik untuk semua sinyal pemantauan yang dipilih dan memicu pemberitahuan pemberitahuan ketika ambang batas yang ditentukan terlampaui. Anda dapat mengikuti tautan di pemberitahuan pemberitahuan untuk melihat dan menganalisis hasil pemantauan di ruang kerja Azure Pembelajaran Mesin Anda.

Kemampuan pemantauan model

Azure Pembelajaran Mesin menyediakan kemampuan berikut untuk pemantauan model berkelanjutan:

• Sinyal pemantauan bawaan. Pemantauan model menyediakan sinyal pemantauan bawaan untuk data tabular. Sinyal pemantauan ini mencakup penyimpangan data, penyimpangan prediksi, kualitas data, penyimpangan atribusi fitur, dan performa model.
• Penyiapan pemantauan model siap pakai dengan Titik akhir online Azure Pembelajaran Mesin. Jika Anda menyebarkan model ke produksi di titik akhir online Azure Pembelajaran Mesin, Azure Pembelajaran Mesin mengumpulkan data inferensi produksi secara otomatis dan menggunakannya untuk pemantauan berkelanjutan.
• Penggunaan beberapa sinyal pemantauan untuk tampilan yang luas. Anda dapat dengan mudah menyertakan beberapa sinyal pemantauan dalam satu penyiapan pemantauan. Untuk setiap sinyal pemantauan, Anda dapat memilih metrik pilihan Anda dan menyempurnakan ambang pemberitahuan.
• Penggunaan data pelatihan atau data produksi terakhir, sebagai data referensi untuk perbandingan. Untuk sinyal pemantauan, Azure Pembelajaran Mesin memungkinkan Anda mengatur data referensi menggunakan data pelatihan atau data produksi terbaru.
• Pemantauan fitur N teratas untuk penyimpangan data atau kualitas data. Jika Anda menggunakan data pelatihan sebagai data referensi, Anda dapat menentukan penyimpangan data atau sinyal kualitas data yang berlapis atas kepentingan fitur.
• Fleksibilitas untuk menentukan sinyal pemantauan Anda. Jika sinyal pemantauan bawaan tidak cocok untuk skenario bisnis Anda, Anda dapat menentukan sinyal pemantauan Anda sendiri dengan komponen sinyal pemantauan kustom.
• Fleksibilitas untuk menggunakan data inferensi produksi dari sumber apa pun. Jika Anda menyebarkan model di luar Azure Pembelajaran Mesin, atau jika Anda menyebarkan model ke titik akhir batch Azure Pembelajaran Mesin, Anda dapat mengumpulkan data inferensi produksi untuk digunakan di Azure Pembelajaran Mesin untuk pemantauan model.

Ukuran dan offset jendela lookback

Ukuran jendela lookback adalah durasi waktu (dalam format ISO 8601) untuk jendela data produksi atau referensi Anda, melihat kembali dari tanggal eksekusi pemantauan Anda.

Offset jendela lookback adalah durasi waktu (dalam format ISO 8601) untuk mengimbangi akhir jendela data Anda sejak tanggal eksekusi pemantauan Anda.

Misalnya, model Anda sedang dalam produksi dan Anda memiliki monitor yang diatur untuk dijalankan pada 31 Januari pukul 15.15 UTC, jika Anda mengatur ukuran P7D jendela lookback produksi (tujuh hari) untuk monitor dan offset P0D jendela lookback produksi (nol hari), monitor menggunakan data dari 24 Januari pukul 15.15 UTC hingga 31 Januari pukul 15.15 UTC (waktu monitor Anda berjalan) di jendela data.

Selain itu, untuk data referensi, jika Anda mengatur offset jendela lookback ke P7D (tujuh hari), jendela data referensi berakhir tepat sebelum jendela data produksi dimulai, sehingga tidak ada tumpang tindih. Anda kemudian dapat mengatur ukuran jendela lookback data referensi Anda menjadi sebesar yang Anda inginkan. Misalnya, dengan mengatur ukuran jendela lookback data referensi ke P24D (24 hari), jendela data referensi menyertakan data dari 1 Januari pukul 15.15 UTC hingga 24 Januari pukul 15.15 UTC. Gambar berikut mengilustrasikan contoh ini.

Dalam beberapa kasus, Anda mungkin merasa berguna untuk mengatur offset jendela lookback untuk data produksi Anda ke angka yang lebih besar dari nol hari. Misalnya, jika monitor Anda dijadwalkan untuk berjalan setiap minggu pada hari Senin pukul 15.15 UTC, tetapi Anda tidak ingin menggunakan data dari akhir pekan dalam eksekusi pemantauan, Anda dapat menggunakan ukuran P5D jendela lookback (lima hari) dan offset P2D jendela lookback (dua hari). Kemudian, jendela data Anda dimulai pada hari Senin sebelumnya pukul 15.15 UTC dan berakhir pada hari Jumat pukul 15.15 UTC.

Dalam praktiknya, Anda harus memastikan bahwa jendela data referensi dan jendela data produksi tidak tumpang tindih. Seperti yang ditunjukkan pada gambar berikut, Anda dapat memastikan jendela yang tidak tumpang tindih dengan memastikan bahwa offset jendela lookback data referensi (P10D atau 10 hari, dalam contoh ini) lebih besar atau sama dengan jumlah ukuran jendela lookback data produksi dan offset jendela lookback-nya (total tujuh hari).

Dengan pemantauan model Azure Pembelajaran Mesin, Anda dapat menggunakan default cerdas untuk ukuran jendela lookback dan offset jendela lookback, atau Anda dapat menyesuaikannya untuk memenuhi kebutuhan Anda. Selain itu, jendela bergulir dan jendela tetap didukung.

Menyesuaikan ukuran jendela lookback

Anda memiliki fleksibilitas untuk memilih ukuran jendela lookback untuk data produksi dan data referensi.

• Secara default, ukuran jendela lookback untuk data produksi adalah frekuensi pemantauan Anda. Artinya, semua data yang dikumpulkan dalam periode pemantauan sebelum pekerjaan pemantauan dijalankan akan dianalisis. Anda dapat menggunakan production_data.data_window.lookback_window_size properti untuk menyesuaikan jendela data bergulir untuk data produksi.

• Secara default, jendela lookback untuk data referensi adalah himpunan data lengkap. Anda dapat menggunakan reference_data.data_window.lookback_window_size properti untuk menyesuaikan ukuran jendela lookback referensi.

• Untuk menentukan jendela data tetap untuk data referensi, Anda dapat menggunakan properti reference_data.data_window.window_start_date dan reference_data.data_window.window_end_date.

Mengkustomisasi offset jendela lookback

Anda memiliki fleksibilitas untuk memilih offset jendela lookback untuk jendela data Anda untuk data produksi dan data referensi. Anda dapat menggunakan offset untuk kontrol terperinci atas data yang digunakan monitor Anda. Offset hanya berlaku untuk jendela data bergulir.

• Secara default, offset untuk data produksi adalah P0D (nol hari). Anda dapat mengubah offset ini dengan production_data.data_window.lookback_window_offset properti .

• Secara default, offset untuk data referensi adalah dua kali .production_data.data_window.lookback_window_size Pengaturan ini memastikan bahwa ada cukup data referensi untuk hasil pemantauan yang bermakna secara statistik. Anda dapat mengubah offset ini dengan reference_data.data_window.lookback_window_offset properti .

Memantau sinyal dan metrik

Pemantauan model Azure Pembelajaran Mesin mendukung daftar sinyal dan metrik pemantauan berikut:

Penting

Item yang ditandai (pratinjau) dalam artikel ini sedang dalam pratinjau publik. Versi pratinjau disediakan tanpa perjanjian tingkat layanan, dan tidak disarankan untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas. Untuk mengetahui informasi selengkapnya, lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure.

Sinyal pemantauan	Deskripsi	Metrik	Tugas model (format data yang didukung)	Data produksi	Data referensi
Penyimpangan data	Penyimpangan data melacak perubahan dalam distribusi data input model dengan membandingkan distribusi dengan data pelatihan model atau data produksi sebelumnya.	Jarak Jensen-Shannon, Indeks Stabilitas Populasi, Jarak Wasserstein Yang Dinormalisasi, Uji Kolmogorov-Smirnov Dua Sampel, Uji Chi-Squared Pearson	Klasifikasi (data tabular), Regresi (data tabular)	Data produksi - input model	Data produksi atau data pelatihan terbaru
Penyimpangan prediksi	Penyimpangan prediksi melacak perubahan dalam distribusi output model yang diprediksi, dengan membandingkan distribusi dengan data validasi, data pengujian berlabel, atau data produksi sebelumnya baru-baru ini.	Jarak Jensen-Shannon, Indeks Stabilitas Populasi, Jarak Wasserstein yang Dinormalisasi, Jarak Chebyshev, Uji Kolmogorov-Smirnov Dua Sampel, Tes Chi-Squared Pearson	Klasifikasi (data tabular), Regresi (data tabular)	Data produksi - output model	Data produksi atau data validasi terbaru
Kualitas data	Kualitas data melacak integritas data input model dengan membandingkannya dengan data pelatihan model atau data produksi terbaru. Pemeriksaan kualitas data termasuk memeriksa nilai null, ketidakcocokan jenis, atau nilai di luar batas.	Tingkat nilai null, tingkat kesalahan jenis data, tingkat di luar batas	Klasifikasi (data tabular), Regresi (data tabular)	data produksi - input model	Data produksi atau data pelatihan terbaru
Penyimpangan atribusi fitur (pratinjau)	Penyimpangan atribusi fitur didasarkan pada kontribusi fitur terhadap prediksi (juga dikenal sebagai kepentingan fitur). Penyimpangan atribusi fitur melacak kepentingan fitur selama produksi dengan membandingkannya dengan kepentingan fitur selama pelatihan.	Keuntungan kumulatif diskon yang dinormalisasi	Klasifikasi (data tabular), Regresi (data tabular)	Data produksi - input &output model	Data pelatihan (diperlukan)
Performa model - Klasifikasi (pratinjau)	Performa model melacak performa objektif output model dalam produksi dengan membandingkannya dengan data kebenaran dasar yang dikumpulkan.	Akurasi, Presisi, dan Pengenalan	Klasifikasi (data tabular)	Data produksi - output model	Data kebenaran dasar (diperlukan)
Performa model - Regresi (pratinjau)	Performa model melacak performa objektif output model dalam produksi dengan membandingkannya dengan data kebenaran dasar yang dikumpulkan.	Kesalahan Absolut Rata-Rata (MAE), Kesalahan Kuadrat Rata-Rata (MSE), Kesalahan Kuadrat Rata-Rata Akar (RMSE)	Regresi (data tabular)	Data produksi - output model	Data kebenaran dasar (diperlukan)
AI Generatif: Keamanan dan kualitas generasi (pratinjau)	Mengevaluasi aplikasi AI generatif untuk keamanan dan kualitas, menggunakan metrik yang dibantu GPT.	Groundedness, relevansi, kefasihan, kesamaan, koherensi	Pertanyaan & Jawaban	templat prompt, completion, context, dan anotasi	T/A

Metrik untuk sinyal pemantauan kualitas data

Sinyal pemantauan kualitas data melacak integritas data input model dengan menghitung tiga metrik:

• Laju nilai null
• Tingkat kesalahan jenis data
• Laju di luar batas

Laju nilai null

Tingkat nilai null adalah laju nilai null dalam input model untuk setiap fitur. Misalnya, jika jendela data produksi pemantauan berisi 100 baris dan nilai untuk fitur temperature tertentu null untuk 10 baris tersebut, tingkat nilai null adalah temperature 10%.

• Azure Pembelajaran Mesin mendukung pengkalkulasian laju nilai Null untuk semua jenis data fitur.

Tingkat kesalahan jenis data

Tingkat kesalahan jenis data adalah tingkat perbedaan jenis data antara jendela data produksi saat ini dan data referensi. Selama setiap pemantauan berjalan, pemantauan model Azure Pembelajaran Mesin menyimpulkan jenis data untuk setiap fitur dari data referensi. Misalnya, jika jenis data untuk fitur temperature disimpulkan berasal IntegerType dari data referensi, tetapi di jendela data produksi, 10 dari 100 nilai untuk temperature bukan IntegerType (mungkin string), maka tingkat kesalahan jenis data untuk temperature adalah 10%.

• Azure Pembelajaran Mesin mendukung pengkalkulasian tingkat kesalahan jenis data untuk jenis data berikut yang tersedia di PySpark: ShortType, , , BooleanTypeBinaryTypeDoubleType, TimestampType, StringType, IntegerType, , FloatType, ByteType, , LongType, dan .DateType
• Jika jenis data untuk fitur tidak terkandung dalam daftar ini, pemantauan model Azure Pembelajaran Mesin masih berjalan tetapi tidak akan menghitung tingkat kesalahan jenis data untuk fitur tertentu tersebut.

Laju di luar batas

Laju di luar batas adalah laju nilai untuk setiap fitur, yang berada di luar rentang atau set yang sesuai yang ditentukan oleh data referensi. Selama setiap pemantauan berjalan, pemantauan model Azure Pembelajaran Mesin menentukan rentang yang dapat diterima atau diatur untuk setiap fitur dari data referensi.

• Untuk fitur numerik, rentang yang sesuai adalah interval numerik dari nilai minimum dalam himpunan data referensi ke nilai maksimum, seperti [0, 100].
• Untuk fitur kategoris, seperti color, rentang yang sesuai adalah sekumpulan semua nilai yang terkandung dalam himpunan data referensi, seperti [red, yellow, green].

Misalnya, jika Anda memiliki fitur temperature numerik di mana semua nilai berada dalam rentang [37, 77] dalam himpunan data referensi, tetapi di jendela data produksi, 10 dari 100 nilai untuk temperature berada di luar rentang [37, 77], maka tingkat di luar batas untuk temperature adalah 10%.

• Azure Pembelajaran Mesin mendukung pengkalkulasian laju di luar batas untuk jenis data ini yang tersedia di PySpark: StringType, , IntegerTypeDoubleType, ByteType, LongType, dan FloatType.
• Jika jenis data untuk fitur tidak terkandung dalam daftar ini, pemantauan model Azure Pembelajaran Mesin masih berjalan tetapi tidak akan menghitung laju di luar batas untuk fitur tertentu tersebut.

Pemantauan model Azure Pembelajaran Mesin mendukung presisi hingga 0,00001 untuk perhitungan tingkat nilai null, tingkat kesalahan jenis data, dan tingkat di luar batas.

Praktik terbaik yang direkomendasikan untuk pemantauan model

Setiap model pembelajaran mesin dan kasus penggunaannya unik. Oleh karena itu, pemantauan model unik untuk setiap situasi. Berikut ini adalah daftar praktik terbaik yang direkomendasikan untuk pemantauan model:

• Mulai pemantauan model segera setelah Anda menyebarkan model ke produksi.
• Bekerja dengan ilmuwan data yang terbiasa dengan model untuk menyiapkan pemantauan model. Ilmuwan data yang memiliki wawasan tentang model dan kasus penggunaannya berada dalam posisi terbaik untuk merekomendasikan sinyal dan metrik pemantauan dan mengatur ambang pemberitahuan yang tepat untuk setiap metrik (untuk menghindari kelelahan pemberitahuan).
• Sertakan beberapa sinyal pemantauan dalam penyiapan pemantauan Anda. Dengan beberapa sinyal pemantauan, Anda mendapatkan tampilan yang luas dan tampilan pemantauan yang terperinci. Misalnya, Anda dapat menggabungkan drift data dan sinyal penyimpangan atribusi fitur untuk mendapatkan peringatan dini tentang masalah performa model Anda.
• Gunakan data pelatihan model sebagai data referensi. Untuk data referensi yang digunakan sebagai garis besar perbandingan, Azure Pembelajaran Mesin memungkinkan Anda menggunakan data produksi sebelumnya atau data historis (seperti data pelatihan atau data validasi). Untuk perbandingan yang bermakna, kami sarankan Anda menggunakan data pelatihan sebagai garis besar perbandingan untuk penyimpangan data dan kualitas data. Untuk penyimpangan prediksi, gunakan data validasi sebagai garis besar perbandingan.
• Tentukan frekuensi pemantauan, berdasarkan bagaimana data produksi Anda akan tumbuh dari waktu ke waktu. Misalnya, jika model produksi Anda memiliki banyak lalu lintas setiap hari, dan akumulasi data harian cukup bagi Anda untuk memantau, maka Anda dapat mengatur frekuensi pemantauan ke harian. Jika tidak, Anda dapat mempertimbangkan frekuensi pemantauan mingguan atau bulanan, berdasarkan pertumbuhan data produksi Anda dari waktu ke waktu.
• Pantau fitur penting N teratas atau subset fitur. Jika Anda menggunakan data pelatihan sebagai garis besar perbandingan, Anda dapat dengan mudah mengonfigurasi pemantauan penyimpangan data atau pemantauan kualitas data untuk fitur N teratas. Untuk model yang memiliki sejumlah besar fitur, pertimbangkan untuk memantau subset fitur tersebut untuk mengurangi biaya komputasi dan memantau kebisingan.
• Gunakan sinyal performa model saat Anda memiliki akses ke data kebenaran dasar. Jika Anda memiliki akses ke data kebenaran dasar (juga dikenal sebagai aktual) berdasarkan khusus aplikasi pembelajaran mesin Anda, kami sarankan Anda menggunakan sinyal performa model untuk membandingkan data kebenaran dasar dengan output model Anda. Perbandingan ini memberikan tampilan objektif ke dalam performa model Anda dalam produksi.

Integrasi pemantauan model dengan Azure Event Grid

Anda dapat menggunakan peristiwa yang dihasilkan oleh eksekusi pemantauan model Azure Pembelajaran Mesin untuk menyiapkan aplikasi, proses, atau alur kerja CI/CD berbasis peristiwa dengan Azure Event Grid.

Saat pemantau model mendeteksi penyimpangan, masalah kualitas data, atau penurunan performa model, Anda dapat melacak peristiwa ini dengan Event Grid dan mengambil tindakan secara terprogram. Misalnya, jika akurasi model klasifikasi Anda dalam penurunan produksi di bawah ambang batas tertentu, Anda dapat menggunakan Event Grid untuk memulai pekerjaan pelatihan ulang yang menggunakan data kebenaran dasar yang dikumpulkan. Untuk mempelajari cara mengintegrasikan Azure Pembelajaran Mesin dengan Event Grid, lihat Melakukan pemantauan model berkelanjutan di Azure Pembelajaran Mesin.

Konten terkait

• Pengumpulan data model
• Mengumpulkan data inferensi produksi
• Pemantauan model untuk aplikasi AI generatif