Menilai kesalahan dalam model pembelajaran mesin

Salah satu tantangan terbesar dengan praktik penelusuran kesalahan model saat ini adalah menggunakan metrik agregat untuk menilai model pada himpunan data tolok ukur. Akurasi model mungkin tidak seragam di seluruh subgrup data, dan mungkin ada kohor input yang modelnya lebih sering gagal. Konsekuensi langsung dari kegagalan ini adalah kurangnya keandalan dan keamanan, munculnya masalah kewajaran, dan hilangnya kepercayaan pada pembelajaran mesin sama sekali.

Analisis kesalahan menjauh dari metrik akurasi agregat. Ini mengekspos distribusi kesalahan kepada pengembang dengan cara yang transparan, dan memungkinkan mereka mengidentifikasi dan mendiagnosis kesalahan secara efisien.

Komponen analisis kesalahan dasbor AI Yang Bertanggung Jawab memberi praktisi pembelajaran mesin pemahaman yang lebih mendalam tentang distribusi kegagalan model dan membantu mereka mengidentifikasi kohor data yang salah dengan cepat. Komponen ini mengidentifikasi kohor data dengan tingkat kesalahan yang lebih tinggi versus tingkat kesalahan tolok ukur keseluruhan. Ini berkontribusi pada tahap identifikasi alur kerja siklus hidup model melalui:

• Pohon keputusan yang mengungkapkan kohor dengan tingkat kesalahan tinggi.
• Peta panas yang memvisualisasikan bagaimana fitur input memengaruhi tingkat kesalahan di seluruh kohor.

Perbedaan dalam kesalahan mungkin terjadi ketika sistem kurang berfungsi untuk grup demografis tertentu atau kohor input yang jarang diamati dalam data pelatihan.

Kemampuan komponen ini berasal dari paket Analisis Kesalahan , yang menghasilkan profil kesalahan model.

Gunakan analisis kesalahan saat Anda perlu:

• Dapatkan pemahaman mendalam tentang bagaimana kegagalan model didistribusikan di seluruh himpunan data dan di beberapa dimensi input dan fitur.
• Uraikan metrik performa agregat untuk menemukan kohor yang salah secara otomatis untuk menginformasikan langkah-langkah mitigasi yang Ditargetkan.

Pohon kesalahan

Seringkali, pola kesalahan rumit dan melibatkan lebih dari satu atau dua fitur. Pengembang mungkin mengalami kesulitan menjelajahi semua kemungkinan kombinasi fitur untuk menemukan kantong data tersembunyi dengan kegagalan kritis.

Untuk meringankan beban, visualisasi pohon biner secara otomatis mempartisi data tolok ukur ke dalam subgrup yang dapat ditafsirkan yang memiliki tingkat kesalahan yang tinggi atau rendah secara tak terduga. Dengan kata lain, pohon tersebut menggunakan fitur input untuk memisahkan kesalahan model secara maksimal dari keberhasilan. Untuk setiap simpul yang menentukan subgrup data, pengguna dapat menyelidiki informasi berikut:

• Tingkat kesalahan: Sebagian instans dalam simpul yang modelnya salah. Ini ditunjukkan melalui intensitas warna merah.
• Cakupan kesalahan: Sebagian dari semua kesalahan yang termasuk dalam simpul. Ini ditunjukkan melalui tingkat pengisian simpul.
• Representasi data: Jumlah instans di setiap simpul pohon kesalahan. Ini ditunjukkan melalui ketebalan tepi masuk ke simpul, bersama dengan jumlah total instans dalam simpul.

Peta panas kesalahan

Tampilan mengiris data berdasarkan kisi satu dimensi atau dua dimensi fitur input. Pengguna dapat memilih fitur input yang menarik untuk dianalisis.

Peta panas memvisualisasikan sel dengan kesalahan tinggi dengan menggunakan warna merah yang lebih gelap untuk membawa perhatian pengguna ke wilayah tersebut. Fitur ini sangat bermanfaat ketika tema kesalahan berbeda di seluruh partisi, yang sering terjadi dalam praktiknya. Dalam tampilan identifikasi kesalahan ini, analisis sangat dipandu oleh pengguna dan pengetahuan atau hipotesis mereka tentang fitur apa yang mungkin paling penting untuk memahami kegagalan.

Langkah berikutnya

• Pelajari cara menghasilkan dasbor AI yang Bertanggung Jawab melalui CLI dan SDK atau UI studio Azure Machine Learning.
• Jelajahi visualisasi analisis kesalahan yang didukung.
• Pelajari cara membuat Kartu skor AI yang bertanggung jawab berdasarkan wawasan dalam dasbor AI yang bertanggung jawab.