Menilai sistem AI dengan menggunakan dasbor AI yang bertanggung jawab
Menerapkan Responsible AI dalam praktiknya membutuhkan rekayasa yang ketat. Tetapi rekayasa yang ketat bisa melelahkan, manual, dan memakan waktu tanpa alat dan infrastruktur yang tepat.
Dasbor AI Yang Bertanggung Jawab menyediakan satu antarmuka untuk membantu Anda menerapkan AI Bertanggung Jawab dalam praktiknya secara efektif dan efisien. Ini menyatukan beberapa alat AI Bertanggung Jawab yang matang di bidang:
- Penilaian performa dan kewajaran model
- Eksplorasi data
- Interpretasi pembelajaran mesin
- Analisis kesalahan
- Analisis dan perturbasi counterfactual
- Inferensi kausal
Dasbor menawarkan penilaian holistik dan penelusuran kesalahan model sehingga Anda dapat membuat keputusan berbasis data berdasarkan informasi. Memiliki akses ke semua alat ini dalam satu antarmuka memberdayakan Anda untuk:
Evaluasi dan debug model pembelajaran mesin Anda dengan mengidentifikasi kesalahan model dan masalah kewajaran, mendiagnosis mengapa kesalahan tersebut terjadi, dan menginformasikan langkah-langkah mitigasi Anda.
Tingkatkan kemampuan pengambilan keputusan berbasis data Anda dengan menjawab pertanyaan seperti:
"Apa perubahan minimum yang dapat diterapkan pengguna pada fitur mereka untuk mendapatkan hasil yang berbeda dari model?"
"Apa efek penyebab mengurangi atau meningkatkan fitur (misalnya, konsumsi daging merah) pada hasil dunia nyata (misalnya, perkembangan diabetes)?"
Anda dapat menyesuaikan dasbor untuk menyertakan hanya subset alat yang relevan dengan kasus penggunaan Anda.
Dasbor AI yang bertanggung jawab disertai dengan kartu skor PDF. Kartu skor memungkinkan Anda mengekspor metadata dan wawasan AI yang bertanggung jawab ke dalam data dan model Anda. Anda kemudian dapat membagikannya secara offline dengan pemangku kepentingan produk dan kepatuhan.
Komponen dasbor AI yang Bertanggung Jawab
Dasbor AI yang bertanggung jawab menyaingkan, dalam tampilan yang komprehensif, berbagai alat baru dan yang sudah ada sebelumnya. Dasbor mengintegrasikan alat-alat ini dengan Azure Pembelajaran Mesin CLI v2, Azure Pembelajaran Mesin Python SDK v2, dan studio Azure Pembelajaran Mesin. Alat-alat tersebut meliputi:
- Analisis data, untuk memahami dan menjelajahi distribusi dan statistik himpunan data Anda.
- Gambaran umum model dan penilaian kewajaran, untuk mengevaluasi performa model Anda dan mengevaluasi masalah kewajaran grup model Anda (bagaimana prediksi model Anda memengaruhi beragam kelompok orang).
- Analisis kesalahan, untuk melihat dan memahami bagaimana kesalahan didistribusikan dalam himpunan data Anda.
- Interpretabilitas model (nilai kepentingan untuk fitur agregat dan individual), untuk memahami prediksi model Anda dan bagaimana prediksi keseluruhan dan individual tersebut dibuat.
- Bagaimana-jika kontrafaktual, untuk mengamati bagaimana perturbasi fitur akan memengaruhi prediksi model Anda sambil menyediakan titik data terdekat dengan prediksi model yang berlawanan atau berbeda.
- Analisis kausal, untuk menggunakan data historis untuk melihat efek penyebab fitur perawatan pada hasil dunia nyata.
Bersama-sama, alat-alat ini akan membantu Anda men-debug model pembelajaran mesin, sambil menginformasikan keputusan bisnis berbasis data dan berbasis model Anda. Diagram berikut menunjukkan bagaimana Anda dapat memasukkannya ke dalam siklus hidup AI Anda untuk meningkatkan model Anda dan mendapatkan wawasan data yang solid.
Penelusuran kesalahan model
Menilai dan men-debug model pembelajaran mesin sangat penting untuk keandalan model, interpretasi, kewajaran, dan kepatuhan. Ini membantu menentukan bagaimana dan mengapa sistem AI berulah seperti yang mereka lakukan. Anda kemudian dapat menggunakan pengetahuan ini untuk meningkatkan performa model. Secara konseptual, penelusuran kesalahan model terdiri dari tiga tahap:
Identifikasi, untuk memahami dan mengenali kesalahan model dan/atau masalah kewajaran dengan mengatasi pertanyaan berikut:
"Jenis kesalahan apa yang dimiliki model saya?"
"Di area mana kesalahan paling umum?"
Diagnosis, untuk menjelajahi alasan di balik kesalahan yang diidentifikasi dengan mengatasi:
"Apa penyebab kesalahan ini?"
"Di mana saya harus memfokuskan sumber daya saya untuk meningkatkan model saya?"
Mitigasi, untuk menggunakan wawasan identifikasi dan diagnosis dari tahap sebelumnya untuk mengambil langkah-langkah mitigasi yang ditargetkan dan mengatasi pertanyaan seperti:
"Bagaimana cara meningkatkan model saya?"
"Solusi sosial atau teknis apa yang ada untuk masalah ini?"
Tabel berikut ini menjelaskan kapan harus menggunakan komponen dasbor AI yang bertanggung jawab untuk mendukung penelusuran kesalahan model:
| Tahap | Komponen | Deskripsi |
|---|---|---|
| Identifikasi | Analisis kesalahan | Komponen analisis kesalahan membantu Anda mendapatkan pemahaman yang lebih mendalam tentang distribusi kegagalan model dan dengan cepat mengidentifikasi kohor (subgrup) data yang salah. Kemampuan komponen ini di dasbor berasal dari paket Analisis Kesalahan. |
| Identifikasi | Analisis kewajaran | Komponen kewajaran mendefinisikan kelompok dalam hal atribut sensitif seperti seks, ras, dan usia. Kemudian menilai bagaimana prediksi model Anda memengaruhi grup ini dan bagaimana Anda dapat mengurangi perbedaan. Ini mengevaluasi performa model Anda dengan menjelajahi distribusi nilai prediksi Anda dan nilai metrik performa model Anda di seluruh grup. Kemampuan komponen ini di dasbor berasal dari paket Fairlearn . |
| Identifikasi | Ringkasan model | Komponen gambaran umum model menggabungkan metrik penilaian model dalam tampilan tingkat tinggi distribusi prediksi model untuk penyelidikan performanya yang lebih baik. Komponen ini juga memungkinkan penilaian kewajaran grup dengan menyoroti perincian performa model di seluruh grup sensitif. |
| Mendiagnosa | Analisis data | Analisis data memvisualisasikan himpunan data berdasarkan hasil yang diprediksi dan aktual, grup kesalahan, dan fitur tertentu. Anda kemudian dapat mengidentifikasi masalah overrepresentation dan underrepresentation, bersama dengan melihat bagaimana data diklusterkan dalam himpunan data. |
| Diagnosis | Interpretabilitas model | Komponen interpretabilitas menghasilkan penjelasan yang dapat dipahami manusia tentang prediksi model pembelajaran mesin. Ini menyediakan beberapa tampilan ke dalam perilaku model: - Penjelasan global (misalnya, fitur mana yang memengaruhi perilaku keseluruhan model alokasi pinjaman) - Penjelasan lokal (misalnya, mengapa aplikasi pinjaman pemohon disetujui atau ditolak) Kemampuan komponen ini di dasbor berasal dari paket InterpretML . |
| Diagnosis | Analisis kontrafaktual dan bagaimana-jika | Komponen ini terdiri dari dua fungsionalitas untuk diagnosis kesalahan yang lebih baik: - Menghasilkan serangkaian contoh di mana perubahan minimal pada titik tertentu mengubah prediksi model. Artinya, contoh menunjukkan titik data terdekat dengan prediksi model yang berlawanan. - Mengaktifkan perturbasi bagaimana-jika interaktif dan kustom untuk poin data individual untuk memahami bagaimana model bereaksi terhadap perubahan fitur. Kemampuan komponen ini di dasbor berasal dari paket DiCE . |
Langkah-langkah mitigasi tersedia melalui alat mandiri seperti Fairlearn. Untuk informasi selengkapnya, lihat algoritma mitigasi ketidakwajaran.
Pengambilan keputusan yang bertanggung jawab
Pengambilan keputusan adalah salah satu janji terbesar pembelajaran mesin. Dasbor AI yang bertanggung jawab dapat membantu Anda membuat keputusan bisnis berdasarkan informasi melalui:
Wawasan berbasis data, untuk lebih memahami efek perawatan penyebab pada hasil dengan menggunakan data historis saja. Contohnya:
"Bagaimana obat akan mempengaruhi tekanan darah pasien?"
"Bagaimana memberikan nilai promosi kepada pelanggan tertentu memengaruhi pendapatan?"
Wawasan ini disediakan melalui komponen inferensi kausal dasbor.
Wawasan berbasis model, untuk menjawab pertanyaan pengguna (seperti “apa yang dapat saya lakukan untuk mendapatkan hasil yang berbeda dari AI Anda di lain waktu?”) sehingga mereka bisa mengambil tindakan. Wawasan ini diberikan kepada ilmuwan data melalui komponen bagaimana-jika kontrafaktual.
Kemampuan analisis data eksploratif, inferensi kausal, dan analisis counterfaktual dapat membantu Anda membuat keputusan berbasis model dan berbasis data secara bertanggung jawab.
Komponen dasbor AI yang bertanggung jawab ini mendukung pengambilan keputusan yang bertanggung jawab:
Analisis data: Anda dapat menggunakan kembali komponen analisis data di sini untuk memahami distribusi data dan mengidentifikasi representasi dan kurang terwapresentasi. Eksplorasi data adalah bagian penting dari pengambilan keputusan, karena tidak layak untuk membuat keputusan berdasarkan informasi tentang kohor yang kurang terwakili dalam data.
Inferensi kausal: Komponen inferensi penyebab memperkirakan bagaimana hasil dunia nyata berubah di hadapan intervensi. Ini juga membantu membangun intervensi yang menjanjikan dengan mensimulasikan respons fitur terhadap berbagai intervensi dan membuat aturan untuk menentukan kohor populasi mana yang akan mendapat manfaat dari intervensi tertentu. Secara kolektif, fungsionalitas ini memungkinkan Anda menerapkan kebijakan baru dan memengaruhi perubahan dunia nyata.
Kemampuan komponen ini berasal dari paket EconML , yang memperkirakan efek perawatan heterogen dari data pengamatan melalui pembelajaran mesin.
Analisis counterfactual: Anda dapat menggunakan kembali komponen analisis counterfactual di sini untuk menghasilkan perubahan minimum yang diterapkan pada fitur titik data yang mengarah ke prediksi model yang berlawanan. Misalnya: Taylor akan mendapatkan persetujuan pinjaman dari AI jika mereka mendapatkan $ 10.000 lebih dalam pendapatan tahunan dan memiliki dua kartu kredit yang lebih sedikit terbuka.
Memberikan informasi ini kepada pengguna menginformasikan perspektif mereka. Ini mendidik mereka tentang bagaimana mereka dapat mengambil tindakan untuk mendapatkan hasil yang diinginkan dari AI di masa depan.
Kemampuan komponen ini berasal dari paket DiCE .
Alasan untuk menggunakan dasbor AI yang Bertanggung Jawab
Meskipun kemajuan telah dibuat pada alat individual untuk area tertentu dari Responsible AI, ilmuwan data sering kali perlu menggunakan berbagai alat untuk mengevaluasi model dan data mereka secara holistik. Misalnya: mereka mungkin harus menggunakan interpretasi model dan penilaian kewajaran bersama-sama.
Jika ilmuwan data menemukan masalah kewajaran dengan satu alat, mereka kemudian perlu melompat ke alat yang berbeda untuk memahami faktor data atau model apa yang terletak pada akar masalah sebelum mengambil langkah-langkah tentang mitigasi. Faktor-faktor berikut semakin mempersulit proses menantang ini:
- Tidak ada lokasi pusat untuk menemukan dan mempelajari tentang alat,memperpanjang waktu yang diperlukan untuk meneliti dan mempelajari teknik baru.
- Alat yang berbeda tidak berkomunikasi satu sama lain. Ilmuwan data harus membungkus himpunan data, model, dan metadata lainnya saat mereka meneruskannya di antara alat.
- Metrik dan visualisasi tidak mudah dibandingkan, dan hasilnya sulit dibagikan.
Dasbor AI yang bertanggung jawab menantang status quo ini. Ini adalah alat komprehensif namun dapat disesuaikan yang menyatukan pengalaman terfragmentasi di satu tempat. Ini memungkinkan Anda untuk melakukan onboarding dengan mulus ke satu kerangka kerja yang dapat disesuaikan untuk penelusuran kesalahan model dan pengambilan keputusan berbasis data.
Dengan menggunakan dasbor AI Bertanggung Jawab, Anda dapat membuat kohor himpunan data, meneruskan kohor tersebut ke semua komponen yang didukung, dan mengamati kesehatan model Anda untuk kohor yang diidentifikasi. Anda selanjutnya dapat membandingkan wawasan dari semua komponen yang didukung di berbagai kohor bawaan untuk melakukan analisis yang tidak diagregasi dan menemukan titik buta model Anda.
Ketika Anda siap untuk berbagi wawasan tersebut dengan pemangku kepentingan lain, Anda dapat mengekstraknya dengan mudah dengan menggunakan kartu skor PDF AI yang Bertanggung Jawab. Lampirkan laporan PDF ke laporan kepatuhan Anda, atau bagikan dengan kolega untuk membangun kepercayaan dan mendapatkan persetujuan mereka.
Cara menyesuaikan dasbor AI yang Bertanggung Jawab
Kekuatan dasbor AI yang bertanggung jawab terletak pada penyesuaiannya. Ini memberdayakan pengguna untuk merancang debugging model end-to-end yang disesuaikan dan alur kerja pengambilan keputusan yang memenuhi kebutuhan khusus mereka.
Butuh inspirasi? Berikut adalah beberapa contoh bagaimana komponen dasbor dapat disatukan untuk menganalisis skenario dengan berbagai cara:
| Alur dasbor AI yang bertanggung jawab | Gunakan huruf besar |
|---|---|
| Analisis data analisis > kesalahan gambaran umum > model | Untuk mengidentifikasi kesalahan model dan mendiagnosisnya dengan memahami distribusi data yang mendasar |
| Analisis data penilaian > kewajaran gambaran umum > model | Untuk mengidentifikasi masalah kewajaran model dan mendiagnosisnya dengan memahami distribusi data yang mendasar |
| Analisis analisis kesalahan analisis > kesalahan model > dan bagaimana-jika | Untuk mendiagnosis kesalahan dalam instans individual dengan analisis kontrafaktual (perubahan minimum untuk mengarah ke prediksi model yang berbeda) |
| Analisis data gambaran umum > model | Untuk memahami akar penyebab kesalahan dan masalah kewajaran yang diperkenalkan melalui ketidakseimbangan data atau kurangnya representasi kohor data tertentu |
| Kemampuan interpretasi gambaran umum > model | Untuk mendiagnosis kesalahan model melalui pemahaman bagaimana model telah membuat prediksinya |
| Inferensi penyebab analisis > data | Untuk membedakan antara korelasi dan penyebab dalam data atau memutuskan perawatan terbaik untuk diterapkan untuk mendapatkan hasil positif |
| Inferensi penyebab interpretasi > | Untuk mempelajari apakah faktor-faktor yang telah digunakan model untuk pembuatan prediksi memiliki efek penyebab pada hasil dunia nyata |
| Analisis kontrafaktual analisis > data dan bagaimana-jika | Untuk menjawab pertanyaan pelanggan tentang apa yang dapat mereka lakukan di lain waktu untuk mendapatkan hasil yang berbeda dari sistem AI |
Orang siapa yang harus menggunakan dasbor AI yang Bertanggung Jawab
Orang-orang berikut dapat menggunakan dasbor AI yang bertanggung jawab, dan kartu skor AI bertanggung jawab yang sesuai, untuk membangun kepercayaan dengan sistem AI:
- Profesional pembelajaran mesin dan ilmuwan data yang tertarik untuk men-debug dan meningkatkan model pembelajaran mesin mereka sebelum penyebaran
- Profesional pembelajaran mesin dan ilmuwan data yang tertarik untuk berbagi catatan kesehatan model mereka dengan manajer produk dan pemangku kepentingan bisnis untuk membangun kepercayaan dan menerima izin penyebaran
- Manajer produk dan pemangku kepentingan bisnis yang meninjau model pembelajaran mesin sebelum penyebaran
- Petugas risiko yang meninjau model pembelajaran mesin untuk memahami masalah kewajaran dan keandalan
- Penyedia solusi AI yang ingin menjelaskan keputusan model kepada pengguna atau membantu mereka meningkatkan hasil
- Profesional di ruang yang sangat diatur yang perlu meninjau model pembelajaran mesin dengan regulator dan auditor
Skenario dan batasan yang didukung
- Dasbor AI bertanggung jawab saat ini mendukung model regresi dan klasifikasi (biner dan multi-kelas) yang dilatih pada data terstruktur tabular.
- Dasbor AI Bertanggung Jawab saat ini mendukung model MLflow yang terdaftar di Azure Pembelajaran Mesin hanya dengan rasa sklearn (scikit-learn). Model scikit-learn harus menerapkan
predict()/predict_proba()metode, atau model harus dibungkus dalam kelas yang menerapkanpredict()/predict_proba()metode. Model harus dapat dimuat di lingkungan komponen dan harus dapat dipilih. - Dasbor AI yang bertanggung jawab saat ini memvisualisasikan hingga 5K titik data Anda di antarmuka pengguna dasbor. Anda harus melakukan downsample himpunan data Anda ke 5K atau kurang sebelum meneruskannya ke dasbor.
- Input himpunan data ke dasbor AI yang Bertanggung Jawab harus berupa Pandas DataFrames dalam format Parquet. Data jarang NumPy dan SciPy saat ini tidak didukung.
- Dasbor AI yang bertanggung jawab saat ini mendukung fitur numerik atau kategoris. Untuk fitur kategoris, pengguna harus secara eksplisit menentukan nama fitur.
- Dasbor AI yang bertanggung jawab saat ini tidak mendukung himpunan data dengan lebih dari 10K kolom.
- Dasbor AI yang bertanggung jawab saat ini tidak mendukung model AutoML MLFlow.
- Dasbor AI yang bertanggung jawab saat ini tidak mendukung model AutoML terdaftar dari UI.
Langkah berikutnya
- Pelajari cara menghasilkan dasbor AI yang Bertanggung Jawab melalui CLI dan SDK atau UI studio Azure Machine Learning.
- Pelajari cara menghasilkan kartu skor AI yang Bertanggung Jawab berdasarkan wawasan yang diamati di dasbor AI yang bertanggung jawab.