Membuat wawasan AI yang Bertanggung Jawab di antarmuka pengguna studio

Dalam artikel ini, Anda membuat dasbor AI yang Bertanggung Jawab dan kartu skor (pratinjau) dengan pengalaman tanpa kode di antarmuka pengguna studio Azure Pembelajaran Mesin.

Penting

Fitur ini masih dalam pratinjau umum. Versi pratinjau ini disediakan tanpa perjanjian tingkat layanan, dan tidak disarankan untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas.

Untuk mengetahui informasi selengkapnya, lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure.

Untuk mengakses wizard pembuatan dasbor dan menghasilkan dasbor AI yang Bertanggung Jawab, lakukan hal berikut:

1. Daftarkan model Anda di Azure Machine Learning sehingga Anda dapat mengakses pengalaman tanpa kode.

2. Di panel kiri studio Azure Machine Learning, pilih tab Model.

3. Pilih model terdaftar yang ingin Anda buatkan wawasan Responsible AI dan pilih tab Detail.

4. Pilih Buat dasbor Responsible AI (pratinjau).

   

Untuk mempelajari lebih lanjut jenis dan batasan model yang didukung di dasbor AI yang bertanggung jawab, lihat skenario dan batasan yang didukung.

Wizard dirancang untuk menyediakan antarmuka untuk memasukkan semua parameter yang diperlukan untuk membuat instans dasbor Responsible AI Anda tanpa harus menyentuh kode. Pengalaman berlangsung sepenuhnya di antarmuka pengguna studio Azure Machine Learning. Studio menyajikan alur terpandu dan teks instruksional untuk membantu mengkontekstualisasikan berbagai pilihan tentang komponen AI bertanggung jawab yang ingin Anda isi dasbor Anda.

Wizard dibagi menjadi lima langkah:

1. Himpunan data pelatihan
2. Himpunan data pengujian
3. Tugas pemodelan
4. Komponen dasbor
5. Parameter komponen
6. Konfigurasi percobaan

Pilih himpunan data Anda

Di dua bagian pertama, Anda memilih himpunan data pelatihan dan pengujian yang Anda gunakan saat melatih model untuk menghasilkan wawasan penelusuran kesalahan model. Untuk komponen seperti analisis kausal, yang tidak memerlukan model, himpunan data pelatihan akan digunakan untuk melatih model kausal untuk menghasilkan insight kausal.

Catatan

Hanya format himpunan data tabular dalam Tabel ML yang didukung.

1. Pilih himpunan data untuk pelatihan: Dalam daftar himpunan data terdaftar di ruang kerja Azure Pembelajaran Mesin, pilih himpunan data yang ingin Anda gunakan untuk menghasilkan wawasan AI yang Bertanggung Jawab untuk komponen, seperti penjelasan model dan analisis kesalahan.

   

2. Pilih himpunan data untuk pengujian: Dalam daftar himpunan data terdaftar, pilih himpunan data yang ingin Anda gunakan untuk mengisi visualisasi dasbor AI yang Bertanggung Jawab.

   

3. Jika himpunan data pelatihan atau pengujian yang ingin Anda gunakan tidak tercantum, pilih Buat untuk mengunggahnya.

Pilih tugas pemodelan Anda

Setelah Anda memilih himpunan data, pilih jenis tugas pemodelan Anda, seperti yang diperlihatkan dalam gambar berikut:

Pilih komponen dasbor Anda

Dasbor Responsible AI menawarkan dua profil untuk serangkaian alat yang direkomendasikan yang dapat Anda buat:

• Penelusuran kesalahan model: Memahami dan men-debug kohor data yang salah dalam model pembelajaran mesin Anda menggunakan Analisis kesalahan, contoh bagaimana-jika counterfactual, dan penjelasan model.

• Intervensi kehidupan nyata: Memahami dan men-debug kohor data yang salah dalam model pembelajaran mesin Anda menggunakan analisis kausal.

  Catatan

  Klasifikasi multi-kelas tidak mendukung profil analisis intervensi kehidupan nyata.

1. Pilih profil yang ingin Anda gunakan.
2. Pilih Selanjutnya.

Konfigurasikan parameter untuk komponen dasbor

Setelah Anda memilih profil, parameter Komponen untuk panel konfigurasi penelusuran kesalahan model untuk komponen terkait muncul.

Parameter komponen untuk penelusuran kesalahan model:

1. Fitur target (diperlukan): Tentukan fitur yang dilatih model Anda untuk diprediksi.

2. Fitur kategoris: Tunjukkan fitur mana yang bersifat kategoris untuk dirender dengan benar sebagai nilai kategoris di antarmuka pengguna dasbor. Ini telah dimuat sebelumnya untuk Anda berdasarkan metadata himpunan data Anda.

3. Buat pohon kesalahan dan peta panas: Aktifkan dan nonaktifkan untuk membuat komponen analisis kesalahan untuk dasbor Responsible AI Anda.

4. Fitur untuk peta panas kesalahan: Pilih hingga dua fitur untuk membuat peta panas kesalahan sebelumnya.

5. Konfigurasi tingkat lanjut: Tentukan parameter tambahan, seperti Kedalaman maksimum pohon kesalahan, Jumlah daun di pohon kesalahan, dan Jumlah minimum sampel di setiap node daun.

6. Buat contoh bagaimana-jika counterfactual: Aktifkan dan nonaktifkan untuk membuat komponen bagaimana-jika counterfactual untuk dasbor Responsible AI Anda.

7. Jumlah kontrafaktual (wajib): Tentukan jumlah contoh kontrafaktual yang ingin Anda buat per poin data. Minimal 10 harus dihasilkan untuk mengaktifkan tampilan bagan batang dari rata-rata fitur mana yang paling diganggu, untuk mencapai prediksi yang diinginkan.

8. Rentang prediksi nilai (diperlukan): Tentukan untuk skenario regresi rentang yang Anda inginkan untuk contoh counterfactual yang memiliki nilai prediksi. Untuk skenario klasifikasi biner, secara otomatis akan diatur untuk menghasilkan kontrafaktual untuk kelas yang berlawanan dari setiap poin data. Untuk skenario multi-klasifikasi, gunakan daftar dropdown untuk menentukan kelas mana yang Anda inginkan untuk memprediksi setiap poin data.

9. Tentukan fitur yang akan diganggu: Secara default, semua fitur akan diganggu. Namun, jika Anda hanya ingin fitur tertentu diganggu, pilih Tentukan fitur mana yang akan diganggu untuk menghasilkan penjelasan counterfactual untuk menampilkan panel dengan daftar fitur yang akan dipilih.

   Saat Anda memilih Tentukan fitur yang akan diganggu, Anda dapat menentukan rentang mana yang ingin Anda izinkan gangguan. Misalnya: untuk fitur YOE (Tahun pengalaman), tentukan bahwa counterfactuals hanya boleh memiliki nilai fitur mulai dari 10 hingga 21, bukan default 5 hingga 21.

   

10. Buat penjelasan: Aktifkan dan nonaktifkan untuk membuat komponen penjelasan model untuk dasbor AI Bertanggung Jawab Anda. Tidak ada konfigurasi yang diperlukan karena penjelas mimik kotak opaque default akan digunakan untuk menghasilkan fitur yang penting.

Atau, jika Anda memilih profil Intervensi kehidupan nyata, Anda akan melihat layar berikut menghasilkan analisis kausal . Ini akan membantu Anda memahami efek penyebab fitur yang ingin Anda "obati" pada hasil tertentu yang ingin Anda optimalkan.

Parameter komponen untuk intervensi kehidupan nyata menggunakan analisis kausal. Lakukan:

1. Fitur target (wajib): Pilih hasil yang Anda inginkan untuk menghitung efek kausal.
2. Fitur perawatan (diperlukan): Pilih satu atau beberapa fitur yang Anda minati untuk mengubah ("memperlakukan") untuk mengoptimalkan hasil target.
3. Fitur kategoris: Tunjukkan fitur mana yang bersifat kategoris untuk dirender dengan benar sebagai nilai kategoris di antarmuka pengguna dasbor. Ini telah dimuat sebelumnya untuk Anda berdasarkan metadata himpunan data Anda.
4. Setelan lanjutan: Tentukan parameter tambahan untuk analisis kausal Anda seperti fitur heterogen (fitur tambahan untuk memahami segmentasi kausal dalam analisis Anda selain fitur pengobatan Anda) dan model kausal mana yang ingin Anda gunakan.

Konfigurasikan percobaan Anda

Terakhir, konfigurasikan eksperimen Anda untuk memulai pekerjaan guna menghasilkan dasbor AI Bertanggung Jawab Anda.

Pada panel Konfigurasi pekerjaan Pelatihan atau Eksperimen, lakukan hal berikut:

1. Nama: Beri dasbor Anda nama yang unik sehingga Anda dapat membedakannya saat melihat daftar dasbor untuk model tertentu.
2. Nama eksperimen: Pilih eksperimen yang ada untuk menjalankan tugas, atau buat eksperimen baru.
3. Eksperimen yang ada: Di daftar dropdown, pilih eksperimen yang ada.
4. Pilih jenis komputasi: Tentukan jenis komputasi yang ingin Anda gunakan untuk menjalankan pekerjaan Anda.
5. Pilih komputasi: Di daftar dropdown, pilih komputasi yang ingin Anda gunakan. Jika tidak ada sumber daya komputasi yang ada, pilih tanda tambah (+) untuk membuat sumber daya komputasi baru dan segarkan daftar.
6. Deskripsi: Tambahkan deskripsi yang lebih panjang untuk dasbor Responsible AI Anda.
7. Tag: Tambahkan tag apa pun ke dasbor AI yang Bertanggung Jawab ini.

Setelah selesai mengonfigurasi eksperimen, pilih Buat untuk mulai menghasilkan dasbor AI yang Bertanggung Jawab. Anda akan diarahkan ke halaman eksperimen untuk melacak kemajuan pekerjaan Anda dengan tautan ke dasbor AI Bertanggung Jawab yang dihasilkan dari halaman pekerjaan saat selesai.

Untuk mempelajari cara melihat dan menggunakan dasbor AI Yang Bertanggung Jawab, lihat Menggunakan dasbor AI yang Bertanggung Jawab di studio Azure Pembelajaran Mesin.

Cara menghasilkan kartu skor AI yang Bertanggung Jawab (pratinjau)

Setelah membuat dasbor, Anda dapat menggunakan UI tanpa kode di studio Azure Pembelajaran Mesin untuk menyesuaikan dan menghasilkan kartu skor AI yang Bertanggung Jawab. Ini memungkinkan Anda berbagi wawasan utama untuk penyebaran model Anda yang bertanggung jawab, seperti kewajaran dan kepentingan fitur, dengan pemangku kepentingan non-teknis dan teknis. Mirip dengan membuat dasbor, Anda bisa menggunakan langkah-langkah berikut untuk mengakses wizard pembuatan kartu skor:

• Navigasikan ke tab Model dari bilah navigasi kiri di studio Azure Machine Learning.
• Pilih model terdaftar yang ingin Anda buat kartu skornya dan pilih tab AI yang bertanggung jawab.
• Dari panel atas, pilih Buat wawasan AI yang Bertanggung Jawab (pratinjau) lalu Buat kartu skor PDF baru.

Wizard akan memungkinkan Anda untuk menyesuaikan kartu skor PDF Anda tanpa harus menyentuh kode. Pengalaman berlangsung sepenuhnya di studio Azure Pembelajaran Mesin untuk membantu mengkontekstualisasikan berbagai pilihan UI dengan alur terpandu dan teks instruksional untuk membantu Anda memilih komponen yang ingin Anda isi kartu skor Anda. Wizard dibagi menjadi tujuh langkah, dengan langkah kedelapan (penilaian kewajaran) yang hanya akan muncul untuk model dengan fitur kategoris:

1. Ringkasan kartu skor PDF
2. Performa model
3. Pilihan alat
4. Analisis data (sebelumnya disebut penjelajah data)
5. Analisis penyebab
6. Interpretabilitas
7. Konfigurasi percobaan
8. Penilaian kewajaran (hanya jika ada fitur kategoris)

Mengonfigurasi kartu skor Anda

1. Pertama, masukkan judul deskriptif untuk kartu skor Anda. Anda juga dapat memasukkan deskripsi opsional tentang fungsionalitas model, data yang dilatih dan dievaluasi pada, jenis arsitektur, dan banyak lagi.

   

2. Bagian Performa model memungkinkan Anda untuk memasukkan ke dalam metrik evaluasi model standar industri kartu skor Anda, sambil memungkinkan Anda menetapkan nilai target yang diinginkan untuk metrik yang Anda pilih. Pilih metrik performa yang Anda inginkan (hingga tiga) dan nilai target menggunakan menu dropdown.

   

3. Langkah pemilihan Alat memungkinkan Anda memilih komponen berikutnya yang ingin Anda sertakan dalam kartu skor Anda. Centang Sertakan dalam kartu skor untuk menyertakan semua komponen, atau centang/hapus centang setiap komponen satu per satu. Pilih ikon info ("i" dalam lingkaran) di samping komponen untuk mempelajari selengkapnya tentangnya.

   

4. Bagian Analisis data (sebelumnya disebut data explorer) memungkinkan analisis kohor. Di sini, Anda dapat mengidentifikasi masalah over-and-representation mengeksplorasi bagaimana data diklusterkan dalam himpunan data, dan bagaimana prediksi model memengaruhi kohor data tertentu. Gunakan kotak centang di menu dropdown untuk memilih fitur minat Anda di bawah ini untuk mengidentifikasi performa model Anda pada kohor yang mendasarnya.

   

5. Bagian Penilaian kewajaran dapat membantu menilai kelompok orang mana yang mungkin terpengaruh secara negatif oleh prediksi model pembelajaran mesin. Ada dua bidang di bagian ini.

   • Fitur sensitif: identifikasi atribut sensitif pilihan Anda (misalnya, usia, jenis kelamin) dengan memprioritaskan hingga 20 subgrup yang ingin Anda jelajahi dan bandingkan.

   • Metrik kewajaran: pilih metrik kewajaran yang sesuai untuk pengaturan Anda (misalnya, perbedaan akurasi, rasio tingkat kesalahan), dan identifikasi nilai target yang Anda inginkan pada metrik kewajaran yang Anda pilih. Metrik kewajaran yang Anda pilih (dipasangkan dengan pilihan perbedaan atau rasio Anda melalui pengalih) akan menangkap perbedaan atau rasio antara nilai ekstrem di seluruh subgrup. (maks - min atau maks/menit).

   

   Catatan

   Penilaian Kewajaran saat ini hanya tersedia untuk atribut sensitif kategoris seperti jenis kelamin.

6. Bagian Analisis kausal menjawab pertanyaan "bagaimana jika" di dunia nyata tentang bagaimana perubahan perawatan akan berdampak pada hasil dunia nyata. Jika komponen penyebab diaktifkan di dasbor AI bertanggung jawab tempat Anda membuat kartu skor, tidak diperlukan lagi konfigurasi.

   

7. Bagian Interpretabilitas menghasilkan deskripsi yang dapat dipahami manusia untuk prediksi yang dibuat oleh model pembelajaran mesin Anda. Dengan menggunakan penjelasan model, Anda dapat memahami penalaran di balik keputusan yang dibuat oleh model Anda. Pilih angka (K) di bawah ini untuk melihat fitur penting K teratas yang memengaruhi prediksi model Anda secara keseluruhan. Nilai default untuk K adalah 10.

   

8. Terakhir, konfigurasikan eksperimen Anda untuk memulai pekerjaan untuk menghasilkan kartu skor Anda. Konfigurasi ini sama dengan konfigurasi untuk dasbor AI Bertanggung Jawab Anda.

   

9. Terakhir, tinjau konfigurasi Anda dan pilih Buat untuk memulai pekerjaan Anda!

   

   Anda akan diarahkan ke halaman eksperimen untuk melacak kemajuan pekerjaan Setelah memulainya. Untuk mempelajari cara melihat dan menggunakan kartu skor AI yang Bertanggung Jawab, lihat Menggunakan kartu skor AI yang Bertanggung Jawab (pratinjau).

Langkah berikutnya

• Setelah Anda membuat dasbor AI yang Bertanggung Jawab, lihat cara mengakses dan menggunakannya di studio Azure Machine Learning.
• Pelajari selengkapnya tentang konsep dan teknik di balik dasbor Responsible AI.
• Pelajari lebih lanjut cara mengumpulkan data secara bertanggung jawab.
• Pelajari lebih lanjut cara menggunakan kartu skor dan dasbor AI yang Bertanggung Jawab untuk men-debug data dan model serta memberi tahu pengambilan keputusan yang lebih baik di postingan blog komunitas teknologi ini.
• Pelajari cara kartu skor dan dasbor AI yang Bertanggung Jawab digunakan oleh Layanan Kesehatan Nasional Inggris Raya (NHS) dalam cerita pelanggan kehidupan nyata.
• Jelajahi fitur Dasbor Responsible AI melalui demo web AI Lab interaktif ini.