Bagikan melalui

Memantau kewajaran dan bias untuk model klasifikasi

  • Artikel

Penting

Fitur ini ada di Pratinjau Umum.

Dengan Databricks Lakehouse Monitoring, Anda dapat memantau prediksi model klasifikasi untuk melihat apakah model berkinerja sama pada data yang terkait dengan grup yang berbeda. Misalnya, Anda dapat menyelidiki apakah pengklasifikasi default pinjaman menghasilkan tingkat positif palsu yang sama untuk pemohon dari demografi yang berbeda.

Bekerja dengan metrik kewajaran dan bias

Untuk memantau kewajaran dan bias, Anda membuat ekspresi ilis Boolean. Grup yang ditentukan oleh ekspresi ipotong yang dievaluasi True dianggap sebagai grup yang dilindungi (yaitu, grup yang Anda periksa biasnya). Misalnya, jika Anda membuat slicing_exprs=["age < 25"], ipotong yang diidentifikasi oleh slice_key = "usia < 25" dan slice_valueTrue = dianggap sebagai grup yang dilindungi, dan ipotong yang diidentifikasi oleh slice_key = "usia < 25" dan slice_value = False dianggap sebagai grup yang tidak terlindungi.

Monitor secara otomatis menghitung metrik yang membandingkan performa model klasifikasi antar grup. Metrik berikut dilaporkan dalam tabel metrik profil:

  • predictive_parity, yang membandingkan presisi model antar grup.
  • predictive_equality, yang membandingkan tingkat positif palsu antar grup.
  • equal_opportunity, yang mengukur apakah label diprediksi sama baiknya untuk kedua grup.
  • statistical_parity, yang mengukur perbedaan hasil yang diprediksi antar grup.

Metrik ini dihitung hanya jika jenis analisis adalah InferenceLog dan problem_type adalah classification.

Untuk definisi metrik ini, lihat referensi berikut:

Output metrik kewajaran dan bias

Lihat referensi API untuk detail tentang metrik ini dan cara melihatnya dalam tabel metrik. Semua metrik kewajaran dan bias memiliki jenis data yang sama seperti yang ditunjukkan di bawah ini, menunjukkan skor kewajaran yang dihitung di semua kelas yang diprediksi dengan cara "satu-vs-semua" sebagai pasangan kunci-nilai.

Anda dapat membuat pemberitahuan tentang metrik ini. Misalnya, pemilik model dapat menyiapkan pemberitahuan ketika metrik kewajaran melebihi beberapa ambang batas lalu merutekan pemberitahuan tersebut ke orang atau tim panggilan untuk penyelidikan.