Dela via

Övervaka rättvisa och bias för klassificeringsmodeller

  • Artikel

Viktigt

Den här funktionen finns i offentlig förhandsversion.

Med Databricks Lakehouse Monitoring kan du övervaka förutsägelserna för en klassificeringsmodell för att se om modellen fungerar på samma sätt på data som är associerade med olika grupper. Du kan till exempel undersöka om en standardklassificerare för lån genererar samma falska positiva ränta för sökande från olika demografier.

Arbeta med mått för rättvisa och bias

Om du vill övervaka rättvisa och bias skapar du ett booleskt segmentuttryck. Den grupp som definieras av det segmentuttryck som utvärderas till True anses vara den skyddade gruppen (det vill: den grupp som du söker efter bias mot). Om du till exempel skapar slicing_exprs=["age < 25"]anses sektorn som identifieras av slice_key = "ålder < 25" ochTrue = slice_value anses vara den skyddade gruppen och sektorn som identifieras av slice_key = "ålder < 25" och slice_value = False anses vara den oskyddade gruppen.

Övervakaren beräknar automatiskt mått som jämför klassificeringsmodellens prestanda mellan grupper. Följande mått rapporteras i tabellen profilmått:

  • predictive_parity, som jämför modellens precision mellan grupper.
  • predictive_equality, som jämför falska positiva frekvenser mellan grupper.
  • equal_opportunity, som mäter om en etikett förutsägs lika bra för båda grupperna.
  • statistical_parity, som mäter skillnaden i förutsagda utfall mellan grupper.

Dessa mått beräknas endast om analystypen är InferenceLog och problem_type är classification.

Definitioner av dessa mått finns i följande referenser:

Resultat av rättvise- och biasmått

Mer information om dessa mått och hur du visar dem i måtttabellerna finns i API-referensen . Alla rättvise- och biasmått har samma datatyp som visas nedan, vilket visar rättvisepoäng som beräknas för alla förutsagda klasser på ett "en-mot-alla"-sätt som nyckel/värde-par.

Du kan skapa en avisering för dessa mått. Till exempel kan modellens ägare konfigurera en avisering när rättvisemåttet överskrider något tröskelvärde och sedan dirigera aviseringen till en jourperson eller team för undersökning.