Delen via

Eerlijkheid en vooroordelen voor classificatiemodellen bewaken

  • Artikel

Belangrijk

Deze functie bevindt zich in openbare preview.

Met Databricks Lakehouse Monitoring kunt u de voorspellingen van een classificatiemodel bewaken om te zien of het model op dezelfde manier presteert op gegevens die zijn gekoppeld aan verschillende groepen. U kunt bijvoorbeeld onderzoeken of een standaardclassificatie voor leningen hetzelfde fout-positieve percentage genereert voor aanvragers met verschillende demografische gegevens.

Werken met metrische gegevens over billijkheid en vooroordelen

Als u wilt controleren op eerlijkheid en vooroordelen, maakt u een Booleaanse segmentexpressie. De groep die is gedefinieerd door de segmentexpressie die wordt geëvalueerd, True wordt beschouwd als de beveiligde groep (dat wil gezegd, de groep die u controleert op vooroordelen). Als u bijvoorbeeld maakt slicing_exprs=["age < 25"], wordt het segment geïdentificeerd door slice_key = 'leeftijd < 25' en slice_value = True wordt beschouwd als de beveiligde groep, en het segment geïdentificeerd door slice_key = 'leeftijd < 25' en slice_value = False wordt beschouwd als de niet-beveiligde groep.

De monitor berekent automatisch metrische gegevens waarmee de prestaties van het classificatiemodel tussen groepen worden vergeleken. De volgende metrische gegevens worden gerapporteerd in de tabel met metrische gegevens van het profiel:

  • predictive_parity, waarmee de precisie van het model tussen groepen wordt vergeleken.
  • predictive_equality, waarmee het aantal fout-positieven tussen groepen wordt vergeleken.
  • equal_opportunity, waarmee wordt meten of een label even goed wordt voorspeld voor beide groepen.
  • statistical_parity, waarmee het verschil in voorspelde resultaten tussen groepen wordt meet.

Deze metrische gegevens worden alleen berekend als het analysetype is InferenceLog en problem_type is classification.

Zie de volgende verwijzingen voor definities van deze metrische gegevens:

Uitvoer van metrische getrouwheids- en biasgegevens

Zie de API-naslaginformatie voor meer informatie over deze metrische gegevens en hoe u ze kunt weergeven in de metrische tabellen. Alle metrische gegevens over billijkheid en vooroordelen delen hetzelfde gegevenstype zoals hieronder wordt weergegeven, waarbij de betrouwbaarheidsscores worden berekend voor alle voorspelde klassen op een 'one-vs-all'-manier als sleutel-waardeparen.

U kunt een waarschuwing maken voor deze metrische gegevens. De eigenaar van het model kan bijvoorbeeld een waarschuwing instellen wanneer de metrische waarde voor billijkheid een drempelwaarde overschrijdt en die waarschuwing vervolgens doorsturen naar een oproepmedewerker of team voor onderzoek.