Compartilhar via

Desempenho e imparcialidade do modelo

  • Artigo

Este artigo descreve os métodos que você pode usar para entender o desempenho e a imparcialidade do modelo no Azure Machine Learning.

O que é a imparcialidade do aprendizado de máquina?

Os sistemas de inteligência artificial e de machine learning podem exibir um comportamento injusto. Uma forma de definir o comportamento parcial é analisar os danos ou o impacto nas pessoas. Há muitos tipos de danos que os sistemas de IA podem causar. Confira a palestra do NeurIPS de 2017 de Kate Crawford para saber mais.

Dois tipos comuns de danos causados pela IA são:

  • Danos de alocação: um sistema de IA estende ou retém oportunidades, recursos ou informações de determinados grupos. Os exemplos incluem contratações, admissões em escolas e empréstimos em que um modelo pode ser melhor em escolher bons candidatos entre um grupo específico de pessoas do que entre outros grupos.

  • Danos de qualidade de serviço: um sistema de IA não funciona tão bem para um grupo de pessoas como funciona para outro. Por exemplo, um sistema de reconhecimento de voz pode não funcionar tão bem para mulheres como funciona para homens.

Para reduzir o comportamento injusto em sistemas de IA, você precisa avaliar e atenuar esses danos. O componente de visão geral do modelo do painel de IA Responsável contribui para a fase de identificação do ciclo de vida do modelo gerando métricas de desempenho do modelo para todo o conjunto de dados e os coortes de dados identificados. Ele gera essas métricas entre subgrupos identificados em termos de recursos ou atributos sensíveis.

Observação

A imparcialidade é um desafio sociotécnico. As métricas de imparcialidade quantitativa não capturam muitos aspectos de imparcialidade, como justiça e respeito aos direitos legais. Além disso, muitas métricas de imparcialidade quantitativas não podem ser atendidas simultaneamente.

A meta do pacote de código aberto Fairlearn é permitir que as pessoas avaliem as estratégias de impacto e mitigação. Em última análise, cabe às pessoas que criam modelos de IA e machine learning fazer compensações apropriadas para seus cenários.

Neste componente do painel de IA Responsável, a imparcialidade é conceituada por meio de uma abordagem conhecida como imparcialidade de grupo. Essa abordagem pergunta: "Quais grupos de indivíduos correm risco de sofrer danos?". O termo recursos sensíveis sugere que o designer de sistema deve ser sensível a esses recursos ao avaliar a imparcialidade do grupo.

Durante a fase de avaliação, a imparcialidade é quantificada por meio de métricas de disparidade. Essas métricas podem avaliar e comparar o comportamento do modelo entre diferentes grupos como proporções ou diferenças. O painel de IA Responsável dá suporte a duas classes de métricas de disparidade:

  • Disparidade no desempenho do modelo: esses conjuntos de métricas calculam a disparidade (diferença) nos valores da métrica de desempenho selecionada em diferentes subgrupos de dados. Veja alguns exemplos:

    • Disparidade na taxa de precisão
    • Disparidade na taxa de erro
    • Disparidade na precisão
    • Disparidade no recall
    • Disparidade no MAE (erro médio absoluto)

  • Disparidade na taxa de seleção: essa métrica contém a diferença na taxa de seleção (previsão favorável) entre subgrupos diferentes. Um exemplo disso é a disparidade na taxa de aprovação de empréstimo. Taxa de seleção significa a fração de pontos de dados em cada classe classificada como 1 (em classificação binária) ou distribuição de valores de previsão (em regressão).

As funcionalidades de avaliação de imparcialidade desse componente vêm do pacote Fairlearn. O Fairlearn oferece uma coleção de métricas de avaliação de imparcialidade de modelo e algoritmos de mitigação de imparcialidade.

Observação

Uma avaliação de imparcialidade não é um exercício puramente técnico. O pacote Fairlearn de código aberto pode identificar métricas quantitativas para ajudar você a avaliar a imparcialidade de um modelo, mas não realiza a avaliação. Você precisa executar uma análise qualitativa para avaliar a imparcialidade dos próprios modelos. Os recursos sensíveis indicados acima são um exemplo desse tipo de análise qualitativa.

Restrições de paridade para mitigar a parcialidade

Depois de entender os problemas de imparcialidade do modelo, você poderá usar os algoritmos de mitigação no pacote Fairlearn de código aberto para mitigar esses problemas. Esses algoritmos dão suporte a um conjunto de restrições no comportamento do previsor chamado restrições de paridade ou critérios.

As restrições de paridade exigem que alguns aspectos do comportamento do previsor sejam comparáveis em todos os grupos que os recursos sensíveis definem (por exemplo, corridas diferentes). Os algoritmos de mitigação no pacote de software livre Fairlearn usam essas restrições de paridade para mitigar os problemas de imparcialidade observados.

Observação

Os algoritmos de mitigação de parcialidade no pacote de código aberto Fairlearn podem fornecer estratégias de mitigação sugeridas para ajudar a reduzir a parcialidade em um modelo de machine learning, mas essas estratégias não eliminam a parcialidade. Os desenvolvedores precisam considerar outras restrições de paridade ou critérios para os modelos de machine learning. Os desenvolvedores que usam o Azure Machine Learning precisam determinar se a mitigação reduz a parcialidade suficientemente no uso pretendido e na implantação de modelos de machine learning.

O pacote Fairlearn dá suporte aos seguintes tipos de restrições de paridade:

Restrição de paridade Finalidade Ferramenta de machine learning
Paridade demográfica Mitigar danos de alocação Classificação binária, regressão
Chances equalizadas Diagnosticar a alocação e os danos de qualidade de serviço Classificação binária
Oportunidade igual Diagnosticar a alocação e os danos de qualidade de serviço Classificação binária
Perda de grupo limitada Mitigar os danos de qualidade de serviço Regressão

Algoritmos de mitigação

O pacote Fairlearn de código aberto inclui dois tipos de algoritmos de mitigação de parcialidade:

  • Redução: esses algoritmos usam um avaliador de machine learning de caixa preta padrão (por exemplo, um modelo de LightGBM) e geram um conjunto de modelos retreinados usando uma sequência de conjuntos de dados de treinamento reponderados.

    Por exemplo, é possível aumentar o diminuir o peso de candidatos de um determinado gênero para readaptar os modelos e reduzir as disparidades em diferentes grupos de gêneros. Os usuários podem escolher um modelo que forneça a melhor compensação entre precisão (ou outra métrica de desempenho) e disparidade, com base em regras de negócio e cálculos de custo.

  • Pós-processamento: esses algoritmos usam um classificador existente e o recurso sensível como entrada. Depois, eles geram uma transformação da previsão do classificador para impor as restrições de imparcialidade especificadas. A maior vantagem de um algoritmo de pós-processamento, a otimização do limite, é a simplicidade e a flexibilidade, pois não é necessário retreinar o modelo.

Algoritmo Descrição Ferramenta de machine learning Recursos sensíveis Restrições de paridade suportadas Tipo de algoritmo
ExponentiatedGradient Abordagem de caixa preta para classificação imparcial descrita em Uma abordagem de reduções para classificação imparcial. Classificação binária Categóricos Paridade demográfica, chances equalizadas Redução
GridSearch Abordagem de caixa preta descrita em Uma abordagem de reduções para classificação imparcial. Classificação binária Binário Paridade demográfica, chances equalizadas Redução
GridSearch Abordagem de caixa preta que implementa uma variante de pesquisa em grade da regressão justa com o algoritmo de perda de grupo limitada descrito em Regressão imparcial: definições quantitativas e algoritmos baseados em redução. Regressão Binário Perda de grupo limitada Redução
ThresholdOptimizer Algoritmo de pré-processamento baseado no documento Igualdade de oportunidades em aprendizado supervisionado. Essa técnica usa como entrada um classificador existente e um recurso sensível. Depois, ela produz uma transformação monótona da previsão do classificador para impor as restrições de paridade especificadas. Classificação binária Categóricos Paridade demográfica, chances equalizadas Pós-processamento

Próximas etapas