Partilhar via


Desempenho e equidade do modelo

Este artigo descreve métodos que você pode usar para entender o desempenho e a equidade do seu modelo no Azure Machine Learning.

O que é equidade de aprendizado de máquina?

A inteligência artificial e os sistemas de aprendizagem automática podem apresentar comportamentos injustos. Uma forma de definir o comportamento injusto é pelo seu dano, ou pelo seu impacto nas pessoas. Os sistemas de IA podem dar origem a muitos tipos de danos. Para saber mais, consulte a palestra NeurIPS 2017 de Kate Crawford.

Dois tipos comuns de danos causados pela IA são:

  • Danos da alocação: um sistema de IA estende ou retém oportunidades, recursos ou informações para determinados grupos. Exemplos incluem contratação, admissões escolares e empréstimos, onde um modelo pode ser melhor para escolher bons candidatos entre um grupo específico de pessoas do que entre outros grupos.

  • Danos da qualidade de serviço: um sistema de IA não funciona tão bem para um grupo de pessoas como funciona para outro. Por exemplo, um sistema de reconhecimento de voz pode não funcionar tão bem para as mulheres como para os homens.

Para reduzir o comportamento injusto em sistemas de IA, é preciso avaliar e mitigar esses danos. O componente de visão geral do modelo do painel de IA responsável contribui para o estágio de identificação do ciclo de vida do modelo, gerando métricas de desempenho do modelo para todo o seu conjunto de dados e suas coortes de dados identificadas. Ele gera essas métricas em subgrupos identificados em termos de recursos ou atributos confidenciais.

Nota

A equidade é um desafio sociotécnico. As métricas quantitativas de equidade não capturam muitos aspetos da equidade, como justiça e devido processo legal. Além disso, muitas métricas quantitativas de equidade não podem ser todas satisfeitas simultaneamente.

O objetivo do pacote de código aberto Fairlearn é permitir que os seres humanos avaliem o impacto e as estratégias de mitigação. Em última análise, cabe aos humanos que constroem modelos de IA e aprendizado de máquina fazer compensações que sejam apropriadas para seus cenários.

Neste componente do painel de IA responsável, a equidade é conceituada por meio de uma abordagem conhecida como equidade de grupo. Esta abordagem pergunta: "Que grupos de indivíduos estão em risco de sofrer danos?" O termo características sensíveis sugere que o designer de sistemas deve ser sensível a essas características ao avaliar a equidade do grupo.

Durante a fase de avaliação, a equidade é quantificada através de métricas de disparidade. Essas métricas podem avaliar e comparar o comportamento do modelo entre grupos como proporções ou diferenças. O painel de IA Responsável suporta duas classes de métricas de disparidade:

  • Disparidade no desempenho do modelo: esses conjuntos de métricas calculam a disparidade (diferença) nos valores da métrica de desempenho selecionada entre subgrupos de dados. Eis alguns exemplos:

    • Disparidade na taxa de precisão
    • Disparidade na taxa de erro
    • Disparidade na precisão
    • Disparidade na recolha
    • Disparidade no erro absoluto médio (MAE)
  • Disparidade na taxa de seleção: Esta métrica contém a diferença na taxa de seleção (previsão favorável) entre os subgrupos. Um exemplo disso é a disparidade na taxa de aprovação de empréstimos. Taxa de seleção significa a fração de pontos de dados em cada classe classificada como 1 (em classificação binária) ou distribuição de valores de previsão (em regressão).

As capacidades de avaliação de equidade deste componente vêm do pacote Fairlearn . O Fairlearn fornece uma coleção de métricas de avaliação de equidade de modelos e algoritmos de mitigação de injustiças.

Nota

Uma avaliação da equidade não é um exercício puramente técnico. O pacote de código aberto Fairlearn pode identificar métricas quantitativas para ajudá-lo a avaliar a equidade de um modelo, mas não realizará a avaliação para você. Você deve realizar uma análise qualitativa para avaliar a equidade de seus próprios modelos. As características sensíveis mencionadas anteriormente são um exemplo deste tipo de análise qualitativa.

Restrições de paridade para mitigar injustiças

Depois de entender os problemas de equidade do seu modelo, você pode usar os algoritmos de mitigação no pacote de código aberto Fairlearn para mitigar esses problemas. Esses algoritmos suportam um conjunto de restrições no comportamento do preditor chamado restrições ou critérios de paridade.

As restrições de paridade exigem que alguns aspetos do comportamento do preditor sejam comparáveis entre os grupos que as características sensíveis definem (por exemplo, raças diferentes). Os algoritmos de mitigação no pacote de código aberto Fairlearn usam essas restrições de paridade para mitigar os problemas de equidade observados.

Nota

Os algoritmos de mitigação de injustiça no pacote de código aberto Fairlearn podem fornecer estratégias de mitigação sugeridas para reduzir a injustiça em um modelo de aprendizado de máquina, mas essas estratégias não eliminam a injustiça. Os desenvolvedores podem precisar considerar outras restrições ou critérios de paridade para seus modelos de aprendizado de máquina. Os desenvolvedores que usam o Azure Machine Learning devem determinar por si mesmos se a mitigação reduz suficientemente a injustiça no uso pretendido e na implantação de modelos de aprendizado de máquina.

O pacote Fairlearn suporta os seguintes tipos de restrições de paridade:

Restrição de paridade Propósito Tarefa de aprendizado de máquina
Paridade demográfica Mitigar os danos de alocação Classificação binária, regressão
Odds equalizadas Diagnosticar danos à alocação e à qualidade do serviço Classificação binária
Igualdade de oportunidades Diagnosticar danos à alocação e à qualidade do serviço Classificação binária
Perda de grupo limitada Mitigar os danos à qualidade do serviço Regressão

Algoritmos de mitigação

O pacote de código aberto Fairlearn fornece dois tipos de algoritmos de mitigação de injustiça:

  • Redução: Esses algoritmos usam um estimador de aprendizado de máquina de caixa preta padrão (por exemplo, um modelo LightGBM) e geram um conjunto de modelos retreinados usando uma sequência de conjuntos de dados de treinamento reponderados.

    Por exemplo, os candidatos de um determinado género podem ser sujeitos a um maior ou menor peso para reciclar os modelos e reduzir as disparidades entre grupos de género. Os usuários podem escolher um modelo que forneça a melhor compensação entre precisão (ou outra métrica de desempenho) e disparidade, com base em suas regras de negócios e cálculos de custo.

  • Pós-processamento: Esses algoritmos usam um classificador existente e um recurso sensível como entrada. Em seguida, derivam uma transformação da previsão do classificador para impor as restrições de equidade especificadas. A maior vantagem de um algoritmo de pós-processamento, a otimização de limites, é sua simplicidade e flexibilidade, porque não precisa treinar novamente o modelo.

Algoritmo Description Tarefa de aprendizado de máquina Recursos sensíveis Restrições de paridade suportadas Tipo de algoritmo
ExponentiatedGradient Abordagem da caixa negra para a classificação equitativa descrita em A Reductions Approach to Fair Classification. Classificação binária Categórico Paridade demográfica, odds equalizadas Redução
GridSearch Abordagem da caixa preta descrita em A Reductions Approach to Fair Classification. Classificação binária Binário Paridade demográfica, odds equalizadas Redução
GridSearch Abordagem de caixa preta que implementa uma variante de pesquisa de grade de regressão justa com o algoritmo para perda de grupo limitado descrito em Regressão justa: definições quantitativas e algoritmos baseados em redução. Regressão Binário Perda de grupo limitada Redução
ThresholdOptimizer Algoritmo de pós-processamento baseado no artigo Equality of Opportunity in Supervised Learning. Esta técnica toma como entrada um classificador existente e um recurso sensível. Em seguida, ele deriva uma transformação monótona da previsão do classificador para impor as restrições de paridade especificadas. Classificação binária Categórico Paridade demográfica, odds equalizadas Pós-processamento

Próximos passos

  • Saiba como gerar o painel de IA Responsável por meio de CLI e SDK ou da interface do usuário do estúdio Azure Machine Learning.
  • Explore a visão geral do modelo suportado e as visualizações de avaliação de equidade do painel de IA responsável.
  • Saiba como gerar um scorecard de IA Responsável com base nos insights observados no painel de IA Responsável.
  • Saiba como usar os componentes verificando o repositório GitHub do Fairlearn, o guia do usuário, exemplos e exemplos de blocos de anotações.