Compartilhar via

Análises contrafactuais e teste de hipóteses

  • Artigo

Os contrafactuais de teste de hipóteses abordam a questão do que o modelo preveria se você alterasse a entrada de ação. Eles possibilitam o reconhecimento e a depuração de um modelo de machine learning em termos de como ele reage a alterações de entrada (recurso).

As técnicas de interpretabilidade padrão aproximam um modelo de machine learning ou classificam os recursos por sua importância preditiva. Por outro lado, a análise contrafactual "interroga" um modelo para determinar quais alterações em um determinado ponto de dados inverteriam a decisão do modelo.

Essa análise ajuda a separar o impacto dos recursos correlacionados isoladamente. Ela também ajuda você a obter um reconhecimento com mais nuances sobre quanta mudança de um recurso é necessária para ver a inversão de uma decisão de modelo para modelos de classificação e a alteração da decisão para modelos de regressão.

A análise contrafactual e o componente de teste de hipóteses do painel de IA Responsável têm em duas funções:

  • Gerar um conjunto de exemplos com alterações mínimas em um determinado ponto, de modo que eles alterem a previsão do modelo (mostrando os pontos de dados mais próximos com previsões de modelo opostas).
  • Permitir que os usuários gerem as próprias perturbações de teste de hipóteses para entender como o modelo reage às alterações dos recursos.

Um dos principais diferenciadores do componente de análise contrafactual do painel de IA Responsável é o fato de que você pode identificar quais recursos variar e os intervalos permitidos para exemplos de contrafactuais válidos e lógicos.

As funcionalidades desse componente vêm do pacote DiCE.

Use contrafactuais de teste de hipóteses quando precisar:

  • Examinar os critérios de imparcialidade e confiabilidade como um avaliador de decisão, perturbando atributos confidenciais, como gênero e etnia, e então observando se as previsões do modelo mudam.
  • Depurar instâncias de entrada específicas em profundidade.
  • Fornecer soluções para os usuários e determinar o que eles podem fazer para obter o resultado que desejam do modelo.

Como os exemplos contrafactuais são gerados?

Para gerar contrafactuais, o DiCE implementa algumas técnicas independentes de modelo. Esses métodos se aplicam a qualquer classificador ou regressor opaque-box. Eles se baseiam na amostragem de pontos próximos para um ponto de entrada, otimizando uma função de perda com base na proximidade (e, opcionalmente, na dispersão, na diversidade e na viabilidade). Os métodos com suporte no momento são:

  • Pesquisa aleatória: este método faz aleatoriamente a amostra de pontos próximos de um ponto de consulta e retorna contrafactuais como pontos cujos rótulos previstos são a classe desejada.
  • Pesquisa genética: este método faz a amostra de pontos usando um algoritmo genético, considerando o objetivo combinado de otimizar a proximidade com o ponto de consulta, alterando o menor número possível de recursos e buscando diversidade entre os contrafactuais gerados.
  • Pesquisa de árvore KD: esse algoritmo retorna contrafactuais do conjunto de dados de treinamento. Ele constrói uma árvore KD com os pontos de dados de treinamento com base em uma função de distância e retorna os pontos mais próximos de um determinado ponto de consulta que produz o rótulo previsto desejado.

Próximas etapas