Compartilhar via

Avaliar sistemas de IA usando o painel de IA Responsável

  • Artigo

A implementação da IA Responsável na prática requer uma engenharia rigorosa. Mas a engenharia rigorosa pode ser tediosa, manual e demorada sem as ferramentas e a infraestrutura corretas.

O painel de IA Responsável fornece uma única interface para ajudar você a implementar a IA Responsável na prática de forma eficaz e eficiente. Ele reúne várias ferramentas de IA Responsável maduras nas áreas de:

O painel oferece uma avaliação abrangente e depuração de modelos para que você possa tomar decisões informadas baseadas em dados. Ter acesso a todas essas ferramentas em uma interface capacita você a:

  • Avalie e depure seus modelos de machine learning identificando erros de modelo e questões de imparcialidade, diagnosticando por que esses erros estão acontecendo e informando suas etapas de mitigação.

  • Aumente suas habilidades de tomada de decisão orientadas por dados, abordando questões como:

    "Qual é a alteração mínima que os usuários podem aplicar em seus recursos para obter um resultado diferente do modelo?"

    "Qual é o efeito causal de reduzir ou aumentar um recurso (por exemplo, consumo de carne vermelha) em um resultado do mundo real (por exemplo, progressão do diabetes)?"

Você pode personalizar o painel para incluir apenas o subconjunto de ferramentas relevantes para seu caso de uso.

O painel de IA Responsável é acompanhado por um PDF de scorecard. O scorecard permite exportar metadados de IA responsáveis e insights para seus dados e modelos. Em seguida, você pode compartilhá-los offline com os stakeholders de produto e conformidade.

Componentes do painel de IA Responsável

O painel de IA Responsável reúne, em uma visão abrangente, diversas ferramentas novas e pré-existentes. O painel integra essas ferramentas à CLI do Azure Machine Learning v2, ao SDK do Python do Azure Machine Learning v2 e Estúdio do Azure Machine Learning. As ferramentas incluem:

  • Análise de dados para entender e explorar as distribuições e estatísticas do conjunto de dados.
  • Visão geral do modelo e avaliação de imparcialidade, para avaliar o desempenho do seu modelo e avaliar os problemas de imparcialidade de grupo do seu modelo (como as previsões do seu modelo afetam diversos grupos de pessoas).
  • Análise de erro, para exibir e entender como os erros são distribuídos em seu conjunto de dados.
  • Interpretabilidade do modelo (valores de importância para recursos agregados e individuais), para entender as previsões do seu modelo e como essas previsões gerais e individuais são feitas.
  • Teste de hipóteses contrafactuais, para observar como as perturbações de recursos afetariam suas previsões de modelo, fornecendo os pontos de dados mais próximos com previsões de modelos opostas ou diferentes.
  • Análise causal, para usar dados históricos para visualizar os efeitos causais dos recursos de tratamento nos resultados do mundo real.

Juntas, essas ferramentas ajudarão você a depurar modelos de machine learning, ao mesmo tempo em que informam suas decisões de negócios orientadas por dados e modelos. O diagrama a seguir mostra como você pode incorporá-los ao ciclo de vida de IA para melhorar seus modelos e obter insights de dados sólidos.

Diagrama de componentes do painel de IA Responsável para depuração de modelo e tomada de decisão responsável.

Depuração do modelo

Avaliar e depurar modelos de machine learning é essencial para a confiabilidade, a interpretabilidade, a imparcialidade e a conformidade do modelo. Isso ajuda a determinar como e por que os sistemas de IA se comportam da maneira como se comportam. Em seguida, você pode usar esse conhecimento para aprimorar o desempenho do modelo. Conceitualmente, a depuração de modelo é composta por três estágios:

  1. Identificar, para entender e reconhecer erros de modelo e/ou questões de imparcialidade, abordando as seguintes questões:

    "Quais tipos de erros meu modelo tem?"

    "Em quais áreas os erros são mais prevalentes?"

  2. Diagnosticar, para explorar as razões por trás dos erros identificados, respondendo:

    "Quais são as causas desses erros?"

    "Onde devo concentrar meus recursos para aprimorar o modelo?"

  3. Mitigar, para usar os insights de identificação e diagnóstico das fases anteriores para adotar etapas de mitigação direcionadas e responder perguntas como:

    "Como posso aprimorar meu modelo?"

    "Quais soluções sociais ou técnicas existem para esses problemas?"

Diagrama de depuração de modelo por meio do painel de IA Responsável.

A seguinte tabela descreve quando usar componentes do painel de IA Responsável para dar suporte à depuração de modelo:

Estágio Componente Descrição
Identificar Análise de erros O componente de análise de erros ajuda você a obter uma compreensão mais profunda da distribuição de falhas de modelo e identificar rapidamente coortes errôneas (subgrupos) de dados.

Os recursos desse componente no painel vêm do pacote Análise de erros.
Identificar Análise de Imparcialidade O componente de imparcialidade define grupos em termos de atributos confidenciais, como sexo, raça e idade. Em seguida, ele avalia como suas previsões de modelo afetam esses grupos e como você pode atenuar as disparidades. Ele avalia o desempenho de seu modelo explorando a distribuição de seus valores de previsão e os valores de suas métricas de desempenho de modelo entre os grupos.

Os recursos desse componente no painel vêm do pacote Fairlearn.
Identificar Visão geral do modelo O componente de visão geral do modelo agrega as métricas de avaliação do modelo em uma visão de alto nível da distribuição de previsão do modelo para melhor investigação de seu desempenho. Esse componente também permite a avaliação da imparcialidade do grupo, destacando o detalhamento do desempenho do modelo em grupos sensíveis.
Diagnosticar Análise de dados A análise de dados visualiza conjuntos de dados com base em resultados previstos e reais, grupos de erros e recursos específicos. Você pode, então, identificar problemas de super-representação e sub-representação, além de ver como os dados são agrupados no conjunto de dados.
Diagnosticar Interpretabilidade do modelo O componente de Interpretabilidade gera explicações compreensíveis por humanos das previsões de um modelo de machine learning. Ele fornece várias exibições sobre o comportamento de um modelo:
– Explicações globais (por exemplo, quais recursos afetam o comportamento geral de um modelo de alocação de empréstimos)
– Explicações locais (por exemplo, por que o pedido de empréstimo de um solicitante foi aprovado ou rejeitado)

Os recursos desse componente no painel vêm do pacote InterpretML.
Diagnosticar Análise contrafactual e teste de hipóteses Este componente é composto por duas funcionalidades para um melhor diagnóstico de erros:
– Gerar um conjunto de exemplos em que alterações mínimas em um determinado ponto alteram a previsão do modelo. Ou seja, os exemplos mostram os pontos de dados mais próximos com previsões de modelo opostas.
- Habilitação de perturbações interativas e personalizadas de testes de hipóteses para pontos de dados individuais para entender como o modelo reage a alterações de recursos.

Os recursos desse componente no painel vêm do pacote DiCE.

Etapas de mitigação estão disponíveis por meio de ferramentas autônomas como o Fairlearn. Para obter mais informações, consulte os algoritmos de mitigação de imparcialidade.

Tomada de decisões responsável

A tomada de decisões é uma das maiores promessas do machine learning. O painel de IA Responsável pode ajudar você a tomar decisões comerciais informadas por meio de:

  • Insights orientados por dados, para entender melhor os efeitos causais do tratamento em um resultado usando apenas dados históricos. Por exemplo:

    "Como um medicamento afetaria a pressão arterial de um paciente?"

    "Como fornecer valores promocionais a determinados clientes afetaria a receita?"

    Esses insights são fornecidos por meio do componente de Inferência Causal do painel.

  • Insights controlados por modelo, para responder a perguntas dos usuários finais (como “O que posso fazer para obter um resultado diferente da IA da próxima vez?”) para que eles possam executar ações. Esses insights são fornecidos aos cientistas de dados por meio do componente Testes de hipóteses contrafactuais.

Diagrama que mostra os recursos do painel de IA Responsável para tomada de decisão de negócios responsável.

Os recursos de análise exploratória de dados, inferência causal e análise contrafactual podem ajudar você a tomar decisões informadas orientadas por modelos e por dados de forma responsável.

Esses componentes do painel de IA Responsável que dão suporte à tomada de decisões responsável:

  • Análise de dados: você pode reutilizar o componente de análise de dados aqui para entender as distribuições de dados e identificar a representação excessiva e a representação insuficiente. A exploração de dados é uma parte crítica da tomada de decisões, pois pode-se concluir que não é viável tomar decisões informadas sobre uma coorte que é sub-representada dentro dos dados.

  • Inferência causal: o componente de inferência causal estima como um resultado do mundo real muda na presença de uma intervenção. Ele também ajuda a elaborar intervenções promissoras simulando diferentes respostas do recurso a várias intervenções e criando regras para determinar quais coortes populacionais se beneficiariam de uma intervenção específica. Coletivamente, essas funcionalidades permitem que você aplique novas políticas e gere mudanças do mundo real.

    Os recursos desse componente vêm do pacote EconML, que estima efeitos de tratamento heterogêneos de dados observacionais por meio de aprendizado de máquina.

  • Análise contrafactual: você pode reutilizar o componente de análise contrafactual aqui para gerar alterações mínimas aplicadas aos recursos de um ponto de dados que levam a previsões de modelo opostas. Por exemplo: Taylor teria obtido a aprovação do empréstimo da IA se eles ganhassem US$ 10.000 a mais em renda anual e tivessem dois cartões de crédito a menos abertos.

    Fornecer essas informações aos usuários informa sua perspectiva. Ele os educa sobre como eles podem agir para obter o resultado desejado da IA no futuro.

    Os recursos desse componente vêm do pacote DiCE.

Motivos para usar o painel de IA Responsável

Embora tenha havido progresso em ferramentas individuais para áreas específicas de IA Responsável, os cientistas de dados geralmente precisam usar várias ferramentas para avaliar de forma abrangente seus modelos e dados. Por exemplo: eles podem ter que usar a interpretação do modelo e a avaliação de imparcialidade juntos.

Se os cientistas de dados descobrirem um problema de justiça com uma ferramenta, eles precisarão pular para uma ferramenta diferente para entender quais dados ou fatores de modelo estão na raiz do problema antes de tomar qualquer medida de mitigação. Os seguintes fatores complicam ainda mais esse processo desafiador:

  • Não há um local central onde descobrir e aprender sobre as ferramentas, estendendo o tempo necessário para pesquisar e aprender novas técnicas.
  • As diferentes ferramentas não se comunicam exatamente entre si. Os cientistas de dados precisam negociar entre conjuntos de dados, modelos e outros metadados à medida que os passam entre as diferentes ferramentas.
  • As métricas e visualizações não são facilmente comparáveis e os resultados são difíceis de compartilhar.

O painel de IA Responsável desafia esse status quo. É uma ferramenta abrangente, mas personalizável, que reúne experiências fragmentadas em um só lugar. Ele permite que você integre diretamente a uma única estrutura personalizável para depuração de modelo e tomada de decisão controlada por dados.

Usando o painel de IA Responsável, você pode criar coortes de conjunto de dados, passar essas coortes para todos os componentes com suporte e observar a integridade do modelo para suas coortes identificadas. Você pode comparar ainda mais insights de todos os componentes com suporte em uma variedade de coortes predefinidas para executar uma análise desagregada e encontrar os pontos cegos do modelo.

Quando estiver pronto para compartilhar essas informações com outros stakeholders, você poderá extraí-las facilmente usando o scorecard PDF de IA Responsável. Anexe o relatório PDF aos relatórios de conformidade ou compartilhe-o com colegas para criar confiança e obter sua aprovação.

Maneiras de personalizar o painel de IA Responsável

A força do painel de IA Responsável está em sua personalização. Ele permite aos usuários criar fluxos de trabalho personalizados de depuração de modelos e tomada de decisão de ponta a ponta que satisfaçam suas necessidades específicas.

Precisa de inspiração? Aqui estão alguns exemplos de como os componentes do painel podem ser reunidos para analisar cenários de diversas maneiras:

Fluxo do painel de IA Responsável Caso de uso
Visão geral do modelo > análise de erro > análise de dados Identificar erros de modelo e diagnosticá-los compreendendo a distribuição de dados subjacente
Visão geral do modelo > avaliação de Imparcialidade > análise de dados Identificar problemas de imparcialidade do modelo e diagnosticá-los compreendendo a distribuição de dados subjacente
Visão geral do modelo –> Análise de Erros –> Análise Contrafactual e teste de hipóteses Diagnosticar erros em instâncias individuais com análise contrafactual (alteração mínima para levar a uma previsão de modelo diferente)
Visão geral do modelo > análise de dados Entender a causa raiz de erros e problemas de imparcialidade introduzidos por meio de desequilíbrios de dados ou falta de representação de uma coorte de dados específica
Visão geral do modelo –> Interpretabilidade Diagnosticar erros de modelo por meio da compreensão de como o modelo fez suas previsões
Análise de dados > inferência causal Para distinguir entre correlações e causalidades nos dados ou decidir os melhores tratamentos a serem aplicados para ver um resultado positivo
Interpretabilidade –> Inferência Causal Para saber se os fatores usados pelo modelo para a tomada de decisão têm algum efeito causal sobre o resultado do mundo real.
Análise de dados > análise contrafactual e teste de hipóteses Para responder a perguntas do cliente sobre o que ele pode fazer na próxima vez para obter um resultado diferente de um sistema de IA

Quem deve usar o painel de IA Responsável?

As seguintes pessoas podem usar IA Responsável e seu Scorecard de IA Responsável correspondente para criar confiança com sistemas de IA:

  • Profissionais de aprendizado de máquina e cientistas de dados interessados em depurar e melhorar seus modelos de machine learning antes da implantação
  • Profissionais de aprendizado de máquina e cientistas de dados interessados em compartilhar seus registros de integridade de modelo com gerentes de produto e partes interessadas nos negócios para criar confiança e receber permissões de implantação
  • Gerentes de produto e partes interessadas de negócios que estão revisando modelos de machine learning antes da implantação
  • Profissionais de avaliação de risco que estão revisando modelos de machine learning para entender os problemas de imparcialidade e confiabilidade
  • Provedores de soluções de IA que desejam explicar as decisões de modelo aos usuários ou ajudá-los a melhorar o resultado
  • Profissionais em espaços fortemente regulamentados que precisam examinar modelos de machine learning com reguladores e auditores

Cenários e limitações com suporte

  • Atualmente, o painel de IA Responsável dá suporte a modelos de regressão e classificação (binários e de várias classes) treinados em dados estruturados tabulares.
  • Atualmente, o painel de IA Responsável dá suporte a modelos MLflow registrados no Microsoft Azure Machine Learning com uma variante sklearn (scikit-learn). Os modelos scikit-learn devem implementar métodos predict()/predict_proba() ou o modelo deve ser encapsulado em uma classe que implementa métodos predict()/predict_proba(). Os modelos precisam ser carregáveis no ambiente do componente.
  • No momento, o painel de IA Responsável visualiza até 5 mil pontos de dados na interface do usuário do painel. Você deve reduzir o conjunto de dados para 5 mil ou menos antes de passá-lo para o painel.
  • As entradas do conjunto de dados para o painel do AI responsável devem ser DataFrames pandas no formato Parquet. Atualmente, não há suporte para dados esparsos NumPy e SciPy.
  • Atualmente, o painel de IA Responsável dá suporte a recursos numéricos ou categóricos. Para recursos categóricos, o usuário precisa especificar explicitamente os nomes de recursos.
  • Atualmente, o painel de IA Responsável não dá suporte a conjuntos de dados com mais de 10 mil colunas.
  • Atualmente, o Painel de IA responsável não dá suporte ao modelo MLFlow do AutoML.
  • Atualmente, o painel de IA Responsável não oferece suporte aos modelos AutoML registrados na interface do usuário.

Próximas etapas