Diretrizes para integração e uso responsável do Personalizador

Importante

A partir de 20 de setembro de 2023, você não poderá criar novos recursos do Personalizador. O serviço Personalizador está sendo desativado em 1º de outubro de 2026. Recomendamos migrar para o software livre microsoft/learning-loop.

Microsoft funciona para ajudar os clientes a desenvolver e implantar soluções com responsabilidade usando Personalizador de IA do Azure. Nossa abordagem baseada em princípios defende a agência pessoal e a dignidade ao considerar o sistema de IA:

• Imparcialidade, confiabilidade e segurança.
• Privacidade e segurança.
• Inclusão.
• Transparência.
• Responsabilidade humana.

Essas considerações refletem nosso compromisso com o desenvolvimento de IA responsável.

Diretrizes gerais para princípios de integração e uso responsável

Quando você se preparar para integrar e usar com responsabilidade produtos ou recursos habilitados para IA, as seguintes atividades vão prepará-lo para o sucesso:

• Entenda o que pode fazer. Avalie completamente o potencial do Personalizador para entender seus recursos e suas limitações. Entenda como ele será executado em seu cenário e contexto específicos testando-o completamente com condições e dados da vida real.

• Respeite o direito de privacidade de um indivíduo. Colete apenas dados e informações de indivíduos para fins legais e justificáveis. Use apenas dados e informações que você tenha consentimento para usar para essa finalidade.

• Obtenha revisão legal. Obtenha a orientação jurídica apropriada para examinar o Personalizador e como você o está usando em sua solução, especialmente se usá-lo em aplicativos confidenciais ou de alto risco. Entenda quais restrições você pode precisar para trabalhar e sua responsabilidade de resolver quaisquer problemas que possam surgir no futuro.

• Tenha um ser humano envolvido no processo. Inclua a supervisão humana como uma área de padrão consistente a ser explorada. Garanta a supervisão humana constante do produto ou recurso habilitado por IA. Mantenha a função das pessoas na tomada de decisões. Verifique se você pode ter uma intervenção humana em tempo real na solução para evitar danos e gerenciar situações em que o sistema de IA não funciona conforme o esperado.

• Crie confiança com os stakeholders afetados. Comunique os benefícios esperados e os possíveis riscos aos stakeholders afetados. Ajude as pessoas a entender por que os dados são necessários e como o uso desses dados resultará em benefícios. Descreva o tratamento de dados de uma maneira compreensível.

• Crie um loop de comentários do cliente. Forneça um canal de comentários que permita que usuários e indivíduos relatem problemas com o serviço após sua implantação. Depois de implantar um produto ou recurso habilitado para IA, ele requer monitoramento e aprimoramento contínuos. Esteja pronto para implementar comentários e sugestões de melhoria. Estabeleça canais para coletar perguntas e preocupações dos stakeholders afetados. As pessoas que podem ser afetadas direta ou indiretamente pelo sistema incluem funcionários, visitantes e o público em geral.

• Comentários: busque comentários de uma amostragem diversificada da comunidade durante o processo de desenvolvimento e avaliação (por exemplo, grupos historicamente marginalizados, pessoas com deficiências e trabalhos de serviço). Para obter mais informações, consulte Júri Comunitário.

• Estudo do usuário: todas as recomendações de consentimento ou divulgação devem ser enquadradas em um estudo do usuário. Avalie a primeira experiência de uso contínuo com uma amostra representativa da comunidade para validar se as escolhas de design levam à divulgação efetiva. Realize uma pesquisa de usuários com 10 a 20 membros da comunidade (stakeholders afetados) para avaliar sua compreensão das informações e determinar se suas expectativas são atendidas.

• Transparência & explicabilidade: considere ativar e utilizar o recurso de explicabilidade de inferência do Personalizador para compreender melhor quais características desempenham um papel significativo na escolha da decisão do Personalizer em cada chamada de classificação. Essa funcionalidade permite que você forneça transparência aos usuários sobre o papel desempenhado pelos dados na produção da melhor ação recomendada. Por exemplo, você pode dar a seus usuários um botão chamado Por que essas sugestões? que mostra quais recursos principais desempenharam um papel na produção dos resultados do Personalizador. Essas informações também podem ser usadas para entender melhor quais atributos de dados sobre usuários, contextos e ações estão funcionando a favor da escolha da melhor ação do Personalizador, quais estão funcionando contra ela e quais podem ter pouco ou nenhum efeito. Essa funcionalidade também pode fornecer insights sobre os segmentos de usuário e ajudar a identificar e abordar possíveis vieses.

• Uso adversarial: considere estabelecer um processo para detectar e agir sobre manipulação mal-intencionada. Há atores que aproveitarão o machine learning e a capacidade dos sistemas de IA para aprender com seu ambiente. Com ataques coordenados, eles podem falsificar artificialmente padrões de comportamento que deslocam os dados e os modelos de IA para seus objetivos. Se o uso do Personalizador influenciar escolhas importantes, certifique-se de ter os meios apropriados para detectar e mitigar esses tipos de ataques.

• Recusar: considere fornecer um controle para que os usuários optem por não receber recomendações personalizadas. Para esses usuários, a API de Classificação do Personalizador não será chamada do aplicativo. Em vez disso, o aplicativo pode usar um mecanismo alternativo para decidir qual ação é tomada. Por exemplo, ao recusar recomendações personalizadas e escolher a ação padrão ou de referência, o usuário experimentará a ação que seria executada sem a recomendação do Personalizador. Como alternativa, o aplicativo pode usar recomendações com base em medidas agregadas ou baseadas em população (por exemplo, tendências atuais, os dez mais populares etc.).

Sua responsabilidade

Todas as diretrizes para a implementação responsável são desenvolvidas considerando que os desenvolvedores e as empresas que usam o Personalizador são responsáveis pelos efeitos do uso desses algoritmos na sociedade. Se você estiver desenvolvendo um aplicativo que sua organização implantará, deverá reconhecer sua função e responsabilidade por sua operação e como ele afeta as pessoas. Se você estiver criando um aplicativo para ser implantado por um terceiro, chegue a um acordo sobre quem é o responsável pelo comportamento do aplicativo. Certifique-se de documentar esse entendimento.

Perguntas e comentários

Microsoft está atualizando continuamente ferramentas e documentos para ajudá-lo a agir sobre essas responsabilidades. Nossa equipe convida você a fornecer comentários à Microsoft se você acredita que outras ferramentas, funcionalidades de produtos e documentos ajudariam na implementação dessas diretrizes para usar o Personalizador.

Leitura recomendada

• Confira os seis princípios de Microsoft para o desenvolvimento responsável da IA publicado no livro de janeiro de 2018, The Future Computed.

Próximas etapas

Entenda como a API do Personalizador recebe recursos: Recursos: ação e contexto