Desenvolvimento de Aplicações e Funcionalidades Responsáveis de IA Generativa no Windows

Este documento apresenta uma visão geral das práticas recomendadas de desenvolvimento responsável a utilizar ao criar aplicações e funcionalidades no Windows com inteligência artificial generativa.

Microsoft Foundry no Windows modelos de IA generativa no dispositivo podem ajudá-lo a impor funcionalidades de segurança de conteúdo local, como motores de classificação no dispositivo para conteúdo prejudicial e uma lista de bloqueios predefinida. A Microsoft dá prioridade ao apoio dos programadores para construir experiências de IA seguras e fiáveis com modelos locais no Windows.

Diretrizes para o desenvolvimento responsável de aplicações e funcionalidades de IA generativa no Windows

Todas as equipas da Microsoft seguem princípios e práticas fundamentais para construir e implementar IA de forma responsável, incluindo o Windows. Pode ler mais sobre a abordagem da Microsoft ao desenvolvimento responsável no Microsoft Responsible AI Transparency Report. O Windows segue pilares fundamentais do desenvolvimento da RAI — governar, mapear, medir e gerir — que estão alinhados com o Quadro de Gestão de Riscos de IA do National Institute for Standards and Technology (NIST).

Governar - Políticas, práticas e processos

As normas são a base dos processos de governança e conformidade. Microsoft desenvolveu a sua própria Padrão de IA Responsável, incluindo seis princípios que pode usar como ponto de partida para desenvolver as suas diretrizes para IA responsável. Recomendamos que você crie princípios de IA em seu ciclo de vida de desenvolvimento de ponta a ponta, bem como em seus processos e fluxos de trabalho para conformidade com leis e regulamentos em privacidade, segurança e IA responsável. Isto abrange desde a avaliação inicial de cada funcionalidade de IA, utilizando ferramentas como a Checklist de Equidade de IA AI e Diretrizes para Interação Humano-IA - Investigação Microsoft, até à monitorização e revisão de benchmarks, testes e processos de IA, utilizando ferramentas como o Responsible AI scorecard, a documentação pública sobre as capacidades e limitações das suas funcionalidades de IA e divulgação e controlos do utilizador — aviso, consentimento, recolha e processamento de dados, etc. — em conformidade com as leis de privacidade, requisitos legais/regulamentares e políticas aplicáveis.

Mapa - Identificar o risco

As práticas recomendadas para a identificação de riscos incluem:

Testes de ponta a ponta

Os testes de ponta a ponta avaliam todo o sistema de IA do início ao fim para garantir que ele opere como pretendido e siga os padrões estabelecidos. Esta abordagem global pode incluir:

Equipa vermelha

O termo red teaming historicamente descreve ataques adversários sistemáticos para testar vulnerabilidades de segurança. Mais recentemente, o termo se estendeu além da cibersegurança tradicional e evoluiu no uso comum para descrever muitos tipos de sondagem, teste e ataque de sistemas de IA.

Com modelos de linguagem grandes (LLMs) e modelos de linguagem pequena (SLMs), o uso benigno e adversarial pode produzir resultados potencialmente nocivos que podem assumir muitas formas, incluindo discurso de ódio, incitação ou glorificação da violência ou conteúdo sexual. O agrupamento vermelho completo permite que você teste seu sistema e refine sua estratégia de conteúdo para diminuir a possibilidade de que seu sistema cause danos.

Todos os sistemas de IA devem passar por testes de equipe vermelha, dependendo da função e finalidade, tanto para sistemas de alto risco que empregam IA generativa quanto para sistemas de baixo risco que usam IA não generativa:

  • Formal red teaming: O red teaming independente deve ser concluído para todos os sistemas de alto risco que empregam IA generativa usando modelos de linguagem grande (LLMs). O red teaming formal inclui o recrutamento de profissionais fora da sua organização para participar em atividades de red teaming.

  • de agrupamento vermelho interno: No mínimo, planeje o agrupamento vermelho interno para todos os sistemas de IA não generativos e de menor risco. Isso pode ser feito por pessoas dentro da sua organização.

Saiba mais sobre red teaming e como avaliar as necessidades de red teaming do seu sistema: Microsoft AI Red Team

Avaliação do modelo

Como parte dos testes de ponta a ponta, é importante avaliar o modelo em si.

  • Cartão de Modelo: Para modelos disponíveis publicamente, como os do Hugging Face, pode consultar o Cartão de Modelo de cada modelo como referência útil para perceber se um modelo é o certo para o seu caso de uso. Leia mais sobre Model Cards.

  • Teste manual: Humanos realizando testes passo-a-passo sem scripts é um componente importante da avaliação de modelos que suporta...

    • Medir os progressos num pequeno conjunto de questões prioritárias. Ao mitigar danos específicos, geralmente é mais produtivo continuar verificando manualmente o progresso em relação a um pequeno conjunto de dados até que o dano não seja mais observado antes de passar para a medição automatizada.

    • Definir e relatar métricas até que a medição automatizada seja confiável o suficiente para serem usadas sozinhas.

    • Verificação pontual periódica para medir a qualidade da medição automática.

  • Testes automatizados: O teste executado automaticamente também é um componente importante da avaliação de modelos que suporta...

    • Medição em larga escala com maior cobertura para fornecer resultados mais abrangentes.

    • Medição contínua para monitorar qualquer regressão à medida que o sistema, o uso e as mitigações evoluem.

  • Seleção de modelos: Selecione um modelo adequado ao seu propósito e eduque-se para compreender as suas capacidades, limitações e potenciais desafios de segurança. Ao testar o seu modelo, certifique-se de que produz resultados adequados à sua utilização. Para começar, os destinos para fontes de modelos Microsoft (e não Microsoft/open source) incluem:

Medida - Avaliar riscos e mitigação

As práticas recomendadas incluem:

  • Atribuir umde Moderador de Conteúdo: o Moderador de Conteúdo verifica o conteúdo de texto, imagem e vídeo em busca de material potencialmente ofensivo, arriscado ou indesejável no conteúdo. Saiba mais: Introdução ao Moderador de Conteúdos (Microsoft Learn Training).

    • Use filtros de segurança de conteúdo: Este conjunto de modelos de classificação multiclasse deteta quatro categorias de conteúdo nocivo (violência, ódio, violência sexual e automutilação) em vários níveis de gravidade (baixa, média e alta). Saiba mais: Como configurar filtros de conteúdo com Azure OpenAI Service.

    • Aplicar um meta-prompt: Um meta-prompt é uma mensagem do sistema incluída no início do prompt e é usada para inicializar o modelo com contexto, instruções ou outras informações relevantes para o seu caso de utilização. Estas instruções são usadas para orientar o comportamento do modelo. Descubra mais: Criação de diretrizes de segurança eficazes com metaprompt / engenharia de mensagens sistêmicas.

    • Utilize listas de bloqueio: Isso bloqueia o uso de certos termos ou padrões em um prompt. Saiba mais: Usa uma lista de bloqueios no Azure OpenAI.

    • Familiarize-se com a proveniência do modelo: Proveniência é a história de propriedade de um modelo, ou o quem-que-onde-quando, e é muito importante entender. Quem coletou os dados em um modelo? A quem se referem os dados? Que tipo de dados são utilizados? Onde foram recolhidos os dados? Quando foram recolhidos os dados? Saber de onde vieram os dados do modelo pode ajudá-lo a avaliar sua qualidade, confiabilidade e evitar qualquer uso de dados antiético, injusto, tendencioso ou impreciso.

    • Utilize um processo padrão: use um processo de moderação de conteúdo em vez de reunir partes aos poucos. Saiba mais: O que são Azure Machine Learning pipelines?.

  • Aplicarinterface do usuárioatenuações: Eles fornecem clareza importante para o usuário sobre os recursos e limitações de um recurso baseado em IA. Para ajudar os usuários e fornecer transparência sobre seu recurso, você pode:

    • Incentive os usuários a editar as saídas antes de aceitá-las

    • Destaque possíveis imprecisões nas saídas de IA

    • Divulgar o papel da IA na interação

    • Citar referências e fontes

    • Limitar o comprimento da entrada e da saída, quando adequado

    • Fornecer estrutura de entrada ou saída – os prompts devem seguir um formato padrão

    • Prepare respostas pré-determinadas para solicitações controversas.

  • Implementar ciclos de feedback do cliente: Incentive seus usuários a se envolverem ativamente em ciclos de feedback:

    • Peça feedback diretamente no seu aplicativo/produto usando um mecanismo de feedback simples que está disponível no contexto como parte da experiência do usuário.

    • Aplique técnicas de social listening nos canais que seus clientes usam para conversas iniciais sobre problemas de recursos, preocupações e possíveis danos.

Gerenciar - Mitigar riscos de IA

As recomendações para mitigar os riscos de IA incluem:

  • Monitoramento de abuso: Esta metodologia deteta e atenua casos de conteúdo e/ou comportamentos recorrentes que sugerem que um serviço foi utilizado de uma forma que pode violar o Código de Conduta ou outros termos de produtos aplicáveis. Saiba mais: Monitoramento de Abuso.

  • Entrega em fases: Implemente a sua solução de inteligência artificial de forma gradual para lidar com relatórios e preocupações recebidos.

  • Plano de resposta a incidentes: Para cada risco de alta prioridade, avalie o que acontecerá e quanto tempo levará para responder a um incidente, e como será o processo de resposta.

  • Capacidade de desativar o recurso ou o sistema: Forneça funcionalidade para desativar o recurso se um incidente estiver prestes ou tiver ocorrido que exija pausar a funcionalidade para evitar mais danos.

  • Controles de acesso do usuário/bloqueio: Desenvolva uma maneira de bloquear usuários que estão usando indevidamente um sistema.

  • Feedback do usuário: utilize mecanismos para detetar problemas do lado do usuário.

    • Peça feedback diretamente no seu produto, com um mecanismo de feedback simples que está disponível no contexto de um fluxo de trabalho típico.

    • Aplique técnicas de social listening nos canais que seus clientes usam para conversas iniciais sobre problemas de recursos, preocupações e possíveis danos.

  • Implantação responsável de dados de telemetria: Identificar, coletar e monitorar sinais que indicam a satisfação do usuário ou sua capacidade de usar o sistema conforme pretendido, garantindo que você siga as leis, políticas e compromissos de privacidade aplicáveis. Use dados de telemetria para identificar lacunas e melhorar o sistema.

Ferramentas e recursos

  • Last updated on