Share via

Monitorização de Abusos

  • Artigo

O Serviço Azure OpenAI deteta e atenua instâncias de conteúdo e/ou comportamentos recorrentes que sugerem a utilização do serviço de uma forma que pode violar o Código de Conduta ou outros termos de produto aplicáveis. Detalhes sobre como os dados são tratados podem ser encontrados na página Dados, Privacidade e Segurança. Solicite o monitoramento de abuso modificado usando este formulário: Azure OpenAI Limited Access Review: Modified Abuse Monitoring.

Componentes da monitorização de abusos

Existem vários componentes para abusar do monitoramento:

  • Classificação de conteúdo: Os modelos de classificadores detetam linguagem e/ou imagens prejudiciais em prompts do usuário (entradas) e finalizações (saídas). O sistema procura categorias de danos, conforme definido nos Requisitos de conteúdo, e atribui níveis de gravidade conforme descrito com mais detalhes na página Filtragem de conteúdo.

  • Captura de Padrão de Abuso: o monitoramento de abuso do Serviço OpenAI do Azure analisa os padrões de uso do cliente e emprega algoritmos e heurísticas para detetar indicadores de abuso potencial. Os padrões detetados consideram, por exemplo, a frequência e a gravidade com que o conteúdo nocivo é detetado nas solicitações e conclusões de um cliente.

  • Revisão e decisão humana: quando solicitações e/ou conclusões são sinalizadas por meio da classificação de conteúdo e da captura de padrão de abuso, conforme descrito acima, os funcionários autorizados da Microsoft podem avaliar o conteúdo sinalizado e confirmar ou corrigir a classificação ou determinação com base em diretrizes e políticas predefinidas. Os dados podem ser acessados para revisão humana somente por funcionários autorizados da Microsoft por meio de estações de trabalho de acesso seguro (SAWs) com aprovação de solicitação Just-In-Time (JIT) concedida pelos gerentes de equipe. Para os recursos do Serviço OpenAI do Azure implantados no Espaço Econômico Europeu, os funcionários autorizados da Microsoft estão localizados no Espaço Econômico Europeu.

  • Notificação e ação: Quando um limiar de comportamento abusivo é confirmado com base nas três etapas anteriores, o cliente é informado da determinação por e-mail. Exceto em casos de abuso grave ou recorrente, os clientes normalmente têm a oportunidade de explicar ou remediar — e implementar mecanismos para evitar a recorrência — do comportamento abusivo. A falha em abordar o comportamento — ou abuso recorrente ou grave — pode resultar na suspensão ou encerramento do acesso do cliente aos recursos e/ou capacidades do Azure OpenAI.

Próximos passos