Monitoramento de Abuso

  • Artigo

O Serviço OpenAI do Azure detecta e atenua instâncias de conteúdo recorrente e/ou comportamentos que sugerem o uso do serviço de maneira que possa violar o Código de Conduta ou outros termos do produto aplicáveis. Detalhes sobre como os dados são tratados podem ser encontrados na página Dados, Privacidade e Segurança. Aplique-se ao monitoramento de abuso modificado usando este formulário: Revisão de Acesso Limitado do Azure OpenAI:Monitoramento de Abuso Modificado.

Componentes do monitoramento de abuso

Há vários componentes no monitoramento de abuso:

  • Classificação de conteúdo: os modelos de classificador detectam linguagem e/ou imagens prejudiciais em prompts de usuário (entradas) e conclusões (saídas). O sistema procura categorias de danos conforme definido nos Requisitos de conteúdo e atribui níveis de severidade, conforme descrito em mais detalhes na página Filtragem de conteúdo.

  • Captura de padrões de abuso: o monitoramento de abuso do Serviço OpenAI do Azure examina os padrões de uso do cliente e emprega algoritmos e heurística para detectar indicadores de possíveis abusos. Os padrões detectados consideram, por exemplo, a frequência e a severidade em que o conteúdo prejudicial é detectado nos prompts e conclusões de um cliente.

  • Revisão e decisão humana: quando prompts e/ou conclusões são sinalizados por meio da classificação de conteúdo e captura de padrões de abuso, conforme descrito acima, os funcionários autorizados da Microsoft podem avaliar o conteúdo sinalizado e confirmar ou corrigir a classificação ou determinação com base em diretrizes e políticas predefinidas. Os dados podem ser acessados para revisão humana somente por funcionários autorizados da Microsoft por meio de SAWs (Estações de trabalho de acesso seguro) com aprovação de solicitação JIT (Just-in-time) concedida pelos gerentes de equipe. Para os recursos do Serviço OpenAI do Azure implantados no Espaço Econômico Europeu, os funcionários autorizados da Microsoft estão localizados no Espaço Econômico Europeu.

  • Notificação e ação: quando um limite de comportamento abusivo é confirmado com base nas três etapas anteriores, o cliente é informado da determinação por email. Exceto em casos de abuso severo ou recorrente, os clientes normalmente têm a oportunidade de explicar ou corrigir e implementar mecanismos para evitar a recorrência do comportamento abusivo. A falha em resolver o comportamento, ou abuso severo ou recorrente, pode resultar em suspensão ou encerramento do acesso do cliente aos recursos e/ou funcionalidades do OpenAI do Azure.

Próximas etapas