Usar o monitoramento de riscos e segurança no Estúdio do OpenAI do Azure (versão prévia)
Ao usar uma implantação de modelo do OpenAI do Azure com um filtro de conteúdo, convém verificar os resultados da atividade de filtragem. É possível usar essas informações para ajustar ainda mais a configuração de filtro a fim de atender às suas necessidades comerciais específicas e aos princípios da IA responsável.
O Estúdio do OpenAI do Azure fornece um painel de monitoramento de riscos e segurança para cada uma das implantações que utiliza uma configuração de filtro de conteúdo.
Acessar o monitoramento de riscos e segurança
Para acessar o monitoramento de riscos e segurança, você precisa de um recurso do OpenAI do Azure em uma das regiões do Azure com suporte: Leste dos EUA, Norte da Suíça, França Central, Suécia Central, Leste do Canadá. Você também precisa de uma implantação de modelo que use uma configuração de filtro de conteúdo.
Acesse o Estúdio do OpenAI do Azure e entre com as credenciais associadas ao recurso do OpenAI do Azure. Selecione a guia Implantações à esquerda e clique na sua implantação de modelo na lista. Na página da implantação, selecione a guia Riscos e segurança na parte superior.
Detecção de conteúdo
O painel Detecção de conteúdo mostra informações sobre a atividade de filtro de conteúdo. A configuração do filtro de conteúdo é aplicada conforme descrito na documentação de filtragem de conteúdo.
Descrição do relatório
Os dados de filtragem de conteúdo são mostrados das seguintes maneiras:
- Contagem total de solicitações bloqueadas e taxa de bloqueio: esta é uma exibição global da quantidade e da taxa de conteúdos filtrados ao longo do tempo. Ela ajuda você a entender as tendências de solicitações prejudiciais dos usuários e exibe qualquer atividade inesperada.
- Solicitações bloqueadas por categoria: esta exibição mostra a quantidade de conteúdos bloqueados em cada categoria. Essa é uma estatística total de solicitações prejudiciais em todo o intervalo de tempo selecionado. No momento, ela dá suporte às categorias de danos ódio, sexual, automutilação e violência.
- Taxa de bloqueio ao longo do tempo por categoria: esta exibição mostra a taxa de bloqueio para cada categoria ao longo do tempo. No momento, ela dá suporte às categorias de danos ódio, sexual, automutilação e violência.
- Distribuição de severidade por categoria: esta exibição mostra os níveis de severidade detectados para cada categoria de dano em todo o intervalo de tempo selecionado. Ela não se limita a conteúdos bloqueados, mas inclui todos os conteúdos sinalizados pelos filtros de conteúdo.
- Distribuição da taxa de severidade ao longo do tempo por categoria: esta exibição mostra as taxas de níveis de severidade detectados ao longo do tempo para cada categoria de dano. Selecione as guias para alternar entre as categorias com suporte.
Ações recomendadas
Ajuste a configuração do filtro de conteúdo para se alinhar ainda mais às suas necessidades comerciais e aos princípios da IA responsável.
Detecção de usuário potencialmente abusivo
O painel Detecção de usuário potencialmente abusivo utiliza relatórios de abuso no nível do usuário para mostrar informações sobre usuários que têm um comportamento que resultou no bloqueio de um conteúdo. O objetivo é fornecer uma exibição das fontes de conteúdo prejudicial para que seja possível executar ações responsivas a fim de garantir que o modelo seja usado de maneira responsável.
Descrição do relatório
A detecção de usuário potencialmente abusivo se baseia nas informações do usuário enviadas pelos clientes em chamadas à API do OpenAI do Azure, além de no conteúdo da solicitação. Os seguintes insights são mostrados:
- Contagem total de usuários potencialmente abusivos: esta exibição mostra o número de usuários potencialmente abusivos detectados ao longo do tempo. Estes são usuários para os quais um padrão de abuso foi detectado e que podem introduzir alto risco.
Próximas etapas
Em seguida, crie ou edite uma configuração de filtro de conteúdo no Estúdio do OpenAI do Azure.