Partilhar via


Categorias de danos na Segurança de Conteúdo do Azure AI

Este guia descreve todas as categorias e classificações de danos que a Segurança de Conteúdo do Azure AI usa para sinalizar conteúdo. O conteúdo de texto e imagem usa o mesmo conjunto de sinalizadores.

Categorias de danos

A Segurança de Conteúdo reconhece quatro categorias distintas de conteúdo censurável.

Categoria Description
Ódio e justiça Os danos relacionados ao ódio e à equidade referem-se a qualquer conteúdo que ataque ou use linguagem pejorativa ou discriminatória com referência a uma pessoa ou grupo de identidade com base em certos atributos diferenciadores desses grupos, incluindo, entre outros, raça, etnia, nacionalidade, identidade e expressão de gênero, orientação sexual, religião, status de imigração, status de habilidade, aparência pessoal e tamanho do corpo.

A equidade diz respeito a garantir que os sistemas de IA tratam todos os grupos de pessoas de forma equitativa, sem contribuir para as desigualdades societais existentes. À semelhança do discurso de ódio, os danos relacionados com a equidade dependem do tratamento díspar dos grupos identitários.
Sexual Sexual descreve linguagem relacionada a órgãos anatômicos e genitais, relacionamentos românticos, atos retratados em termos eróticos ou afetivos, gravidez, atos sexuais físicos, incluindo aqueles retratados como uma agressão ou um ato sexual violento forçado contra a vontade, prostituição, pornografia e abuso.
Violência A violência descreve a linguagem relacionada a ações físicas destinadas a ferir, ferir, danificar ou matar alguém ou algo; descreve armas, armas e entidades relacionadas, como fabricantes, associações, legislação e assim por diante.
Automutilação A automutilação descreve a linguagem relacionada com ações físicas destinadas a ferir, ferir, danificar o corpo ou matar-se propositadamente.

A classificação pode ser multi-labeled. Por exemplo, quando uma amostra de texto passa pelo modelo de moderação de texto, ela pode ser classificada como Conteúdo sexual e Violência.

Níveis de severidade

Cada categoria de dano que o serviço aplica também vem com uma classificação de nível de gravidade. O nível de severidade destina-se a indicar a gravidade das consequências de mostrar o conteúdo sinalizado.

Texto: A versão atual do modelo de texto suporta a escala de gravidade completa de 0 a 7. O classificador deteta entre todas as gravidades ao longo desta escala. Se o usuário especificar, ele pode retornar gravidades na escala aparada de 0, 2, 4 e 6; Cada dois níveis adjacentes são mapeados para um único nível.

  • [0,1] -> 0
  • [2,3] -> 2
  • [4,5] -> 4
  • [6,7] -> 6

Imagem: A versão atual do modelo de imagem suporta a versão cortada da escala de gravidade completa de 0 a 7. O classificador só devolve as gravidades 0, 2, 4 e 6; Cada dois níveis adjacentes são mapeados para um único nível.

  • [0,1] -> 0
  • [2,3] -> 2
  • [4,5] -> 4
  • [6,7] -> 6

Conteúdo do texto

Aviso

A guia Definições de gravidade neste documento contém exemplos de conteúdo prejudicial que pode ser perturbador para alguns leitores.

Conteúdo da imagem

Aviso

A guia Definições de gravidade neste documento contém exemplos de conteúdo prejudicial que pode ser perturbador para alguns leitores.

Próximos passos

Siga um início rápido para começar a usar o Azure AI Content Safety em seu aplicativo.