Partilhar via


Categorias de danos na Segurança de Conteúdo do Azure AI

Este guia descreve todas as categorias e classificações de danos que a Segurança de Conteúdo do Azure AI usa para sinalizar conteúdo. O conteúdo de texto e imagem usa o mesmo conjunto de sinalizadores.

Categorias de danos

A Segurança de Conteúdo reconhece quatro categorias distintas de conteúdo censurável.

Categoria Description Termo da API
Ódio e justiça Os danos relacionados ao ódio e à equidade referem-se a qualquer conteúdo que ataque ou use linguagem discriminatória com referência a uma pessoa ou grupo de identidade com base em certos atributos diferenciadores desses grupos.

Isto inclui, mas não está limitado a:
  • Raça, etnia, nacionalidade
  • Grupos e expressão de identidade de género
  • Orientação sexual
  • Religião
  • Aparência pessoal e tamanho do corpo
  • Estatuto de deficiência
  • Assédio e intimidação
Hate
Sexual Sexual descreve linguagem relacionada a órgãos anatômicos e genitais, relacionamentos românticos e atos sexuais, atos retratados em termos eróticos ou afetuosos, incluindo aqueles retratados como uma agressão ou um ato sexual violento forçado contra a vontade. 

 Isto inclui, mas não está limitado a:
  • Conteúdo vulgar
  • Prostituição
  • Nudez e pornografia
  • Abuso
  • Exploração infantil, abuso de crianças, aliciamento de crianças
Sexual
Violência A violência descreve a linguagem relacionada a ações físicas destinadas a ferir, ferir, danificar ou matar alguém ou algo; descreve armas, armas e entidades relacionadas.

Isso inclui, mas não está limitado a:
  • Armas
  • Intimidação e intimidação
  • Extremismo terrorista e violento
  • Perseguição
Violence
Automutilação A automutilação descreve a linguagem relacionada com ações físicas destinadas a ferir, ferir, danificar o corpo ou matar-se propositadamente.

Isso inclui, mas não está limitado a:
  • Transtornos Alimentares
  • Intimidação e intimidação
SelfHarm

A classificação pode ser multi-labeled. Por exemplo, quando uma amostra de texto passa pelo modelo de moderação de texto, ela pode ser classificada como Conteúdo sexual e Violência.

Níveis de severidade

Cada categoria de dano que o serviço aplica também vem com uma classificação de nível de gravidade. O nível de severidade destina-se a indicar a gravidade das consequências de mostrar o conteúdo sinalizado.

Texto: A versão atual do modelo de texto suporta a escala de gravidade completa de 0 a 7. O classificador deteta entre todas as gravidades ao longo desta escala. Se o usuário especificar, ele pode retornar gravidades na escala aparada de 0, 2, 4 e 6; Cada dois níveis adjacentes são mapeados para um único nível.

  • [0,1] ->0
  • [2,3] ->2
  • [4,5] ->4
  • [6,7] ->6

Imagem: A versão atual do modelo de imagem suporta a versão cortada da escala de gravidade completa de 0 a 7. O classificador só devolve as gravidades 0, 2, 4 e 6.

  • 0
  • 2
  • 4
  • 6

Imagem com texto: A versão atual do modelo multimodal suporta a escala de gravidade completa de 0 a 7. O classificador deteta entre todas as gravidades ao longo desta escala. Se o usuário especificar, ele pode retornar gravidades na escala aparada de 0, 2, 4 e 6; Cada dois níveis adjacentes são mapeados para um único nível.

  • [0,1] ->0
  • [2,3] ->2
  • [4,5] ->4
  • [6,7] ->6

Conteúdo do texto

Aviso

A guia Definições de gravidade neste documento contém exemplos de conteúdo prejudicial que pode ser perturbador para alguns leitores.

Conteúdo da imagem

Aviso

A guia Definições de gravidade neste documento contém exemplos de conteúdo prejudicial que pode ser perturbador para alguns leitores.

Conteúdo multimodal (imagem com texto)

Aviso

A guia Definições de gravidade neste documento contém exemplos de conteúdo prejudicial que pode ser perturbador para alguns leitores.

Próximos passos

Siga um início rápido para começar a usar o Azure AI Content Safety em seu aplicativo.