Compartilhar via


Categorias de danos no Content Safety de IA do Azure

Este guia descreve todas as categorias de danos e classificações que a Segurança de Conteúdo de IA do Azure usa para sinalizar o conteúdo. O conteúdo de texto e imagem usa o mesmo conjunto de sinalizadores.

Categorias de danos

O Content Safety reconhece quatro categorias distintas de conteúdo questionável.

Categoria Descrição Termo da API
Ódio e imparcialidade Danos relacionados ao ódio e à imparcialidade refere-se a qualquer conteúdo que ataque ou use linguagem discriminatória com referência a uma pessoa ou grupo de identidade com base em certos atributos de diferenciação desses grupos.

Eles incluem, entre outros:
  • Raça, etnia, nacionalidade
  • Expressão e grupos de identidade de gênero
  • Orientação sexual
  • Religião
  • Aparência pessoal e tamanho do corpo
  • Status de deficiência
  • Assédio e bullying
Hate
Sexual A categoria de conteúdo sexual descreve a linguagem relacionada a órgãos anatômicos e genitais, relacionamentos românticos e atos sexuais, atos retratados em termos eróticos ou afetuosos, incluindo aqueles retratados como agressão ou ato sexual violento forçado contra a vontade. 

 Eles incluem, entre outros:
  • Conteúdo vulgar
  • Prostituição
  • Nudez e pornografia
  • Abuso
  • Exploração, abuso e aliciamento infantil
Sexual
Violência A categoria de violência descreve a linguagem relacionada a ações físicas destinadas a ferir, machucar, lesar ou matar alguém ou algo; descreve armas e entidades relacionadas.

Isto inclui, mas não está limitado a:
  • Armas
  • Bullying e intimidação
  • Extremismo terrorista e violento
  • Perseguição
Violence
Automutilação A automutilação descreve a linguagem relacionada a ações físicas destinadas a ferir, danificar propositalmente o próprio corpo ou se matar.

Isto inclui, mas não está limitado a:
  • Distúrbios alimentares
  • Bullying e intimidação
SelfHarm

A classificação pode ter vários rótulos. Por exemplo, quando uma amostra de texto passa pelo modelo de moderação de texto, ela pode ser classificada como Conteúdo sexual e Violência.

Níveis de severidade

Cada categoria de dano que o serviço aplica também vem com uma classificação de nível de severidade. O nível de severidade deve indicar a gravidade das consequências de mostrar o conteúdo sinalizado.

Texto: a versão atual do modelo de texto dá suporte à escala de gravidade completa de 0 a 7. O classificador detecta entre todas as severidades ao longo dessa escala. Se o usuário especificar, ele poderá retornar severidades na escala cortada de 0, 2, 4 e 6; cada dois níveis adjacentes são mapeados para um único nível.

  • [0,1] ->0
  • [2,3] ->2
  • [4,5] ->4
  • [6,7] ->6

Imagem: A versão atual do modelo de imagem dá suporte à versão cortada da escala de severidade completa de 0 a 7. O classificador retorna apenas as severidades 0, 2, 4 e 6.

  • 0
  • 2
  • 4
  • 6

Imagem com texto: a versão atual do modelo multimodal dá suporte à escala de severidade completa de 0 a 7. O classificador detecta entre todas as severidades ao longo dessa escala. Se o usuário especificar, ele poderá retornar severidades na escala cortada de 0, 2, 4 e 6; cada dois níveis adjacentes são mapeados para um único nível.

  • [0,1] ->0
  • [2,3] ->2
  • [4,5] ->4
  • [6,7] ->6

Conteúdo de texto

Aviso

A guia Definições de severidade neste documento contém exemplos de conteúdo prejudicial que podem ser perturbadores para alguns leitores.

Conteúdo da imagem

Aviso

A guia Definições de severidade neste documento contém exemplos de conteúdo prejudicial que podem ser perturbadores para alguns leitores.

Conteúdo multimodal (imagem com texto)

Aviso

A guia Definições de severidade neste documento contém exemplos de conteúdo prejudicial que podem ser perturbadores para alguns leitores.

Próximas etapas

Siga um guia de início rápido para começar a usar a Segurança de Conteúdo de IA do Azure em seu aplicativo.