Comparteix a través de


Categorías de daños en Azure AI Content Safety

En esta guía se describen todas las categorías de daños y clasificaciones que Seguridad del contenido de Azure AI usa para marcar el contenido. Tanto el contenido de texto como de imagen usan el mismo conjunto de marcas.

Categorías de daños

Content Safety reconoce cuatro categorías distintas de contenido censurable.

Category Descripción Término de API
Odio y equidad Los daños de odio y equidad hacen referencia a cualquier contenido que ataque o use lenguaje discriminatorio con referencia a una persona o grupo de identidades basado en determinados atributos diferenciadores de estos grupos.

Entre otras cosas, esto incluye:
  • Raza, etnia o nacionalidad
  • Identidad y expresión de género
  • Orientación sexual
  • Religión
  • Apariencia personal y tamaño corporal
  • Estado de capacidad
  • Acoso
Hate
Sexual Sexual describe el lenguaje relacionado con los órganos anatómicos y los genitales, las relaciones románticas y los actos sexuales, los actos representados en términos eróticos o afectuosos, incluidos los representados como una agresión o un acto violento sexual forzado contra la propia voluntad. 

 Entre otras cosas, esto incluye:
  • Contenido vulgar
  • Prostitución
  • Desnudos y pornografía
  • Abuso
  • Captación, abuso y explotación infantil
Sexual
Violencia La violencia describe el lenguaje relacionado con acciones físicas destinadas a herir, lesionar, dañar o matar a alguien o algo; describe armas, armas y entidades relacionadas.

Entre otras cosas, nos ocupamos de:
  • Armas
  • Acoso e intimidación
  • Terrorismo y extremismo violento
  • Acecho
Violence
Autolesiones Autolesión describe el lenguaje relacionado con acciones físicas destinadas a herir, lesionar o dañar intencionadamente su propio cuerpo o a suicidarse.

Entre otras cosas, nos ocupamos de:
  • Trastornos alimentarios
  • Acoso e intimidación
SelfHarm

La clasificación puede tener varias etiquetas. Por ejemplo, cuando una muestra de texto pasa a través del modelo de moderación de textos, podría clasificarse como contenido sexual y violencia.

Niveles de gravedad

Cada categoría de daño que el servicio aplica también incluye una clasificación de nivel de gravedad. El nivel de gravedad está pensado para indicar la gravedad de las consecuencias de mostrar el contenido marcado.

Texto: la versión actual del modelo de texto admite la escala de gravedad completa de 0 a 7. El clasificador detecta entre todas las gravedades a lo largo de esta escala. Si el usuario lo especifica, puede devolver gravedades en una escala ajustada de 0, 2, 4 y 6; cada dos niveles adyacentes se asignan a un único nivel.

  • [0,1] ->0
  • [2,3] ->2
  • [4,5] ->4
  • [6,7] ->6

Imagen: la versión actual del modelo de imagen admite una versión ajustada de la escala completa de gravedad 0-7. El clasificador solo devuelve las gravedades 0, 2, 4 y 6.

  • 0
  • 2
  • 4
  • 6

Imagen con texto: la versión actual del modelo multimodal admite la escala de gravedad completa de 0 a 7. El clasificador detecta entre todas las gravedades a lo largo de esta escala. Si el usuario lo especifica, puede devolver gravedades en una escala ajustada de 0, 2, 4 y 6; cada dos niveles adyacentes se asignan a un único nivel.

  • [0,1] ->0
  • [2,3] ->2
  • [4,5] ->4
  • [6,7] ->6

Contenido de texto

Advertencia

La pestaña Definiciones de gravedad de este documento contiene ejemplos de contenido dañino que puede resultar preocupante para algunos lectores.

Contenido de la imagen

Advertencia

La pestaña Definiciones de gravedad de este documento contiene ejemplos de contenido dañino que puede resultar preocupante para algunos lectores.

Contenido (imagen con texto) multimodal

Advertencia

La pestaña Definiciones de gravedad de este documento contiene ejemplos de contenido dañino que puede resultar preocupante para algunos lectores.

Pasos siguientes

Siga un inicio rápido para empezar a usar seguridad del contenido de Azure AI en la aplicación.