Categorías de daños en Azure AI Content Safety
- Artikulua
En esta guía se describen todas las categorías de daños y clasificaciones que Seguridad del contenido de Azure AI usa para marcar el contenido. Tanto el contenido de texto como de imagen usan el mismo conjunto de marcas.
Categorías de daños
Content Safety reconoce cuatro categorías distintas de contenido censurable.
Category | Descripción | Término de API |
---|---|---|
Odio y equidad | Los daños de odio y equidad hacen referencia a cualquier contenido que ataque o use lenguaje discriminatorio con referencia a una persona o grupo de identidades basado en determinados atributos diferenciadores de estos grupos. Entre otras cosas, esto incluye:
|
Hate |
Sexual | Sexual describe el lenguaje relacionado con los órganos anatómicos y los genitales, las relaciones románticas y los actos sexuales, los actos representados en términos eróticos o afectuosos, incluidos los representados como una agresión o un acto violento sexual forzado contra la propia voluntad. Entre otras cosas, esto incluye:
|
Sexual |
Violencia | La violencia describe el lenguaje relacionado con acciones físicas destinadas a herir, lesionar, dañar o matar a alguien o algo; describe armas, armas y entidades relacionadas. Entre otras cosas, nos ocupamos de:
|
Violence |
Autolesiones | Autolesión describe el lenguaje relacionado con acciones físicas destinadas a herir, lesionar o dañar intencionadamente su propio cuerpo o a suicidarse. Entre otras cosas, nos ocupamos de:
|
SelfHarm |
La clasificación puede tener varias etiquetas. Por ejemplo, cuando una muestra de texto pasa a través del modelo de moderación de textos, podría clasificarse como contenido sexual y violencia.
Niveles de gravedad
Cada categoría de daño que el servicio aplica también incluye una clasificación de nivel de gravedad. El nivel de gravedad está pensado para indicar la gravedad de las consecuencias de mostrar el contenido marcado.
Texto: la versión actual del modelo de texto admite la escala de gravedad completa de 0 a 7. El clasificador detecta entre todas las gravedades a lo largo de esta escala. Si el usuario lo especifica, puede devolver gravedades en una escala ajustada de 0, 2, 4 y 6; cada dos niveles adyacentes se asignan a un único nivel.
[0,1]
->0
[2,3]
->2
[4,5]
->4
[6,7]
->6
Imagen: la versión actual del modelo de imagen admite una versión ajustada de la escala completa de gravedad 0-7. El clasificador solo devuelve las gravedades 0, 2, 4 y 6.
0
2
4
6
Imagen con texto: la versión actual del modelo multimodal admite la escala de gravedad completa de 0 a 7. El clasificador detecta entre todas las gravedades a lo largo de esta escala. Si el usuario lo especifica, puede devolver gravedades en una escala ajustada de 0, 2, 4 y 6; cada dos niveles adyacentes se asignan a un único nivel.
[0,1]
->0
[2,3]
->2
[4,5]
->4
[6,7]
->6
Contenido de texto
Advertencia
La pestaña Definiciones de gravedad de este documento contiene ejemplos de contenido dañino que puede resultar preocupante para algunos lectores.
Niveles de gravedad de odio y equidad
Nivel de gravedad | Descripción | Texto de ejemplo |
---|---|---|
Nivel 0 | Contenido en el que se usan términos relacionados con el odio y la equidad en un sentido general y que es adecuado para todos los públicos de destino, incluidos los niños. Esta característica incluye:
|
I hate cats. |
Nivel 1 | Contenido en el que se usan términos relacionados con el odio y la equidad en un sentido general, pero que pueden adquirir un significado diferente en función del contexto, y que no hace distinciones entre grupos de identidad y otras personas de manera sesgada o negativa. Esta característica incluye:
|
Black people should not be killed by police or mistreated just because of their skin color. |
Nivel 2 | Contenido que expresa una caracterización positiva o una actitud protectora hacia grupos de identidad y que suscita una respuesta emocional favorable. Esta característica incluye:
|
I hate you. |
Nivel 3 | Contenido con opiniones negativas o caracterizaciones prejuiciosas, sentenciosas o estereotipadas. Esta característica incluye:
|
I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all. |
Nivel 4 | Contenido con insultos verbales directos motivados por opiniones, comentarios negativos y expresiones racistas usadas como descripciones contra grupos de identidad con la intención de herir a las personas a causa de sus atributos. Esta característica incluye:
|
All [identity group] are ugly. |
Nivel 5 | Contenido que implique la deshumanización o el menosprecio de personas o grupos y que favorezca opiniones negativas a través de comportamientos de deshumanización, violencia, negación de los hechos, acoso o intimidación. Esta característica incluye:
|
The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof. |
Nivel 6 | Contenido basado en opiniones negativas y discurso de odio hacia grupos de identidad. Y que se refieren a las características del grupo que distinguen al grupo de identidad de otras personas e incitan a tomar medidas contra grupos de identidad por sus atributos. Esto puede incluir:
|
Send [identity group] back to the gas chambers. |
Nivel 7 | Contenido basado en una opinión negativa y que manifiesta la intención de cometer delitos de odio y acoso y suscita una respuesta emocional hostil y la distinción entre grupos de identidad y otras personas, lo que conduce a la comisión de delitos. Esta característica incluye:
|
Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because… |
Niveles de gravedad sexual
Nivel de gravedad | Descripción | Texto de ejemplo |
---|---|---|
Nivel 0 | Contenido en el que se usan términos sexuales en un sentido general y que es inofensivo para todos los públicos de destino, incluidos los niños.
|
The sports bra and yoga pants were too tight for comfort. |
Nivel 1 | Contenido en el que se usan términos sexuales en un sentido general, pero que puede adquirir un significado diferente según el contexto. Esto incluye:
|
Fewer young adults are having sex than in previous generations. |
Nivel 2 | Contenido con términos sexuales asociados a experiencias ficticias o reales y que no son extremadamente gráficos. Esto incluye:
|
My husband and I introduced a vibrator to our sex life and it has really made a difference. |
Nivel 3 | Contenido con términos relacionados con el sexo en los casos en que se incluya algún contenido gráfico u opiniones sesgadas, prejuiciosas, críticas o tendenciosas sobre temas relacionados con el sexo. Esto incluye:
|
We made out for a while, and he started to feel me up. I felt a bulge in his pants. |
Nivel 4 | Contenido que describe fantasías sexuales, la industria y la publicidad del sexo profesional y la reproducción animal sexualizada. Esto incluye:
|
I got into BDSM because I had some friends into the lifestyle and it piqued my interest. I like using silk, scarves, collars, and bondage… |
Nivel 5 | Contenido que describe espectáculos o experiencias eróticas como vivencias personales, BDSM con claro consentimiento y relatos y sitios web eróticos. Esto incluye:
|
We both climaxed at the same time. |
Nivel 6 | Contenido que describe la oferta de servicios sexuales comerciales, con descripciones detalladas de la actividad sexual, agresiones sexuales y violaciones, así como intercambio erótico de poder no consentido, abuso y voyerismo. Esto incluye:
|
I love forced sex, it's so much hotter. |
Nivel 7 | Contenido usado para fomentar, aprobar o ensalzar formas extremas de esclavización sexual. Contenido extremo o ilegal. Esto incluye:
|
I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son. |
Niveles de gravedad de violencia
Nivel de gravedad | Descripción | Texto de ejemplo |
---|---|---|
Nivel 0 | Contenido con acciones no violentas o términos relacionados con la violencia usados en un sentido general y que es adecuado para todos los públicos de destino, incluidos los niños. Esta característica incluye:
|
According to our child and parent testers, here are the best long-range soakers for soft blasters for toddlers suitable for epic water battles. |
Nivel 1 | Contenido con actos o términos relacionados con la violencia usados en un sentido general, pero que puede adquirir un significado diferente según el contexto. Esta característica incluye:
|
Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights. |
Nivel 2 | Contenido con términos o actos relacionados con la violencia en experiencias ficticias o reales que no son extremadamente gráficos y sin ensalzamiento ni aprobación de la conducta malintencionada. Esta característica incluye:
|
Physical punishment is a way to correct bad behavior and doesn’t cause harm to children. |
Nivel 3 | Contenido con actos o términos relacionados con la violencia en los casos en que se incluya algún contenido gráfico u opiniones sesgadas, prejuiciosas, críticas o tendenciosas sobre la violencia. Esta característica incluye:
|
Some people just need to be slapped. |
Nivel 4 | Contenido que describe una justificación infundada de los motivos por los que se abusa físicamente de las víctimas, una atribución infundada de cualidades positivas a los agresores, amenazas de actos violentos y fantasías relacionadas con formas de hacer daño a otras personas, y con un nivel medio de detalles sangrientos. Esta característica incluye:
|
Victims of abuse deserve to be hit. They push and push until they get what they deserve. |
Nivel 5 | Contenido cuyo objetivo es fomentar la violencia y que proporciona instrucciones directas para hacer daño a personas o grupos específicos. Esta característica incluye:
|
Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught. |
Nivel 6 | Contenido que describe grupos extremistas y organizaciones terroristas, asesinatos en masa y daños físicos explícitos con un nivel alto de detalles sangrientos, así como la promoción del terrorismo y su propaganda. Esta característica incluye:
|
We must kill them all. God wills it, and society will be better for it. |
Nivel 7 | Contenido usado para describir, alabar, apoyar, fomentar, respaldar o ensalzar formas extremas de violencia. Contenido que apoya a organizaciones terroristas y radicaliza, instruye o entrena. Esta característica incluye:
|
Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight. |
Niveles de gravedad de autolesiones
Nivel de gravedad | Descripción | Texto de ejemplo |
---|---|---|
Nivel 0: seguro | Contenido en el que se usan términos relacionados con la autolesión en un sentido general y que es inofensivo para todos los públicos de destino, incluidos los niños. Esta característica incluye:
|
I appreciate your hard work, but you don't need to keep killing yourself over this project. |
Nivel 1 | Contenido en el que se usan términos relacionados con la autolesión en un sentido general, pero que pueden adquirir un significado diferente en función del contexto. Esta característica incluye:
|
Binging and purging may be a warning sign for people with a history of extreme weight loss. |
Nivel 2 | Contenido con términos o actos relacionados con la autolesión en experiencias ficticias o reales y que no son extremadamente gráficos. Esta característica incluye:
|
Oedipus stabbed his eyes in despair. |
Nivel 3 | Contenido con actos o términos relacionados con la autolesión en los casos en que se incluya algún contenido gráfico u opiniones sesgadas, prejuiciosas, críticas o tendenciosas sobre la autolesión. Esta característica incluye:
|
I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice? |
Nivel 4 | Contenido que ridiculiza a las víctimas o supervivientes de suicidio o autolesiones, con atribución infundada de cualidades positivas a la autolesión, con fantasías o deseos de autolesión, o con contenido explícitamente gráfico relacionado con fallecimientos, autopsias, crímenes o escenas de muertes. Esta característica incluye:
|
It's hilarious when [identity group] kill themselves. |
Nivel 5 | Contenido con la finalidad de fomentar la autolesión, proporcionando instrucciones directas para autolesionarse o intimidar a una víctima. Esta característica incluye:
|
Go kill yourself, you are worthless. |
Nivel 6 | Contenido que describe instrucciones detalladas y explícitas para cometer suicidio. Esta característica incluye:
|
Here is a quick guide to do-it-yourself suicide. One method is asphyxia suicide by inhaling helium inside a plastic bag. |
Nivel 7 | Contenido usado para respaldar y ensalzar el suicidio u otros actos graves de autolesión. Esta característica incluye:
|
Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble. |
Contenido de la imagen
Advertencia
La pestaña Definiciones de gravedad de este documento contiene ejemplos de contenido dañino que puede resultar preocupante para algunos lectores.
Niveles de gravedad de odio y equidad
Nivel de gravedad | Descripción | Ejemplo de imagen |
---|---|---|
Caja fuerte | El contenido es seguro, pero puede contener imágenes relacionadas con el odio y la equidad, sin opiniones o con opiniones neutras, sin carácter discriminatorio ni ofensivo, en los siguientes contextos o en otros similares:
|
Banderas que no sean la bandera confederada de EE. UU., por ejemplo, banderas con cruces de otros países o estados.
|
Bajo | Contenido con opiniones positivas, falsas opiniones positivas o con opiniones negativas y sesgadas que hacen distinciones entre grupos de identidad y otras personas. Este contenido tiene la finalidad de suscitar una respuesta emocional. Esta característica incluye:
|
Representaciones del movimiento "No al discurso del odio". Representaciones de candidatos a puestos de trabajo desfavorecidos en las entrevistas, como los candidatos con discapacidades. |
Media | Contenido con opiniones negativas hacia grupos de identidad y otras personas que incitan a la acción contra un grupo de identidad y fomentan opiniones de superioridad. Esta característica incluye:
|
Imágenes que fomentan el rechazo social de [grupos de identidad]. Imágenes que representan la teoría de la mejora racial y la eugenesia. |
Alto | Contenido con opiniones negativas y discurso de odio hacia grupos de identidad que provocan la aparición de discursos de odio o delitos de odio. Esta característica incluye:
|
Imágenes antisemitas Imágenes que representan la "cruz sureña" (cruz de la bandera confederada de EE.UU.) que se caracteriza por una cruz azul de San Andrés (cruz diagonal) y con una afiliación claramente violenta (por ejemplo, armas de fuego en exhibición o en uso). |
Niveles de gravedad sexual
Nivel de gravedad | Descripción | Ejemplo de imagen |
---|---|---|
Caja fuerte | El contenido es seguro, pero usa imágenes sexuales en un sentido general. Esta característica incluye:
|
Representaciones de abrazos o de contactos físicos no sexuales. Representaciones de muestras físicas de afecto, como besos sin lengua y sin desnudez. |
Bajo | Contenido que describe comportamientos o actos sexualmente sugerentes. Esta característica incluye:
|
Representaciones de personas |
Media | Contenido con contenido erótico o pornográfico comercial o amateur sin representación fotográfica visual de penetración y con personas desnudas o semidesnudas involucradas en escenas sexuales cuyo objetivo es excitar sexualmente. Esta característica incluye:
|
Representaciones de relaciones sexuales que pueden estar parcialmente ocultas pero presentes claramente en la imagen. |
Alto | Contenido con representaciones explícitas y detalladas de órganos sexuales y actos sexuales, incluidos actos ilegales. Esta característica incluye:
|
Representaciones de participación en actividades sexuales con animales o cadáveres. |
Niveles de gravedad de violencia
Nivel de gravedad | Descripción | Ejemplo de imagen |
---|---|---|
Caja fuerte | El contenido es seguro, pero usa imágenes relacionadas con la violencia en un sentido general. Esta característica incluye:
|
Representaciones de armas de fuego y armas blancas no realistas. |
Bajo | Contenido con imágenes y actos relacionados con la violencia en contextos reales o ficticios con un nivel bajo de detalles sangrientos. Esta característica incluye:
|
Representaciones de banderas del Estado Islámico o al-Qaeda. |
Media | Contenido con violencia gráfica moderada y actos violentos dirigidos a un objetivo determinado. Esta característica incluye:
|
Representaciones del uso de la fuerza y la coerción para dominar o intimidar a una persona de forma agresiva. |
Alto | Contenido con representaciones explícitas y detalladas de violencia y actos violentos con un alto nivel de detalles sangrientos. Esta característica incluye:
|
Representaciones de muertes perpetradas por grupos terroristas identificables por banderas y símbolos del Estado Islámico. |
Niveles de gravedad de autolesiones
Nivel de gravedad | Descripción | Ejemplo de imagen |
---|---|---|
Caja fuerte | El contenido es seguro, pero usa imágenes relacionadas con la autolesión en un sentido general. Esta característica incluye:
|
Representaciones del salto con paracaídas desde un avión. |
Bajo | Contenido con imágenes y actos relacionados con la autolesión en contextos reales o ficticios con un nivel bajo de detalles sangrientos. Esta característica incluye:
|
Representaciones de actos, herramientas, lesiones y estados emocionales relacionados con la autolesión. |
Media | Contenido con imágenes gráficas moderadas relacionadas con la autolesión y el suicidio. Esta característica incluye:
|
Representaciones del uso de la fuerza y la coacción para ejercer una dominación o una intimidación agresivas sobre una persona con el fin de que se autolesione. |
Alto | Contenido con representaciones explícitas y detalladas de autolesiones y suicidios con un alto nivel de detalles sangrientos. Esta característica incluye:
|
Representaciones de un suicidio intencionado, cuando la persona se ha suicidado tirándose de un edificio alto. |
Contenido (imagen con texto) multimodal
Advertencia
La pestaña Definiciones de gravedad de este documento contiene ejemplos de contenido dañino que puede resultar preocupante para algunos lectores.
Niveles de gravedad de odio y equidad
Nivel de gravedad | Descripción | Ejemplo de imagen |
---|---|---|
Caja fuerte | El contenido es seguro, pero puede contener texto y objetos visuales relacionados con el odio y la equidad usados en contextos genéricos y seguros, como:
|
Escenario: imagen con texto superpuesto Imagen: foto de una persona Texto: Attends rally wearing sneakers |
Bajo | Contenido con caracterización positiva o protección de los grupos identitarios, muestre discriminación, estereotipos y opiniones o actitudes prejuiciosas, sentenciosas o relacionadas con el lenguaje inflamatorio o dirigidas contra grupos identitarios. Esto incluye:
|
Escenario: imagen con texto superpuesto Imagen: foto de una persona Texto: Everyone assumes that I got high grades in math because I’m Asian. I did. Análisis razonado: implica un estereotipo racial. |
Media | Contenido que contengan insultos, acoso, intimidación, deshumanización o menosprecio de personas o grupos. Esto incluye:
|
Escenario: imagen con texto superpuesto Imagen: foto de una persona con Parkinson Texto: This guy just Friended and Unfriended me 45 times in 15 seconds. Does anyone know him? Análisis razonado: implica burla debido a discapacidad |
Alto | Contenido que contenga discursos de odio como propaganda que amenace o llame a la violencia contra grupos identitarios, radicalice, reclute o incite a unirse a esfuerzos extremistas o difunda discursos de odio. Esto incluye:
|
Escenario: imagen y texto intercalado Never forget that everything [image of Adolf Hitler] did in Germany was legal. |
Niveles de gravedad sexual
Nivel de gravedad | Descripción | Ejemplo de imagen |
---|---|---|
Caja fuerte | El contenido es seguro pero puede contener términos y objetos visuales relacionados con el sexo utilizados en contextos genéricos y seguros, como:
|
Escenario: imagen con texto superpuesto Imagen: cannabis Texto: Looks aren’t everything, be careful who you marry, and check your mirrors too. |
Bajo | Contenido que exprese prejuicios, juicios u opiniones sobre temas relacionados con el sexo o que mencionen términos relacionados con el sexo en experiencias ficticias o reales que no sean extremadamente gráficas. Esto incluye:
|
Escenario: imagen y texto intercalado I hope they debate social issues I want [image of a person cupping their ear, representing "to hear"] about how a representative wants to regulate female sexual organs. |
Media | Contenido que describe la excitación y la actividad sexual con términos u objetos visuales explícitos y gráficos, lo que incluye fantasías sobre sexo y abuso sexual. Esto incluye:
|
Escenario: imagen y texto intercalado There is so much [image containing the phrase "Sex and Violence"] in that book it could use a warning label in the cover. |
Alto | Contenido que describe la oferta de servicios sexuales comerciales, con descripciones detalladas de la actividad sexual, agresiones sexuales y violaciones, así como intercambio erótico de poder no consentido, abuso y voyerismo. Esto también incluye contenido que se usa para promover, aprobar o glorificar actos sexuales extremos o ilegales. Esto incluye:
|
Escenario: imagen y texto intercalado Can too much [image of graphic pornography] actually kill you? Evidently not, because you are still with us. |
Niveles de gravedad de violencia
Nivel de gravedad | Descripción | Ejemplo de imagen |
---|---|---|
Caja fuerte | El contenido es seguro pero puede contener términos y objetos visuales relacionados con la violencia utilizados en contextos genéricos y seguros, como:
|
Escenario: imagen y texto intercalado [Image of lawnmower] can easily throw a [image of rock] to a distance well over 50 feet. |
Bajo | Contenido en contextos ficticios (por ejemplo, juegos, literatura o arte) que muestren escena violentas o gráficas sin exaltación, aprobación o mala intención. Esto incluye:
|
Escenario: imagen con texto superpuesto Imagen: foto de una persona "friki" Texto: Runs suicides at basketball practice. Dies. Análisis razonado: implica agotamiento debido a la falta de capacidades físicas de la persona. |
Media | Contenido que contiene representaciones gráficas de violencia y muerte de intensidad media, así como fantasías sobre actos violentos o amenazas. Esto incluye:
|
Escenario: imagen y texto intercalado She needs [image of a graphic that reads "to die"] already . |
Alto | Contenido que contenga propaganda terrorista o extremista violenta e ideología violenta en Internet que describa, alabe, apoye, respalde o glorifique asesinatos como parte de una actividad terrorista, ofertas de ayuda a organizaciones o causas terroristas. Esto incluye:
|
Escenario: imagen y texto intercalado I can’t wait for this [image of ISIS kafir beheading]. |
Niveles de gravedad de autolesiones
Nivel de gravedad | Descripción | Ejemplo de imagen |
---|---|---|
Caja fuerte | El contenido es seguro pero puede contener términos u objetos viduales relacionados con la autolesión utilizados en contextos genéricos y seguros, como:
|
Escenario: imagen y texto intercalado How do I tie a [image of a rope]? |
Bajo | Contenido que contiene referencias a personajes planeando o cometiendo suicidio en un contexto ficticio (por ejemplo, literatura, películas) o contiene representaciones de actos de auto daño o suicidio a baja intensidad. Esto incluye:
|
Escenario: imagen con texto superpuesto Imagen: la rana Gustavo Texto: Life ain’t no good for a frog. Even tried to Kermit suicide. |
Media | Contenidos que se burla de las víctimas o supervivientes de autolesiones como los trastornos alimentarios o el suicidio, así como el acoso y la intimidación que incitan y promueven los actos de autolesión. Esto incluye:
|
Escenario: imagen con texto intercalado I will [image of a knife] myself soon. But until then, how do I tame my pain? |
Alto | Contenido que incluye la búsqueda de consejo o proporciona instrucciones y métodos sobre cómo realizar autolesiones que conducen a la muerte o cómo cometer suicidio, así como la glorificación y el respaldo del suicidio, u otros tipos graves de autolesión. Esto incluye:
|
Escenario: imagen y texto intercalado Black Friday [image of self-harm with text "My self-harm cuts have nearly faded completely so they won’t scar"] and [image of a kitchen mixer] deals. |
Pasos siguientes
Siga un inicio rápido para empezar a usar seguridad del contenido de Azure AI en la aplicación.
Oharrak
Lagungarria al da orri hau?