Categorias de danos na Segurança de Conteúdo do Azure AI
- Artigo
Este guia descreve todas as categorias e classificações de danos que a Segurança de Conteúdo do Azure AI usa para sinalizar conteúdo. O conteúdo de texto e imagem usa o mesmo conjunto de sinalizadores.
Categorias de danos
A Segurança de Conteúdo reconhece quatro categorias distintas de conteúdo censurável.
Categoria | Description | Termo da API |
---|---|---|
Ódio e justiça | Os danos de ódio e equidade referem-se a qualquer conteúdo que ataque ou use linguagem discriminatória com referência a uma pessoa ou grupo de identidade com base em certos atributos diferenciadores desses grupos. Isto inclui, mas não está limitado a:
|
Hate |
Sexual | Sexual descreve linguagem relacionada a órgãos anatômicos e genitais, relacionamentos românticos e atos sexuais, atos retratados em termos eróticos ou afetuosos, incluindo aqueles retratados como uma agressão ou um ato sexual violento forçado contra a vontade. Isto inclui, mas não está limitado a:
|
Sexual |
Violência | A violência descreve a linguagem relacionada a ações físicas destinadas a ferir, ferir, danificar ou matar alguém ou algo; descreve armas, armas e entidades relacionadas. Isso inclui, mas não está limitado a:
|
Violence |
Automutilação | A automutilação descreve a linguagem relacionada com ações físicas destinadas a ferir, ferir, danificar o corpo ou matar-se propositadamente. Isso inclui, mas não está limitado a:
|
SelfHarm |
A classificação pode ser multi-labeled. Por exemplo, quando uma amostra de texto passa pelo modelo de moderação de texto, ela pode ser classificada como Conteúdo sexual e Violência.
Níveis de severidade
Cada categoria de dano que o serviço aplica também vem com uma classificação de nível de gravidade. O nível de severidade destina-se a indicar a gravidade das consequências de mostrar o conteúdo sinalizado.
Texto: A versão atual do modelo de texto suporta a escala de gravidade completa de 0 a 7. O classificador deteta entre todas as gravidades ao longo desta escala. Se o usuário especificar, ele pode retornar gravidades na escala aparada de 0, 2, 4 e 6; Cada dois níveis adjacentes são mapeados para um único nível.
[0,1]
->0
[2,3]
->2
[4,5]
->4
[6,7]
->6
Imagem: A versão atual do modelo de imagem suporta a versão cortada da escala de gravidade completa de 0 a 7. O classificador só devolve as gravidades 0, 2, 4 e 6.
0
2
4
6
Imagem com texto: A versão atual do modelo multimodal suporta a escala de gravidade completa de 0 a 7. O classificador deteta entre todas as gravidades ao longo desta escala. Se o usuário especificar, ele pode retornar gravidades na escala aparada de 0, 2, 4 e 6; Cada dois níveis adjacentes são mapeados para um único nível.
[0,1]
->0
[2,3]
->2
[4,5]
->4
[6,7]
->6
Conteúdo do texto
Aviso
A guia Definições de gravidade neste documento contém exemplos de conteúdo prejudicial que pode ser perturbador para alguns leitores.
Níveis de severidade do ódio e da equidade
Nível de severidade | Descrição | Texto de exemplo |
---|---|---|
Nível 0 | Conteúdo que contenha termos relacionados com o ódio e a equidade utilizados no sentido geral e que seja apropriado para todos os públicos-alvo, incluindo crianças. O que está incluído:
|
I hate cats. |
Nível 1 | Conteúdo que contenha termos relacionados ao ódio e à equidade usados no sentido geral, mas que possam adquirir um significado diferente com base no contexto e não diferenciem entre grupos de identidade e outros de forma tendenciosa ou negativa. O que está incluído:
|
Black people should not be killed by police or mistreated just because of their skin color. |
Nível 2 | Conteúdo que contenha caracterização positiva ou proteção dos grupos identitários que desencadeiem uma resposta emocional favorável. O que está incluído:
|
I hate you. |
Nível 3 | Conteúdo que contenha caracterização preconceituosa, preconceituosa, estereotipada ou negativa. O que está incluído:
|
I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all. |
Level 4 | Conteúdo que contenha insultos verbais diretos motivados por sentimento, comentários negativos e insultos raciais usados como descrições visando grupos de identidade com a intenção de ferir indivíduos com base em seus atributos. O que está incluído:
|
All [identity group] are ugly. |
Nível 5 | Conteúdo que contenha desumanização ou derrogação de indivíduos ou grupos que promova sentimentos negativos através de comportamentos de desumanização, violência, negação de eventos, bullying ou intimidação. O que está incluído:
|
The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof. |
Nível 6 | Conteúdo baseado em sentimento negativo e discurso de ódio contra grupos identitários. Referindo-se às características do grupo que diferenciam o grupo de identidade dos outros e apelando para tomar medidas contra grupos de identidade com base em seus atributos. Isto pode incluir:
|
Send [identity group] back to the gas chambers. |
Nível 7 | Conteúdo baseado em sentimentos negativos, exibindo intenção de crime de ódio e perseguição, desencadeando uma resposta emocional hostil e diferenciando grupos de identidade e outros que levam ao crime. O que está incluído:
|
Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because… |
Níveis de severidade sexual
Nível de severidade | Descrição | Texto de exemplo |
---|---|---|
Nível 0 | Conteúdo que contenha termos relacionados com sexualidade utilizados em sentido geral e que sejam inofensivos para todos os públicos-alvo, incluindo crianças.
|
The sports bra and yoga pants were too tight for comfort. |
Nível 1 | Conteúdo que contenha termos relacionados sexualmente usados em sentido geral, mas que possam adquirir um significado diferente com base no contexto. Isto inclui:
|
Fewer young adults are having sex than in previous generations. |
Nível 2 | Conteúdo que contenha termos relacionados sexualmente em experiências fictícias ou do mundo real que não sejam extremamente gráficos. Isto inclui:
|
My husband and I introduced a vibrator to our sex life and it has really made a difference. |
Nível 3 | Conteúdo com termos relacionados sexualmente em casos que contenham algum conteúdo gráfico, opiniões expressando opiniões tendenciosas, preconceituosas, julgadoras ou opinativas sobre questões relacionadas ao sexo. Isto inclui:
|
We made out for a while, and he started to feel me up. I felt a bulge in his pants. |
Level 4 | Conteúdo descrevendo fantasias sexuais, indústria do sexo profissional e anúncios, e reprodução de animais sexualizados. Isto inclui:
|
I got into BDSM because I had some friends into the lifestyle and it piqued my interest. I like using silk, scarves, collars, and bondage… |
Nível 5 | Conteúdo que descreva programas ou experiências eróticas como experiência pessoal, BDSM com consentimento claro e histórias e sites eróticos. Isto inclui:
|
We both climaxed at the same time. |
Nível 6 | Conteúdo que descreva a solicitação de serviços comerciais sexuais, contendo descrições detalhadas de atividade sexual, abuso sexual violento e estupro, e trocas de poder não consensuais, abuso e voyeurismo. Isto inclui:
|
I love forced sex, it's so much hotter. |
Nível 7 | Conteúdo usado para promover, endossar, glorificar formas extremas de escravidão sexual. Conteúdo extremo ou ilegal. Isto inclui:
|
I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son. |
Níveis de gravidade da violência
Nível de severidade | Descrição | Texto de exemplo |
---|---|---|
Nível 0 | Conteúdo que contenha ações não violentas ou termos relacionados à violência usados em um sentido geral que seja inofensivo para todos os públicos-alvo, incluindo crianças. O que está incluído:
|
According to our child and parent testers, here are the best long-range soakers for soft blasters for toddlers suitable for epic water battles. |
Nível 1 | Conteúdo que contenha termos ou atos relacionados à violência usados em um sentido geral, mas que possam adquirir um significado diferente com base no contexto. O que está incluído:
|
Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights. |
Nível 2 | Conteúdo que contenha termos relacionados à violência ou atos em experiências fictícias ou do mundo real que não sejam extremamente gráficos e sem glorificação ou endosso de má intenção. O que está incluído:
|
Physical punishment is a way to correct bad behavior and doesn’t cause harm to children. |
Nível 3 | Conteúdo com termos ou atos relacionados à violência em casos que contenham algum conteúdo gráfico, opiniões expressando visões tendenciosas, preconceituosas, preconceituosas ou opinativas sobre violência. O que está incluído:
|
Some people just need to be slapped. |
Level 4 | Conteúdo que descreva razões infundadas para o motivo pelo qual as vítimas estão a ser abusadas fisicamente, atribuição infundada de qualidades positivas dos abusadores, ameaças de atos violentos e fantasias relacionadas com a forma de prejudicar outra pessoa e gore médio. O que está incluído:
|
Victims of abuse deserve to be hit. They push and push until they get what they deserve. |
Nível 5 | Conteúdo com o objetivo de promover a violência, fornecendo instruções diretas sobre como prejudicar indivíduos ou grupos específicos. O que está incluído:
|
Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught. |
Nível 6 | Conteúdo que descreva grupos extremistas e organizações terroristas, assassínios em massa e danos físicos explícitos em alto nível, e promoção do terrorismo e da sua propaganda. O que está incluído:
|
We must kill them all. God wills it, and society will be better for it. |
Nível 7 | Conteúdo usado para descrever, elogiar, apoiar, promover, endossar, glorificar formas extremas de violência. Conteúdo que apoia organizações terroristas e radicaliza, instrui ou treina. O que está incluído:
|
Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight. |
Níveis de gravidade da automutilação
Nível de severidade | Descrição | Texto de exemplo |
---|---|---|
Nível 0 – Seguro | Conteúdo que contenha termos relacionados à automutilação usados em um sentido geral que é inofensivo para todos os públicos-alvo, incluindo crianças. O que está incluído:
|
I appreciate your hard work, but you don't need to keep killing yourself over this project. |
Nível 1 | Conteúdo que contenha termos relacionados à automutilação usados em um sentido geral, mas que podem adquirir um significado diferente com base no contexto. O que está incluído:
|
Binging and purging may be a warning sign for people with a history of extreme weight loss. |
Nível 2 | Conteúdo que contenha termos relacionados à automutilação ou atos em experiências fictícias ou do mundo real que não sejam extremamente gráficos. O que está incluído:
|
Oedipus stabbed his eyes in despair. |
Nível 3 | Conteúdo com termos ou atos relacionados à automutilação em casos que contenham algum conteúdo gráfico, opiniões expressando visões tendenciosas, preconceituosas, preconceituosas ou opinativas sobre automutilação. O que está incluído:
|
I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice? |
Level 4 | Conteúdo que zomba de vítimas ou sobreviventes de suicídio ou automutilação, atribuição infundada de qualidades positivas à automutilação, fantasias ou desejos de automutilação, e contém conteúdo explicitamente gráfico envolvendo morte, autópsia, crime ou cena da morte. O que está incluído:
|
It's hilarious when [identity group] kill themselves. |
Nível 5 | Conteúdo com o objetivo de promover ainda mais a automutilação, fornecendo instruções diretas sobre como realizar automutilação ou intimidar uma vítima. O que está incluído:
|
Go kill yourself, you are worthless. |
Nível 6 | Conteúdo que descreva instruções detalhadas e explícitas sobre como cometer suicídio. O que está incluído:
|
Here is a quick guide to do-it-yourself suicide. One method is asphyxia suicide by inhaling helium inside a plastic bag. |
Nível 7 | Conteúdo usado para endossar e glorificar o suicídio ou outros atos graves de automutilação. O que está incluído:
|
Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble. |
Conteúdo da imagem
Aviso
A guia Definições de gravidade neste documento contém exemplos de conteúdo prejudicial que pode ser perturbador para alguns leitores.
Níveis de severidade do ódio e da equidade
Nível de severidade | Descrição | Exemplo de imagem |
---|---|---|
Safe | O conteúdo é seguro, mas pode conter imagens relacionadas ao ódio e à justiça, sem sentimento ou sentimentos neutros, de forma não discriminatória e não ofensiva, nos seguintes contextos ou similares:
|
Bandeiras não confederadas, por exemplo, bandeiras de países ou estados que apresentam cruzes
|
Baixo | Conteúdo que contenha sentimentos positivos, falsos positivos ou sentimentos negativos e tendenciosos que diferenciem grupos identitários de outros. Este conteúdo destina-se a desencadear uma resposta emocional. O que está incluído:
|
Representações do movimento 'No Hate Speech' Representações de candidatos a empregos despriorizados, como candidatos com deficiência, em ambientes de entrevista |
Médio | Conteúdo que contenha sentimentos negativos, ações em relação a grupos identitários e outros que levem à promoção de ações contra grupos identitários e sentimentos de superioridade. O que está incluído:
|
Imagens que promovem a evasão social de [grupos identitários] Imagens que retratam a teoria da melhoria racial e a eugenia |
Alto | Conteúdo que contenha sentimento negativo e discurso de ódio em relação a grupos de identidade, levando à geração de discurso de ódio ou crimes de ódio. O que está incluído:
|
Imagens antissemitas Imagens que retratam o "Cruzeiro do Sul" que apresenta uma sátira azul (cruz diagonal) com afiliação de violência óbvia (por exemplo, armas em exibição/uso) |
Níveis de severidade sexual
Nível de severidade | Descrição | Exemplo de imagem |
---|---|---|
Safe | O conteúdo é seguro, mas contém imagens sexualmente relacionadas usadas em um sentido geral. O que está incluído:
|
Representações de abraçar ou fazer contato físico não sexual Representações que retratam demonstração física de afeto, como beijos sem língua e sem nudez |
Baixo | Conteúdo que contenha comportamentos ou atos sexualmente sugestivos. O que está incluído:
|
Representações de pessoas |
Médio | Conteúdo que contenha conteúdo erótico e/ou pornográfico comercial e amador sem penetração fotográfica visual e participantes nus ou seminus envolvidos em cenas sexuais destinadas a serem sexualmente excitantes. O que está incluído:
|
Representações de relações sexuais que podem ser parcialmente ocluídas, mas ainda claramente presentes na imagem |
Alto | Conteúdo que contenha representações explícitas e detalhadas de órgãos sexuais e atos sexuais, incluindo atos ilegais. O que está incluído:
|
Representações de envolvimentos em atividades sexuais com animais ou cadáveres |
Níveis de gravidade da violência
Nível de severidade | Descrição | Exemplo de imagem |
---|---|---|
Safe | O conteúdo é seguro, mas contém imagens relacionadas à violência usadas em um sentido geral. O que está incluído:
|
Representações de armas não realistas e ferramentas com lâminas |
Baixo | Conteúdo que contenha imagens relacionadas à violência e atue no mundo real ou em contextos fictícios com baixo teor de gore. O que está incluído:
|
Representações de bandeiras do ISIS/Al-Qaeda |
Médio | Conteúdo que contenha violência explícita moderada e atos violentos direcionados a um alvo identificado. O que está incluído:
|
Representações do uso da força e da coerção para dominar ou intimidar agressivamente um indivíduo |
Alto | Conteúdo que contenha representações explícitas e detalhadas de violência e atos violentos em alto nível. O que está incluído:
|
Representações da morte quando realizadas por grupos terroristas identificáveis por bandeiras e símbolos do ISIS |
Níveis de gravidade da automutilação
Nível de severidade | Descrição | Exemplo de imagem |
---|---|---|
Safe | O conteúdo é seguro, mas contém imagens relacionadas à automutilação usadas em um sentido geral. O que está incluído:
|
Representações de saltos com um para-quedas para fora de um avião |
Baixo | Conteúdo que contenha imagens relacionadas à automutilação e atue em contextos reais ou fictícios com baixo teor de gore. O que está incluído:
|
Representações de atos, ferramentas, lesões e estado emocional relacionados à automutilação |
Médio | Conteúdo que contenha imagens gráficas moderadas relacionadas com automutilação e suicídio. O que está incluído:
|
Representações do uso da força e da coerção para dominar ou intimidar agressivamente um indivíduo para se automutilar |
Alto | Conteúdo que contenha representações explícitas e detalhadas de automutilação e suicídio em alto nível. O que está incluído:
|
Representações de suicídio intencional, onde uma pessoa cometeu suicídio pulando de um prédio alto |
Conteúdo multimodal (imagem com texto)
Aviso
A guia Definições de gravidade neste documento contém exemplos de conteúdo prejudicial que pode ser perturbador para alguns leitores.
Níveis de severidade do ódio e da equidade
Nível de severidade | Descrição | Exemplo de imagem |
---|---|---|
Safe | O conteúdo é seguro, mas pode conter texto e elementos visuais relacionados com o ódio e a equidade utilizados em contextos genéricos e seguros, tais como:
|
Cenário: Imagem com sobreposição de texto Imagem: Foto benigna de uma pessoa Texto: Attends rally wearing sneakers |
Baixo | Conteúdo que contenha caracterização positiva ou proteção dos grupos de Identidade, exiba discriminação, estereótipos e visões ou atitudes preconceituosas, preconceituosas, opinativas relacionadas ao discurso de ódio ou ao direcionamento de grupos identitários. Isto inclui:
|
Cenário: Imagem com sobreposição de texto Imagem: Foto benigna de uma pessoa Texto: Everyone assumes that I got high grades in math because I’m Asian. I did. Fundamentação: Implica estereótipo racial. |
Médio | Conteúdo que contenha insultos, bullying, intimidação, desumanização ou derrogação de indivíduos ou grupos. Isto inclui:
|
Cenário: Imagem com sobreposição de texto Imagem: Foto benigna de uma pessoa com Parkinson Texto: This guy just Friended and Unfriended me 45 times in 15 seconds. Does anyone know him? Fundamentação: Implica zombaria devido à deficiência |
Alto | Conteúdo que contenha discurso de ódio como propaganda ameaçando ou apelando à violência contra grupos identitários, radicalize, recrute ou incite pessoas a juntarem-se a esforços extremistas ou a espalharem discurso de ódio. Isto inclui:
|
Cenário: Imagem e texto intercalados Never forget that everything [image of Adolf Hitler] did in Germany was legal. |
Níveis de severidade sexual
Nível de severidade | Descrição | Exemplo de imagem |
---|---|---|
Safe | O conteúdo é seguro, mas pode conter termos ou elementos visuais relacionados com a sexualidade utilizados em contextos genéricos e seguros, tais como:
|
Cenário: Imagem com sobreposição de texto Imagem: Um gambá Texto: Looks aren’t everything, be careful who you marry, and check your mirrors too. |
Baixo | Conteúdo que expresse opiniões preconceituosas, preconceituosas ou opinativas sobre tópicos relacionados sexualmente ou mencione termos relacionados sexualmente em experiências fictícias ou do mundo real que não sejam extremamente gráficas. Isto inclui:
|
Cenário: Imagem e texto intercalados I hope they debate social issues I want [image of a person cupping their ear, representing "to hear"] about how a representative wants to regulate female sexual organs. |
Médio | Conteúdo que descreva excitação e atividade sexual em termos explícitos e gráficos ou visuais, incluindo fantasias sobre sexo e abuso sexual. Isto inclui:
|
Cenário: Imagem e texto intercalados There is so much [image containing the phrase "Sex and Violence"] in that book it could use a warning label in the cover. |
Alto | Conteúdo que descreva a solicitação de serviços comerciais sexuais, contendo descrições detalhadas de atividade sexual, abuso sexual violento e estupro, e trocas de poder não consensuais, abuso e voyeurismo. Isso também inclui conteúdo que é usado para promover, endossar ou glorificar atos sexuais extremos ou ilegais. Isto inclui:
|
Cenário: Imagem e texto intercalados Can too much [image of graphic pornography] actually kill you? Evidently not, because you are still with us. |
Níveis de gravidade da violência
Nível de severidade | Descrição | Exemplo de imagem |
---|---|---|
Safe | O conteúdo é seguro, mas pode conter termos e elementos visuais relacionados à violência usados em contextos genéricos e seguros, como:
|
Cenário: Imagem e texto intercalados [Image of lawnmower] can easily throw a [image of rock] to a distance well over 50 feet. |
Baixo | Conteúdo em contextos fictícios (por exemplo, jogos, literatura, artes) que retratem cenas violentas ou gráficas sem glorificação, endosso ou má intenção. Isto inclui:
|
Cenário: Imagem com sobreposição de texto Imagem: Foto benigna de uma pessoa "nerd" Texto: Runs suicides at basketball practice. Dies. Fundamentação: Implica exaustão devido à falta de capacidades físicas da pessoa. |
Médio | Conteúdo que contenha representações gráficas de violência e morte em intensidade média, bem como fantasias sobre atos violentos ou ameaças. Isto inclui:
|
Cenário: Imagem e texto intercalados She needs [image of a graphic that reads "to die"] already . |
Alto | Conteúdo que contenha propaganda terrorista ou extremista violenta e ideologia violenta na Internet que descreva, elogia, apoie, apoie ou glorifique assassinatos como parte de atividades terroristas, ajudas a organizações ou causas terroristas. Isto inclui:
|
Cenário: Imagem e texto intercalados I can’t wait for this [image of ISIS kafir beheading]. |
Níveis de gravidade da automutilação
Nível de severidade | Descrição | Exemplo de imagem |
---|---|---|
Safe | O conteúdo é seguro, mas pode conter termos ou elementos visuais relacionados com a automutilação utilizados em contextos genéricos e seguros, tais como:
|
Cenário: Imagem e texto intercalados How do I tie a [image of a rope]? |
Baixo | Conteúdo que contenha referências a personagens que planeiam ou cometem suicídio num contexto fictício (por exemplo, literatura, filmes) ou que contenha representações de atos de automutilação ou suicídio em baixa intensidade. Isto inclui:
|
Cenário: Imagem com sobreposição de texto Imagem: Kermit, o sapo Texto: Life ain’t no good for a frog. Even tried to Kermit suicide. |
Médio | Conteúdo que zomba de vítimas ou sobreviventes de automutilação, como distúrbios alimentares ou suicídio, bem como bullying e intimidação que incita e promove atos de automutilação. Isto inclui:
|
Cenário: Imagem com texto intercalado I will [image of a knife] myself soon. But until then, how do I tame my pain? |
Alto | Conteúdo que inclua pesquisa para aconselhamento ou forneça instruções e métodos sobre como se envolver em automutilação que leva à morte ou como cometer suicídio, bem como glorificação e endosso do suicídio ou outros tipos graves de automutilação. Isto inclui:
|
Cenário: Imagem e texto intercalados Black Friday [image of self-harm with text "My self-harm cuts have nearly faded completely so they won’t scar"] and [image of a kitchen mixer] deals. |
Próximos passos
Siga um início rápido para começar a usar o Azure AI Content Safety em seu aplicativo.
Comentários
Esta página foi útil?