Filtragem de conteúdos

Importante

O sistema de filtragem de conteúdo não é aplicado a prompts e conclusões processadas pelo modelo Whisper no Serviço Azure OpenAI. Saiba mais sobre o modelo Whisper no Azure OpenAI.

O Serviço OpenAI do Azure inclui um sistema de filtragem de conteúdo que funciona em conjunto com modelos principais, incluindo modelos de geração de imagens DALL-E. Este sistema funciona executando tanto o prompt como o preenchimento através de um conjunto de modelos de classificação destinados a detetar e prevenir a saída de conteúdo nocivo. O sistema de filtragem de conteúdo deteta e age em categorias específicas de conteúdo potencialmente nocivo em prompts de entrada e finalizações de saída. As variações nas configurações da API e na conceção da aplicação podem afetar as conclusões e, consequentemente, o comportamento de filtragem.

Os modelos de filtragem de conteúdo para as categorias de ódio, sexual, violência e automutilação foram especificamente treinados e testados nos seguintes idiomas: inglês, alemão, japonês, espanhol, francês, italiano, português e chinês. No entanto, o serviço pode funcionar em muitos outros idiomas, mas a qualidade pode variar. Em todos os casos, deve efetuar os seus próprios testes para garantir que funciona para a sua aplicação.

Além do sistema de filtragem de conteúdo, o Serviço Azure OpenAI realiza monitoramento para detetar conteúdo e/ou comportamentos que sugerem o uso do serviço de uma maneira que pode violar os termos do produto aplicáveis. Para obter mais informações sobre como compreender e mitigar os riscos associados ao seu aplicativo, consulte a Nota de Transparência para o Azure OpenAI. Para obter mais informações sobre como os dados são processados para filtragem de conteúdo e monitoramento de abuso, consulte Dados, privacidade e segurança para o Serviço OpenAI do Azure.

As seções a seguir fornecem informações sobre as categorias de filtragem de conteúdo, os níveis de severidade de filtragem e sua configurabilidade e cenários de API a serem considerados no design e implementação de aplicativos.

Categorias de filtragem de conteúdo

O sistema de filtragem de conteúdo integrado no Serviço OpenAI do Azure contém:

• Modelos neurais de classificação multiclasse destinados a detetar e filtrar conteúdos nocivos; Os modelos abrangem quatro categorias (ódio, sexual, violência e automutilação) em quatro níveis de gravidade (seguro, baixo, médio e alto). O conteúdo detectado no nível de gravidade "seguro" é identificado em anotações, mas não está sujeito a filtragem e não é configurável.
• Outros modelos de classificação opcionais destinados a detetar o risco de jailbreak e conteúdo conhecido para texto e código; Esses modelos são classificadores binários que sinalizam se o comportamento do usuário ou do modelo se qualifica como um ataque de jailbreak ou corresponde ao texto conhecido ou ao código-fonte. O uso desses modelos é opcional, mas o uso de modelo de código de material protegido pode ser necessário para a cobertura do Compromisso de Direitos Autorais do Cliente.

Categorias de risco

Categoria	Description
Ódio e justiça	Os danos relacionados com o ódio e a equidade referem-se a qualquer conteúdo que ataque ou utilize linguagem pejorativa ou discriminatória com referência a uma pessoa ou a grupos de identidade com base em certos atributos diferenciadores desses grupos, incluindo, entre outros, raça, etnia, nacionalidade, grupos e expressão de identidade de género, orientação sexual, religião, estatuto de imigração, estatuto de capacidade, aparência pessoal, e tamanho do corpo.  A equidade diz respeito a garantir que os sistemas de IA tratam todos os grupos de pessoas de forma equitativa, sem contribuir para as desigualdades societais existentes. À semelhança do discurso de ódio, os danos relacionados com a equidade dependem do tratamento díspar dos grupos de identidade.
Sexual	Sexual descreve linguagem relacionada a órgãos anatômicos e genitais, relacionamentos românticos, atos retratados em termos eróticos ou afetivos, gravidez, atos sexuais físicos, incluindo aqueles retratados como uma agressão ou um ato sexual violento forçado contra a vontade, prostituição, pornografia e abuso.
Violência	A violência descreve a linguagem relacionada a ações físicas destinadas a ferir, ferir, danificar ou matar alguém ou algo; descreve armas, armas e entidades relacionadas, tais como fabricantes, associações, legislação, etc.
Automutilação	A automutilação descreve a linguagem relacionada com ações físicas destinadas a ferir, ferir, danificar o corpo ou matar-se propositadamente.
Material protegido para texto*	O texto de material protegido descreve o conteúdo de texto conhecido (por exemplo, letras de músicas, artigos, receitas e conteúdo da Web selecionado) que pode ser gerado por modelos de linguagem grandes.
Material protegido para código	O código de material protegido descreve o código-fonte que corresponde a um conjunto de código-fonte de repositórios públicos, que pode ser gerado por modelos de linguagem grandes sem a citação adequada de repositórios de código-fonte.

^* Se você é proprietário de material de texto e deseja enviar conteúdo de texto para proteção, envie uma solicitação.

Proteções do pedido

Tipo	Description
Prompt Shield para ataques de jailbreak	Os Ataques de Jailbreak são Prompts do Usuário projetados para provocar o modelo de IA Generativa a exibir comportamentos que foi treinado para evitar ou quebrar as regras definidas na Mensagem do Sistema. Tais ataques podem variar de encenações complexas a subversão sutil do objetivo de segurança.
Escudo Imediato para Ataques Indiretos	Os Ataques Indiretos, também conhecidos como Ataques Imediatos Indiretos ou Ataques de Injeção Imediata entre Domínios, são uma vulnerabilidade potencial em que terceiros colocam instruções maliciosas dentro de documentos que o sistema de IA Generativa pode acessar e processar. Requer incorporação e formatação de documentos.

Conteúdo do texto

Aviso

Aviso

A guia Definições de gravidade neste documento contém exemplos de conteúdo prejudicial que pode ser perturbador para alguns leitores.

Definições de gravidade

Níveis de severidade do ódio e da equidade

Nível de severidade	Descrição	Texto de exemplo
Safe	Os conteúdos são seguros, mas podem conter termos relacionados com o ódio e a equidade utilizados em contextos genéricos e seguros, tais como: Education Multimédia Estatísticas oficiais Histórico Medicamento Ciência Outros contextos semelhantes	"Black people should not be killed by police or mistreated just because of their skin color."
Baixo	Conteúdo que contenha caracterização positiva ou proteção dos grupos de Identidade, exiba discriminação, estereótipos e visões ou atitudes preconceituosas, preconceituosas ou opinativas relacionadas ao discurso de ódio ou ao direcionamento de grupos identitários. O que está incluído: Insultos em artigos de pesquisa, dicionários ou meios de comunicação com uma citação direta Discurso de ódio geral que tem como alvo objetos, indivíduos ou grupos Discurso de ódio limitado ou representações de sentimentos negativos em contextos fictícios (por exemplo, jogos, filmes, literatura)	"I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all."
Médio	Conteúdo que contenha insultos, bullying, intimidação, desumanização ou derrogação de indivíduos ou grupos. Isto inclui: Linguagem que está zombando e imitando atributos de grupos de identidade Descrever indivíduos ou grupos como inferiores ou deficientes Negar ou aviltar a existência de grupos identitários Textos que negam eventos históricos, bem documentados e violentos, como o Holocausto, a escravidão ou a colonização	"The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof."
Alto	Conteúdo que contenha discurso de ódio como propaganda ameaçando ou apelando à violência contra grupos identitários, radicalize, recrute ou incite pessoas a juntarem-se a esforços extremistas ou a espalharem discurso de ódio. Isto inclui: Linguagem incendiária, ofensiva e vulgar dirigida a indivíduos ou grupos identitários específicos Alegações de superioridade para justificar discriminação, segregação ou exclusão Textos que contenham qualquer forma de glorificação do simbolismo nazista e da SS, KKK e a bandeira confederada fora de ambientes históricos, educacionais ou artísticos Textos que mostrem preparação para crimes de ódio, elogio e glorificação da violência contra grupos identitários, ou que louvem, glorifiquem ou apoiem o genocídio	"Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because…"

Níveis de severidade sexual

Nível de severidade	Descrição	Texto de exemplo
Safe	O conteúdo é seguro, mas pode conter termos relacionados sexualmente usados em contextos genéricos e seguros, tais como: Formação Académica MÍDIA Estatísticas oficiais Histórico Medicina Ciência Menções de relações familiares ou amorosas	"Fewer young adults are having sex than in previous generations."
Baixo	Conteúdo que expresse opiniões preconceituosas, preconceituosas ou opinativas sobre tópicos relacionados sexualmente ou mencione termos relacionados sexualmente em experiências fictícias ou do mundo real que não sejam extremamente gráficas. Isto inclui: Menções de anatomia sexual ou cenas de sexo em contextos ficcionais e artísticos Prescrições médicas e diagnóstico Experiências pessoais, problemas sexuais e traumas com algum conteúdo gráfico, incluindo mecanismos e recursos de enfrentamento	"We made out for a while, and he started to feel me up. I felt a bulge in his pants."
Médio	O conteúdo que descreve a excitação e atividade sexual em termos explícitos e gráficos, inclui fantasias sobre sexo e abuso sexual. Isto inclui: Menções de estimulação sexual e masturbação Pornografia limitada a negócios e prostituição, acompanhante, etc. como carreiras sem cenas de sexo Publicidade de produtos para adultos, como brinquedos sexuais Experiências e descrições pessoais relacionadas com massagens sexuais, eróticas ou tântricas, clubes de striptease, espetáculos eróticos, atributos e práticas BDSM	"We both climaxed at the same time."
Alto	Conteúdo que descreva a solicitação de serviços comerciais sexuais, contendo descrições detalhadas de atividade sexual, abuso sexual violento e estupro, e trocas de poder não consensuais, abuso e voyeurismo. Isso também inclui conteúdo que é usado para promover, endossar ou glorificar atos sexuais extremos ou ilegais. Isto inclui: Qualquer representação de Material de Abuso Sexual de Crianças (CSAM), incluindo qualquer referência explícita ou potencial ao sexo de menores Aliciamento de crianças, abuso de crianças e outras formas de exploração infantil Referências explícitas ou potenciais a incesto, zoofilia, necrofilia, etc. Recrutamento por tráfico sexual de seres humanos, incluindo manipulação de vítimas	"I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son."

Níveis de gravidade da violência

Nível de severidade	Descrição	Texto de exemplo
Safe	O conteúdo é seguro, mas pode conter termos relacionados à violência usados em contextos genéricos e seguros, como: Formação Académica MÍDIA Estatísticas oficiais História Medicina Ciência Objetos comuns quando não usados como armas Especificações técnicas de caça ou tiro desportivo e armas	"Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights."
Baixo	Conteúdo em contextos fictícios (por exemplo, jogos, literatura, artes) que retratem cenas violentas ou gráficas sem glorificação, endosso ou má intenção. Isto inclui: Experiências pessoais de violência (sem intenção violenta) Visões tendenciosas, preconceituosas, preconceituosas ou opinativas sobre a violência Referências a atos violentos e morte em baixa intensidade	"Some people just need to be slapped."
Médio	Conteúdo que contenha representações gráficas de violência e morte em intensidade média, bem como fantasias sobre atos violentos ou ameaças. Isto inclui: Textos que colocam a vítima em culpa ou retratam os agressores de uma forma positiva Referências históricas ao genocídio e ao Holocausto sem apoio ou glorificação Referências a tiroteios em massa conhecidos sem endosso ou glorificação Referências a grupos terroristas e extremistas violentos e acontecimentos sem apoio ou glorificação Textos que procuram aconselhamento ou recomendação ou textos que fornecem instruções sobre como realizar um ato violento contra um animal, um indivíduo, um grupo de indivíduos ou um objeto ou infraestrutura que possa resultar em danos individuais ou em massa Intimidação e intimidação	"Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught."
Alto	Conteúdo que contenha propaganda terrorista ou extremista violenta e ideologia violenta na Internet que descreva, elogia, apoie, apoie ou glorifique assassinatos como parte de atividades terroristas, ajudas a organizações ou causas terroristas. Isto inclui: Textos que solicitam instruções sobre a filiação em grupos terroristas e extremistas violentos Textos que fornecem instruções sobre como recrutar seguidores, influenciar pessoas para uma causa terrorista ou ideologia extremista, adotar visões radicais ou fornecer treinamento sobre como grupos terroristas e extremistas violentos operam, ou fornecer informações sobre seus líderes e membros Textos que planeiam e coordenam ataques contra indivíduos ou grupos de pessoas, incluindo tiroteios, utilização de bombas e explosivos em infraestruturas civis ou ataques com armas brancas, quando realizados por não combatentes ou não terroristas Conteúdo que faz referência a trabalho forçado, incluindo crianças, servidão doméstica, perseguição e procedimentos médicos forçados	"Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight."

Níveis de gravidade da automutilação

Nível de severidade	Descrição	Texto de exemplo
Safe	O conteúdo é seguro, mas pode conter termos relacionados à automutilação usados em contextos genéricos e seguros, tais como: Estatísticas oficiais Formação Académica MÍDIA Médico Ações que descrevem automutilação acidental, dicas de primeiros socorros, etc.	"Binging and purging may be a warning sign for people with a history of extreme weight loss."
Baixo	Conteúdo que contenha referências a personagens que planeiam ou cometem suicídio num contexto fictício (por exemplo, literatura, filmes) ou que contenha representações de atos de automutilação ou suicídio em baixa intensidade. Isto inclui: Opiniões pessoais tendenciosas, preconceituosas, preconceituosas ou opinativas sobre automutilação Associações com distúrbios alimentares, procurando ou fornecendo instruções para perda de peso drástica e não saudável Experiências pessoais relacionadas com automutilação, incluindo a procura de ajuda profissional	"I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice?"
Médio	Conteúdo que zomba de vítimas ou sobreviventes de automutilação, como distúrbios alimentares ou suicídio, bem como bullying e intimidação que incita e promove atos de automutilação. Isto inclui: Autolesão apresentada como solução para um problema Fantasias, desejos, desejos ou experiências pessoais sobre automutilação/suicídio Textos que procuram ou dão conselhos, instruções ou recomendações sobre como realizar automutilação Bullying e intimidação que incitem e promovem atos de automutilação	"Go kill yourself, you are worthless."
Alto	Conteúdo que inclua pesquisa para aconselhamento ou forneça instruções e métodos sobre como se envolver em automutilação que leva à morte ou como cometer suicídio, bem como glorificação e endosso do suicídio ou outros tipos graves de automutilação. Isto inclui: Textos que instruem como escrever uma mensagem de despedida para a sua família Auto-decapitação Queimando vivo	"Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble."

Conteúdo da imagem

Aviso

Aviso

A guia Definições de gravidade neste documento contém exemplos de conteúdo prejudicial que pode ser perturbador para alguns leitores.

Definições de gravidade

Níveis de severidade do ódio e da equidade

Nível de severidade	Descrição	Exemplo de imagem
Safe	O conteúdo é seguro, mas pode conter imagens relacionadas ao ódio e à justiça, sem sentimento ou sentimentos neutros, de forma não discriminatória e não ofensiva, nos seguintes contextos ou similares: Jornalístico Histórico Médico Legal Educacional Geográfica	Bandeiras não confederadas, por exemplo, bandeiras de países ou estados que apresentam cruzes Uma imagem da bandeira Union Jack da Grã-Bretanha Representação da emancipação de pessoas escravizadas nos EUA em fotos históricas
Baixo	Conteúdo que contenha sentimentos positivos, falsos positivos ou sentimentos negativos e tendenciosos que diferenciem grupos identitários de outros. Este conteúdo destina-se a desencadear uma resposta emocional. O que está incluído: Proteção Simbolismo nazista, a bandeira confederada, simbolismo Ku Klux Klan Estereótipos Discriminação no emprego	Representações do movimento 'No Hate Speech' Representações de candidatos a empregos despriorizados, como candidatos com deficiência, em ambientes de entrevista
Médio	Conteúdo que contenha sentimentos negativos, ações em relação a grupos identitários e outros que levem à promoção de ações contra grupos identitários e sentimentos de superioridade. O que está incluído: Insulto, isolamento, zombaria Bandeira nazista, bandeira confederada e variações e mercadorias LGBTQIA+	Imagens que promovem a evasão social de [grupos identitários] Imagens que retratam a teoria da melhoria racial e a eugenia
Alto	Conteúdo que contenha sentimento negativo e discurso de ódio em relação a grupos de identidade, levando à geração de discurso de ódio ou crimes de ódio. O que está incluído: Racismo Ataques a LGBTQIA+ Disablismo Discriminação em razão do sexo Simbolismo nazista glorificado, bandeira confederada, simbolismo Ku Klux Klan Bandeira confederada violenta	Imagens antissemitas Imagens que retratam o "Cruzeiro do Sul" que apresenta uma sátira azul (cruz diagonal) com afiliação de violência óbvia (por exemplo, armas em exibição/uso)

Níveis de severidade sexual

Nível de severidade	Descrição	Exemplo de imagem
Safe	O conteúdo é seguro, mas contém imagens sexualmente relacionadas usadas em um sentido geral. O que está incluído: Relações familiares e amorosas Nudez não sexual Vestuário Objetos comuns Pose ou atividade não sexual Acasalamento de animais Bem-estar sexual	Representações de abraçar ou fazer contato físico não sexual Representações que retratam demonstração física de afeto, como beijos sem língua e sem nudez
Baixo	Conteúdo que contenha comportamentos ou atos sexualmente sugestivos. O que está incluído: Experiências pessoais Modelação de moda Nudez em obras de arte Arte corporal Visor Racy	Representações de pessoas
Médio	Conteúdo que contenha conteúdo erótico e/ou pornográfico comercial e amador sem penetração fotográfica visual e participantes nus ou seminus envolvidos em cenas sexuais destinadas a serem sexualmente excitantes. O que está incluído: Modelação sexual Nudez suave em obras de arte Sex jobs ou lojas Atividade sexual obscurecida Produção pornô nos bastidores Pole dance	Representações de relações sexuais que podem ser parcialmente ocluídas, mas ainda claramente presentes na imagem
Alto	Conteúdo que contenha representações explícitas e detalhadas de órgãos sexuais e atos sexuais, incluindo atos ilegais. O que está incluído: Pornografia amadora soft-core e hard-core Solicitação sexual Voyeurismo Sexo na obra de arte BDSM sem consentimento ou violação Exploração e abuso sexual de crianças Aliciamento de crianças Incesto	Representações de envolvimentos em atividades sexuais com animais ou cadáveres

Níveis de gravidade da violência

Nível de severidade	Descrição	Exemplo de imagem
Safe	O conteúdo é seguro, mas contém imagens relacionadas à violência usadas em um sentido geral. O que está incluído: Posar para dormir ou deitar Objetos comuns Atividade não violenta Cordas não como um laço Ferramentas com lâminas em uso na cozinha/costura Feridas, cicatrizes e tratamento cirúrgico Caça e tiro desportivo Armas de brinquedo e de faz de conta Prática de combate Danos a objetos e vandalismo Simbolismo terrorista sem marca	Representações de armas não realistas e ferramentas com lâminas
Baixo	Conteúdo que contenha imagens relacionadas à violência e atue no mundo real ou em contextos fictícios com baixo teor de gore. O que está incluído: Armas, armas e ferramentas com lâminas em exibição e em uso Cadáver não realista Violência irrealista Armas animadas Lesões ligeiras e experiência pessoal Cordas como um laço Morte em contextos históricos, educativos ou funerários Simbolismo terrorista irrealista Touradas	Representações de bandeiras do ISIS/Al-Qaeda
Médio	Conteúdo que contenha violência explícita moderada e atos violentos direcionados a um alvo identificado. O que está incluído: Autópsia Cena do crime ou da morte Morte de animais (naturais ou caçados), sacrifício de animais, maus-tratos a animais Escravização Genocídio e assassínios em massa em contextos históricos e educativos Matadouro Violência doméstica e violência física Assédio moral Armas e armas em uso contra um alvo	Representações do uso da força e da coerção para dominar ou intimidar agressivamente um indivíduo
Alto	Conteúdo que contenha representações explícitas e detalhadas de violência e atos violentos em alto nível. O que está incluído: Ferimentos gráficos e morte Desmembramento, decapitação, queima viva Decomposição de cadáveres Terrorismo, grupos terroristas e bandeiras Trabalho forçado e servidão, procedimento médico forçado Perseguição Cadáver no terrorismo e no crime de guerra Evento de tiro Outros extremismos	Representações da morte quando realizadas por grupos terroristas identificáveis por bandeiras e símbolos do ISIS

Níveis de gravidade da automutilação

Nível de severidade	Descrição	Exemplo de imagem
Safe	O conteúdo é seguro, mas contém imagens relacionadas à automutilação usadas em um sentido geral. O que está incluído: Baixo teor de gordura corporal Ato de não automutilação Lesão corporal acidental	Representações de saltos com um para-quedas para fora de um avião
Baixo	Conteúdo que contenha imagens relacionadas à automutilação e atue em contextos reais ou fictícios com baixo teor de gore. O que está incluído: Cicatrizes Lesão por automutilação em recuperação Automutilação não realista Indivíduos ou animais emaciados	Representações de atos, ferramentas, lesões e estado emocional relacionados à automutilação
Médio	Conteúdo que contenha imagens gráficas moderadas relacionadas com automutilação e suicídio. O que está incluído: Autópsia Cena do crime ou da morte Assédio moral	Representações do uso da força e da coerção para dominar ou intimidar agressivamente um indivíduo para se automutilar
Alto	Conteúdo que contenha representações explícitas e detalhadas de automutilação e suicídio em alto nível. O que está incluído: Ato de automutilação iminente Atos de automutilação Suicídio	Representações de suicídio intencional, onde uma pessoa cometeu suicídio pulando de um prédio alto

Configurabilidade (pré-visualização)

A configuração de filtragem de conteúdo padrão para a série de modelos GPT é definida para filtrar no limite de gravidade média para todas as quatro categorias de dano de conteúdo (ódio, violência, sexual e automutilação) e se aplica a prompts (texto, texto/imagem multimodal) e conclusão (texto). Isso significa que o conteúdo detetado no nível de gravidade médio ou alto é filtrado, enquanto o conteúdo detetado no nível de gravidade baixo não é filtrado pelos filtros de conteúdo. Para DALL-E, o limite de gravidade padrão é definido como baixo para prompts (texto) e finalizações (imagens), portanto, o conteúdo detetado em níveis de gravidade baixo, médio ou alto é filtrado. O recurso de configurabilidade está disponível na visualização e permite que os clientes ajustem as configurações, separadamente para prompts e conclusão, para filtrar o conteúdo de cada categoria de conteúdo em diferentes níveis de gravidade, conforme descrito na tabela abaixo:

Severidade filtrada	Configurável para prompts	Configurável para finalizações	Descrições
Baixa, média, alta	Sim	Sim	Configuração de filtragem mais rigorosa. O conteúdo detetado nos níveis de gravidade baixo, médio e alto é filtrado.
Médio, alto	Sim	Sim	O conteúdo detetado no nível de gravidade baixo não é filtrado, o conteúdo em médio e alto é filtrado.
Alto	Sim	Sim	O conteúdo detetado nos níveis de gravidade baixo e médio não é filtrado. Apenas o conteúdo com nível de severidade alto é filtrado. Requer aprovação1.
Sem filtros	Se aprovado1	Se aprovado1	Nenhum conteúdo é filtrado, independentemente do nível de gravidade detetado. Requer aprovação1.

1 Para modelos OpenAI do Azure, apenas os clientes que foram aprovados para filtragem de conteúdo modificada têm controle total de filtragem de conteúdo e podem desativar os filtros de conteúdo. Solicite filtros de conteúdo modificados por meio deste formulário: Azure OpenAI Limited Access Review: Modified Content Filters Para clientes do Azure Government, solicite filtros de conteúdo modificados por meio deste formulário: Azure Government - Request Modified Content Filtering for Azure OpenAI Service.

Filtros de conteúdo configuráveis para entradas (prompts) e saídas (conclusão) estão disponíveis para os seguintes modelos do Azure OpenAI:

• Série de modelos GPT
• GPT-4 Turbo Vision GA^* (turbo-2024-04-09)
• GPT-4O
• DALL-E 2 e 3

^*Disponível apenas para GPT-4 Turbo Vision GA, não se aplica à pré-visualização GPT-4 Turbo Vision

As configurações de filtragem de conteúdo são criadas dentro de um Recurso no Azure AI Studio e podem ser associadas a Implantações. Saiba mais sobre a configurabilidade aqui.

Os clientes são responsáveis por garantir que os aplicativos que integram o Azure OpenAI estejam em conformidade com o Código de Conduta.

Detalhes do cenário

Quando o sistema de filtragem de conteúdo deteta conteúdo nocivo, você recebe um erro na chamada de API se o prompt foi considerado inadequado ou a finish_reason resposta na resposta será content_filter para indicar que parte da conclusão foi filtrada. Ao criar seu aplicativo ou sistema, convém levar em conta esses cenários em que o conteúdo retornado pela API de Conclusão é filtrado, o que pode resultar em conteúdo incompleto. A forma como você age com base nessas informações será específica do aplicativo. O comportamento pode ser resumido nos seguintes pontos:

• Os pedidos classificados numa categoria filtrada e ao nível de gravidade irão devolver um erro HTTP 400.
• As chamadas de conclusão sem streaming não retornarão nenhum conteúdo quando o conteúdo for filtrado. O finish_reason valor será definido como content_filter. Em casos raros com respostas mais longas, um resultado parcial pode ser retornado. Nestes casos, o finish_reason será atualizado.
• Para chamadas de conclusão de streaming, os segmentos serão devolvidos ao usuário à medida que forem concluídos. O serviço continuará transmitindo até atingir um token de parada, comprimento ou quando o conteúdo classificado em uma categoria filtrada e nível de gravidade for detetado.

Cenário: Você envia uma chamada de conclusão sem streaming solicitando várias saídas; Nenhum conteúdo é classificado em uma categoria filtrada e nível de severidade

A tabela abaixo descreve as várias maneiras pelas quais a filtragem de conteúdo pode aparecer:

Código de resposta HTTP	Comportamento de resposta
200	Nos casos em que toda a geração passa os filtros conforme configurados, nenhum detalhe de moderação de conteúdo é adicionado à resposta. O finish_reason para cada geração será de parada ou comprimento.

Exemplo de carga útil de solicitação:

{
    "prompt":"Text example", 
    "n": 3,
    "stream": false
}

Exemplo de resposta JSON:

{
    "id": "example-id",
    "object": "text_completion",
    "created": 1653666286,
    "model": "davinci",
    "choices": [
        {
            "text": "Response generated text",
            "index": 0,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Cenário: Sua chamada de API solicita várias respostas (N>1) e pelo menos uma das respostas é filtrada

Código de resposta HTTP	Comportamento de resposta
200	As gerações que foram filtradas terão um finish_reason valor de content_filter.

Exemplo de carga útil de solicitação:

{
    "prompt":"Text example",
    "n": 3,
    "stream": false
}

Exemplo de resposta JSON:

{
    "id": "example",
    "object": "text_completion",
    "created": 1653666831,
    "model": "ada",
    "choices": [
        {
            "text": "returned text 1",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null
        },
        {
            "text": "returned text 2",
            "index": 1,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Cenário: Um prompt de entrada inadequado é enviado para a API de conclusão (para streaming ou não-streaming)

Código de resposta HTTP	Comportamento de resposta
400	A chamada de API falha quando o prompt aciona um filtro de conteúdo conforme configurado. Modifique o prompt e tente novamente.

Exemplo de carga útil de solicitação:

{
    "prompt":"Content that triggered the filtering model"
}

Exemplo de resposta JSON:

"error": {
    "message": "The response was filtered",
    "type": null,
    "param": "prompt",
    "code": "content_filter",
    "status": 400
}

Cenário: Você faz uma chamada de conclusão de streaming; Nenhum conteúdo de saída é classificado em uma categoria filtrada e nível de severidade

Código de resposta HTTP	Comportamento de resposta
200	Neste caso, a chamada será transmitida de volta com a geração completa e finish_reason será 'duração' ou 'parada' para cada resposta gerada.

Exemplo de carga útil de solicitação:

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

Exemplo de resposta JSON:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670914,
    "model": "ada",
    "choices": [
        {
            "text": "last part of generation",
            "index": 2,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Cenário: Você faz uma chamada de conclusão de streaming solicitando várias finalizações e pelo menos uma parte do conteúdo de saída é filtrada

Código de resposta HTTP	Comportamento de resposta
200	Para um determinado índice de geração, a última parte da geração inclui um valor não nulo finish_reason . O valor é content_filter quando a geração foi filtrada.

Exemplo de carga útil de solicitação:

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

Exemplo de resposta JSON:

 {
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670515,
    "model": "ada",
    "choices": [
        {
            "text": "Last part of generated text streamed back",
            "index": 2,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Cenário: O sistema de filtragem de conteúdo não é executado após a conclusão

Código de resposta HTTP	Comportamento de resposta
200	Se o sistema de filtragem de conteúdo estiver inativo ou não conseguir concluir a operação a tempo, sua solicitação ainda será concluída sem filtragem de conteúdo. Você pode determinar que a filtragem não foi aplicada procurando uma mensagem de erro no content_filter_result objeto.

Exemplo de carga útil de solicitação:

{
    "prompt":"Text example",
    "n": 1,
    "stream": false
}

Exemplo de resposta JSON:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1652294703,
    "model": "ada",
    "choices": [
        {
            "text": "generated text",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null,
            "content_filter_result": {
                "error": {
                    "code": "content_filter_error",
                    "message": "The contents are not filtered"
                }
            }
        }
    ]
}

Anotações

Filtros de conteúdo

Quando as anotações são habilitadas, conforme mostrado no trecho de código abaixo, as seguintes informações são retornadas por meio da API para as categorias ódio e justiça, sexual, violência e automutilação:

• categoria de filtragem de conteúdo (ódio, sexual, violência self_harm)
• o nível de severidade (seguro, baixo, médio ou alto) dentro de cada categoria de conteúdo
• estado de filtragem (true ou false).

Modelos opcionais

Os modelos opcionais podem ser ativados no modo de anotação (retorna informações quando o conteúdo foi sinalizado, mas não filtrado) ou no modo de filtro (retorna informações quando o conteúdo foi sinalizado e filtrado).

Quando as anotações são habilitadas, conforme mostrado nos trechos de código abaixo, as seguintes informações são retornadas pela API para modelos opcionais:

Modelo	Saída
fuga de presos	detetado (verdadeiro ou falso), filtrado (verdadeiro ou falso)
ataques indiretos	detetado (verdadeiro ou falso), filtrado (verdadeiro ou falso)
texto material protegido	detetado (verdadeiro ou falso), filtrado (verdadeiro ou falso)
Código do material protegido	detetado (verdadeiro ou falso), filtrado (verdadeiro ou falso), Exemplo de citação do repositório público do GitHub onde o trecho de código foi encontrado, A licença do repositório

Ao exibir o código em seu aplicativo, é altamente recomendável que o aplicativo também exiba a citação de exemplo das anotações. A conformidade com a licença citada também pode ser exigida para a cobertura do Compromisso de Direitos Autorais do Cliente.

Consulte a tabela a seguir para obter a disponibilidade da anotação em cada versão da API:

Categoria	2024-02-01 GA	2024-04-01-visualização	2023-10-01-visualização	2023-06-01-visualização
Ódio	✅	✅	✅	✅
Violência	✅	✅	✅	✅
Sexual	✅	✅	✅	✅
Automutilação	✅	✅	✅	✅
Prompt Shield para ataques de jailbreak	✅	✅	✅	✅
Prompt Shield para ataques indiretos		✅
Texto material protegido	✅	✅	✅	✅
Código do material protegido	✅	✅	✅	✅
Lista de bloqueio de palavrões	✅	✅	✅	✅
Lista de bloqueio personalizada		✅	✅	✅

OpenAI Python 1.x

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
from openai import AzureOpenAI
client = AzureOpenAI(
    api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
    api_version="2024-03-01-preview",
    azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT") 
    )

response = client.completions.create(
    model="gpt-35-turbo-instruct", # model = "deployment_name".
    prompt="{Example prompt where a severity level of low is detected}" 
    # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.
)

print(response.model_dump_json(indent=2))

Saída

{ 
  "choices": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "protected_material_code": { 
          "citation": { 
            "URL": " https://github.com/username/repository-name/path/to/file-example.txt", 
            "license": "EXAMPLE-LICENSE" 
          }, 
          "detected": true,
          "filtered": false 
        }, 
        "protected_material_text": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "finish_reason": "stop", 
      "index": 0, 
      "message": { 
        "content": "Example model response will be returned ", 
        "role": "assistant" 
      } 
    } 
  ], 
  "created": 1699386280, 
  "id": "chatcmpl-8IMI4HzcmcK6I77vpOJCPt0Vcf8zJ", 
  "model": "gpt-35-turbo-instruct", 
  "object": "text.completion",
  "usage": { 
    "completion_tokens": 40, 
    "prompt_tokens": 11, 
    "total_tokens": 417 
  },  
  "prompt_filter_results": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "jailbreak": { 
          "detected": false, 
          "filtered": false 
        }, 
        "profanity": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "prompt_index": 0 
    } 
  ]
} 

OpenAI Python 0.28.1

Nota

A versão 0.28.1 da biblioteca OpenAI Python foi preterida. Recomendamos a utilização do 1.x. Consulte o nosso guia de migração para obter informações sobre como mudar de 0.28.1 .1.x

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-03-01-preview" # API version required to use Annotations
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

response = openai.Completion.create(
    engine="gpt-35-turbo-instruct", # engine = "deployment_name".
    messages=[{"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Example prompt that leads to a protected code completion that was detected, but not filtered"}]     # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.
)

print(response)

Saída

{ 
  "choices": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "protected_material_code": { 
          "citation": { 
            "URL": " https://github.com/username/repository-name/path/to/file-example.txt", 
            "license": "EXAMPLE-LICENSE" 
          }, 
          "detected": true,
          "filtered": false 
        }, 
        "protected_material_text": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "finish_reason": "stop", 
      "index": 0, 
      "message": { 
        "content": "Example model response will be returned ", 
        "role": "assistant" 
      } 
    } 
  ], 
  "created": 1699386280, 
  "id": "chatcmpl-8IMI4HzcmcK6I77vpOJCPt0Vcf8zJ", 
  "model": "gpt-35-turbo-instruct", 
  "object": "text.completion",
  "usage": { 
    "completion_tokens": 40, 
    "prompt_tokens": 11, 
    "total_tokens": 417 
  },  
  "prompt_filter_results": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "jailbreak": { 
          "detected": false, 
          "filtered": false 
        }, 
        "profanity": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "prompt_index": 0 
    } 
  ]
} 

O trecho de código a seguir mostra como recuperar anotações quando o conteúdo foi filtrado:

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-03-01-preview" # API version required to use  Annotations
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

try:
    response = openai.Completion.create(
        prompt="<PROMPT>",
        engine="<MODEL_DEPLOYMENT_NAME>",
    )
    print(response)

except openai.error.InvalidRequestError as e:
    if e.error.code == "content_filter" and e.error.innererror:
        content_filter_result = e.error.innererror.content_filter_result
        # print the formatted JSON
        print(content_filter_result)

        # or access the individual categories and details
        for category, details in content_filter_result.items():
            print(f"{category}:\n filtered={details['filtered']}\n severity={details['severity']}")

JavaScript

Exemplos de código-fonte do SDK JavaScript do Azure OpenAI

import { OpenAIClient, AzureKeyCredential } from "@azure/openai";

// Load the .env file if it exists
import * as dotenv from "dotenv";
dotenv.config();

// You will need to set these environment variables or edit the following values
const endpoint = process.env["ENDPOINT"] || "<endpoint>";
const azureApiKey = process.env["AZURE_API_KEY"] || "<api key>";

const messages = [
  { role: "system", content: "You are a helpful assistant. You will talk like a pirate." },
  { role: "user", content: "Can you help me?" },
  { role: "assistant", content: "Arrrr! Of course, me hearty! What can I do for ye?" },
  { role: "user", content: "What's the best way to train a parrot?" },
];

export async function main() {
  console.log("== Get completions Sample ==");

  const client = new OpenAIClient(endpoint, new AzureKeyCredential(azureApiKey));
  const deploymentId = "gpt-35-turbo"; //This needs to correspond to the name you chose when you deployed the model. 
  const events = await client.listChatCompletions(deploymentId, messages, { maxTokens: 128 });

  for await (const event of events) {
    for (const choice of event.choices) {
      console.log(choice.message);
      if (!choice.contentFilterResults) {
        console.log("No content filter is found");
        return;
      }
      if (choice.contentFilterResults.error) {
        console.log(
          `Content filter ran into the error ${choice.contentFilterResults.error.code}: ${choice.contentFilterResults.error.message}`
        );
      } else {
        const { hate, sexual, selfHarm, violence } = choice.contentFilterResults;
        console.log(
          `Hate category is filtered: ${hate?.filtered} with ${hate?.severity} severity`
        );
        console.log(
          `Sexual category is filtered: ${sexual?.filtered} with ${sexual?.severity} severity`
        );
        console.log(
          `Self-harm category is filtered: ${selfHarm?.filtered} with ${selfHarm?.severity} severity`
        );
        console.log(
          `Violence category is filtered: ${violence?.filtered} with ${violence?.severity} severity`
        );
      }
    }
  }
}

main().catch((err) => {
  console.error("The sample encountered an error:", err);
});

PowerShell

# Env: for the endpoint and key assumes that you are using environment variables.
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-03-01-preview' # this may change in the future
    name        = 'YOUR-DEPLOYMENT-NAME-HERE' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

$prompt = 'Example prompt where a severity level of low is detected'
    # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.

$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$body = [ordered]@{
    prompt    = $prompt
    model      = $openai.name
} | ConvertTo-Json

# Send a completion call to generate an answer
$url = "$($openai.api_base)/openai/deployments/$($openai.name)/completions?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
return $response.prompt_filter_results.content_filter_results | format-list

O $response objeto contém uma propriedade chamada prompt_filter_results que contém anotações sobre os resultados do filtro. Se você preferir JSON a um objeto .NET, canalize a saída para ConvertTo-JSON em vez de Format-List.

hate      : @{filtered=False; severity=safe}
self_harm : @{filtered=False; severity=safe}
sexual    : @{filtered=False; severity=safe}
violence  : @{filtered=False; severity=safe}

Para obter detalhes sobre os pontos de extremidade da API REST de inferência para o Azure OpenAI e como criar Chat e Conclusão, siga as diretrizes de referência da API REST do Serviço OpenAI do Azure. As anotações são retornadas para todos os cenários ao usar qualquer versão de API de visualização a partir de 2023-06-01-preview, bem como a versão 2024-02-01da API GA.

Cenário de exemplo: um prompt de entrada contendo conteúdo classificado em uma categoria filtrada e nível de gravidade é enviado para a API de conclusão

{
    "error": {
        "message": "The response was filtered due to the prompt triggering Azure Content management policy. 
                   Please modify your prompt and retry. To learn more about our content filtering policies
                   please read our documentation: https://go.microsoft.com/fwlink/?linkid=21298766",
        "type": null,
        "param": "prompt",
        "code": "content_filter",
        "status": 400,
        "innererror": {
            "code": "ResponsibleAIPolicyViolation",
            "content_filter_result": {
                "hate": {
                    "filtered": true,
                    "severity": "high"
                },
                "self-harm": {
                    "filtered": true,
                    "severity": "high"
                },
                "sexual": {
                    "filtered": false,
                    "severity": "safe"
                },
                "violence": {
                    "filtered":true,
                    "severity": "medium"
                }
            }
        }
    }
}

Incorporação de documentos em prompts

Um aspeto fundamental das medidas de IA Responsável do Azure OpenAI é o sistema de segurança de conteúdo. Este sistema é executado em conjunto com o modelo GPT principal para monitorar quaisquer irregularidades na entrada e saída do modelo. Seu desempenho é melhorado quando ele pode diferenciar entre vários elementos do seu prompt, como entrada do sistema, entrada do usuário e saída do assistente de IA.

Para recursos de deteção aprimorados, os prompts devem ser formatados de acordo com os seguintes métodos recomendados.

API de conclusão de bate-papo

A API de Conclusão de Chat é estruturada por definição. Consiste numa lista de mensagens, cada uma com uma função atribuída.

O sistema de segurança analisará este formato estruturado e aplicará o seguinte comportamento:

• No conteúdo mais recente do "usuário", as seguintes categorias de Riscos RAI serão detetadas:
  • Ódio
  • Sexual
  • Violência
  • Automutilação
  • Jailbreak (opcional)

Este é um exemplo de matriz de mensagens:

{"role": "system", "content": "Provide some context and/or instructions to the model."}, 
{"role": "user", "content": "Example question goes here."}, 
{"role": "assistant", "content": "Example answer goes here."}, 
{"role": "user", "content": "First question/message for the model to actually respond to."} 

Incorporar documentos no seu prompt

Além da deteção do último conteúdo do utilizador, o Azure OpenAI também suporta a deteção de riscos específicos dentro de documentos de contexto através de Escudos de Aviso – Deteção de Ataques Imediatos Indiretos. Você deve identificar partes da entrada que são um documento (por exemplo, site recuperado, e-mail, etc.) com o seguinte delimitador de documento.

<documents> 
*insert your document content here* 
</documents>

Quando você fizer isso, as seguintes opções estarão disponíveis para deteção em documentos marcados:

• Em cada conteúdo de "documento" marcado, detete as seguintes categorias:
  • Ataques indiretos (opcional)

Aqui está um exemplo de matriz de mensagens de conclusão de chat:

{"role": "system", "content": "Provide some context and/or instructions to the model, including document context. \"\"\" <documents>\n*insert your document content here*\n<\\documents> \"\"\""}, 

{"role": "user", "content": "First question/message for the model to actually respond to."} 

JSON escapando

Quando você marca documentos não verificados para deteção, o conteúdo do documento deve ser escapado por JSON para garantir uma análise bem-sucedida pelo sistema de segurança OpenAI do Azure.

Por exemplo, consulte o seguinte corpo de e-mail:

Hello Josè, 

I hope this email finds you well today.

Com a fuga de JSON, ler-se-ia:

Hello Jos\u00E9,\nI hope this email finds you well today. 

O texto escapado em um contexto de conclusão de bate-papo seria:

{"role": "system", "content": "Provide some context and/or instructions to the model, including document context. \"\"\" <documents>\n Hello Jos\\u00E9,\\nI hope this email finds you well today. \n<\\documents> \"\"\""}, 

{"role": "user", "content": "First question/message for the model to actually respond to."}

Streaming de conteúdo

Esta seção descreve a experiência e as opções de streaming de conteúdo do Azure OpenAI. Os clientes têm a opção de receber conteúdo da API à medida que é gerado, em vez de esperar que partes de conteúdo que foram verificadas passem pelos seus filtros de conteúdo.

Predefinido

O sistema de filtragem de conteúdo é integrado e habilitado por padrão para todos os clientes. No cenário de streaming padrão, o conteúdo de conclusão é armazenado em buffer, o sistema de filtragem de conteúdo é executado no conteúdo armazenado em buffer e, dependendo da configuração de filtragem de conteúdo, o conteúdo é retornado ao usuário se não violar a política de filtragem de conteúdo (configuração de usuário padrão ou personalizada da Microsoft), ou é imediatamente bloqueado e retorna um erro de filtragem de conteúdo, sem devolver o conteúdo de conclusão prejudicial. Este processo é repetido até o final do fluxo. O conteúdo é totalmente verificado de acordo com a política de filtragem de conteúdo antes de ser devolvido ao usuário. O conteúdo não é retornado token por token neste caso, mas em "blocos de conteúdo" do respetivo tamanho de buffer.

Filtro assíncrono

Os clientes podem escolher o Filtro Assíncrono como uma opção adicional, proporcionando uma nova experiência de streaming. Nesse caso, os filtros de conteúdo são executados de forma assíncrona e o conteúdo de conclusão é retornado imediatamente com uma experiência de streaming suave token por token. Nenhum conteúdo é armazenado em buffer, o que permite uma experiência de streaming rápida com latência zero associada à segurança do conteúdo.

Os clientes devem estar cientes de que, embora o recurso melhore a latência, é uma compensação contra a segurança e a verificação em tempo real de seções menores da saída do modelo. Como os filtros de conteúdo são executados de forma assíncrona, as mensagens de moderação de conteúdo e os sinais de violação de política são atrasados, o que significa que algumas seções de conteúdo prejudicial que, de outra forma, teriam sido filtradas imediatamente podem ser exibidas para o usuário.

Anotações: Anotações e mensagens de moderação de conteúdo são retornadas continuamente durante o fluxo. É altamente recomendável que você consuma anotações em seu aplicativo e implemente mecanismos adicionais de segurança de conteúdo de IA, como a edição de conteúdo ou o retorno de informações de segurança adicionais ao usuário.

Sinal de filtragem de conteúdo: o sinal de erro de filtragem de conteúdo está atrasado. Em caso de violação da política, ela é devolvida assim que estiver disponível e o fluxo é interrompido. O sinal de filtragem de conteúdo é garantido dentro de uma janela de ~1.000 caracteres do conteúdo que viola a política.

Compromisso de Direitos Autorais do Cliente: O conteúdo sinalizado retroativamente como material protegido pode não ser elegível para a cobertura do Compromisso de Direitos Autorais do Cliente.

Para habilitar o Filtro Assíncrono no Azure OpenAI Studio, siga o guia de instruções do Filtro de conteúdo para criar uma nova configuração de filtragem de conteúdo e selecione Filtro Assíncrono na seção Streaming.

Comparação dos modos de filtragem de conteúdo

Comparar	Streaming - Padrão	Streaming - Filtro assíncrono
Status	GA	Pré-visualização Pública
Elegibilidade	Todos os clientes	Clientes aprovados para filtragem de conteúdo modificado
Como ativar	Ativado por padrão, nenhuma ação necessária	Os clientes aprovados para filtragem de conteúdo modificada podem configurá-la diretamente no Azure OpenAI Studio (como parte de uma configuração de filtragem de conteúdo, aplicada no nível de implantação)
Modalidade e disponibilidade	Texto; todos os modelos GPT	Texto; todos os modelos GPT
Experiência de streaming	O conteúdo é armazenado em buffer e retornado em partes	Latência zero (sem buffering, os filtros são executados de forma assíncrona)
Sinal de filtragem de conteúdo	Sinal de filtragem imediata	Sinal de filtragem atrasado (em incrementos de até ~1.000 caracteres)
Configurações de filtragem de conteúdo	Suporta configuração de filtro padrão e qualquer configuração de filtro definida pelo cliente (incluindo modelos opcionais)	Suporta configuração de filtro padrão e qualquer configuração de filtro definida pelo cliente (incluindo modelos opcionais)

Anotações e exemplos de respostas

Mensagem de anotação de prompt

Isso é o mesmo que anotações padrão.

data: { 
    "id": "", 
    "object": "", 
    "created": 0, 
    "model": "", 
    "prompt_filter_results": [ 
        { 
            "prompt_index": 0, 
            "content_filter_results": { ... } 
        } 
    ], 
    "choices": [], 
    "usage": null 
} 

Mensagem de token de conclusão

As mensagens de conclusão são encaminhadas imediatamente. Nenhuma moderação é executada primeiro, e nenhuma anotação é fornecida inicialmente.

data: { 
    "id": "chatcmpl-7rAJvsS1QQCDuZYDDdQuMJVMV3x3N", 
    "object": "chat.completion.chunk", 
    "created": 1692905411, 
    "model": "gpt-35-turbo", 
    "choices": [ 
        { 
            "index": 0, 
            "finish_reason": null, 
            "delta": { 
                "content": "Color" 
            } 
        } 
    ], 
    "usage": null 
} 

Mensagem de anotação

O campo de texto será sempre uma cadeia de caracteres vazia, indicando que não há novos tokens. As anotações só serão relevantes para tokens já enviados. Pode haver várias mensagens de anotação referentes aos mesmos tokens.

"start_offset" e "end_offset" são deslocamentos de baixa granularidade no texto (com 0 no início do prompt) para marcar para qual texto a anotação é relevante.

"check_offset" representa a quantidade de texto que foi totalmente moderada. É um limite inferior exclusivo sobre os "end_offset" valores de anotações futuras. Não está diminuindo.

data: { 
    "id": "", 
    "object": "", 
    "created": 0, 
    "model": "", 
    "choices": [ 
        { 
            "index": 0, 
            "finish_reason": null, 
            "content_filter_results": { ... }, 
            "content_filter_raw": [ ... ], 
            "content_filter_offsets": { 
                "check_offset": 44, 
                "start_offset": 44, 
                "end_offset": 198 
            } 
        } 
    ], 
    "usage": null 
} 

Fluxo de resposta de amostra (passa filtros)

Abaixo está uma resposta real de conclusão de bate-papo usando o Filtro Assíncrono. Observe como as anotações de prompt não são alteradas, os tokens de conclusão são enviados sem anotações e as novas mensagens de anotação são enviadas sem tokens — em vez disso, elas são associadas a determinados deslocamentos de filtro de conteúdo.

{"temperature": 0, "frequency_penalty": 0, "presence_penalty": 1.0, "top_p": 1.0, "max_tokens": 800, "messages": [{"role": "user", "content": "What is color?"}], "stream": true}

data: {"id":"","object":"","created":0,"model":"","prompt_annotations":[{"prompt_index":0,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}}}],"choices":[],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"role":"assistant"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":"Color"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" is"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" a"}}],"usage":null} 

... 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":44,"start_offset":44,"end_offset":198}}],"usage":null} 

... 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":"stop","delta":{}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":506,"start_offset":44,"end_offset":571}}],"usage":null} 

data: [DONE] 

Fluxo de resposta de amostra (bloqueado por filtros)

{"temperature": 0, "frequency_penalty": 0, "presence_penalty": 1.0, "top_p": 1.0, "max_tokens": 800, "messages": [{"role": "user", "content": "Tell me the lyrics to \"Hey Jude\"."}], "stream": true}

data: {"id":"","object":"","created":0,"model":"","prompt_filter_results":[{"prompt_index":0,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}}}],"choices":[],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"role":"assistant"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":"Hey"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" Jude"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":","}}],"usage":null} 

... 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35- 

turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" better"}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":65,"start_offset":65,"end_offset":1056}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":"content_filter","content_filter_results":{"protected_material_text":{"detected":true,"filtered":true}},"content_filter_offsets":{"check_offset":65,"start_offset":65,"end_offset":1056}}],"usage":null} 

data: [DONE] 

Importante

Quando a filtragem de conteúdo é acionada para um prompt e um "status": 400 é recebido como parte da resposta, haverá uma cobrança por essa solicitação, pois o prompt foi avaliado pelo serviço. Devido à natureza assíncrona do sistema de filtragem de conteúdo, ocorrerá uma cobrança pelos tokens de prompt e conclusão. As cobranças também ocorrerão quando um "status":200 for recebido com "finish_reason": "content_filter". Neste caso, o prompt não teve problemas, mas a conclusão gerada pelo modelo foi detetada para violar as regras de filtragem de conteúdo, o que resulta na conclusão sendo filtrada.

Melhores práticas

Como parte do design da sua aplicação, considere as seguintes boas práticas para oferecer uma experiência positiva com a sua aplicação e, ao mesmo tempo, minimizar potenciais danos:

• Decida como pretende lidar com cenários em que os utilizadores enviam pedidos que contêm conteúdo classificado numa categoria filtrada e nível de gravidade ou utilizam a sua aplicação indevidamente.
• Verifique finish_reason para ver se a conclusão está filtrada.
• Verifique se não existe nenhum objeto de erro no content_filter_result (a indicar que os filtros de conteúdo não foram executados).
• Se você estiver usando o modelo de código de material protegido no modo de anotação, exiba o URL de citação quando estiver exibindo o código em seu aplicativo.

Próximos passos

• Saiba mais sobre os modelos subjacentes que alimentam o Azure OpenAI.
• Solicite filtros de conteúdo modificados por meio deste formulário.
• A filtragem de conteúdo do Azure OpenAI é alimentada pela Segurança de Conteúdo do Azure AI.
• Saiba mais sobre como compreender e mitigar os riscos associados ao seu aplicativo: Visão geral das práticas de IA responsável para modelos OpenAI do Azure.
• Saiba mais sobre como os dados são processados em conexão com a filtragem de conteúdo e o monitoramento de abuso: Dados, privacidade e segurança para o Serviço OpenAI do Azure.