O que é a Segurança de Conteúdo do Azure AI?

Artigo
09/25/2024

O Azure AI Content Safety é um serviço de IA que deteta conteúdo prejudicial gerado pelo utilizador e gerado por IA em aplicações e serviços. O Azure AI Content Safety inclui APIs de texto e imagem que permitem detetar material prejudicial. O Content Safety Studio interativo permite visualizar, explorar e experimentar códigos de exemplo para detetar conteúdo nocivo em diferentes modalidades.

O software de filtragem de conteúdo pode ajudar seu aplicativo a cumprir as regulamentações ou manter o ambiente pretendido para seus usuários.

Esta documentação contém os seguintes tipos de artigo:

Os conceitos fornecem explicações detalhadas sobre a funcionalidade e os recursos do serviço.
Os guias de início rápido são instruções de introdução para guiá-lo ao fazer solicitações ao serviço.
Os guias de instruções contêm instruções para usar o serviço de maneiras mais específicas ou personalizadas.

Onde é usado

A seguir estão alguns cenários em que um desenvolvedor de software ou equipe precisaria de um serviço de moderação de conteúdo:

Solicitações do usuário enviadas a um serviço de IA generativo.
Conteúdo produzido por modelos generativos de IA.
Mercados online que moderam catálogos de produtos e outros conteúdos gerados pelo utilizador.
Empresas de jogos que moderam artefatos de jogos gerados pelo usuário e salas de bate-papo.
Plataformas de mensagens sociais que moderam imagens e textos adicionados por seus usuários.
Empresas de mídia corporativa que implementam moderação centralizada para seu conteúdo.
Provedores de soluções educacionais K-12 filtrando conteúdo inadequado para alunos e educadores.

Importante

Não é possível usar o Azure AI Content Safety para detetar imagens ilegais de exploração infantil.

Funcionalidades do produto

Este serviço disponibiliza vários tipos diferentes de análise. A tabela a seguir descreve as APIs atualmente disponíveis.

Caraterística	Caraterística	Guia de conceitos	Começar agora
Escudos Prompt	Analisa o texto em busca do risco de um ataque de entrada do usuário em um modelo de linguagem grande.	Conceitos do Prompt Shields	Início rápido
Deteção de aterramento (visualização)	Deteta se as respostas de texto de grandes modelos de linguagem (LLMs) estão fundamentadas nos materiais de origem fornecidos pelos usuários.	Conceitos de deteção de aterramento	Início rápido
Deteção de texto de material protegido	Analisa o texto gerado por IA em busca de conteúdo de texto conhecido (por exemplo, letras de músicas, artigos, receitas, conteúdo da Web selecionado).	Conceitos de materiais protegidos	Início rápido
API de categorias personalizadas (padrão) (visualização)	Permite criar e treinar suas próprias categorias de conteúdo personalizadas e verificar texto em busca de correspondências.	Conceitos de categorias personalizadas	Início rápido
API de categorias personalizadas (rápida) (visualização)	Permite definir padrões emergentes de conteúdo nocivo e verificar texto e imagens em busca de correspondências.	Conceitos de categorias personalizadas	Guia prático
API de análise de texto	Analisa o texto em busca de conteúdo sexual, violência, ódio e automutilação com vários níveis de gravidade.	Categorias de danos	Início rápido
API de análise de imagem	Analisa imagens em busca de conteúdo sexual, violência, ódio e automutilação com vários níveis de gravidade.	Categorias de danos	Início rápido

Estúdio de Segurança de Conteúdo

O Azure AI Content Safety Studio é uma ferramenta online projetada para lidar com conteúdo potencialmente ofensivo, arriscado ou indesejável usando modelos de ML de moderação de conteúdo de ponta. Ele fornece modelos e fluxos de trabalho personalizados, permitindo que os usuários escolham e construam seu próprio sistema de moderação de conteúdo. Os utilizadores podem carregar o seu próprio conteúdo ou experimentá-lo com o conteúdo de amostra fornecido.

O Content Safety Studio não só contém modelos de IA prontos para uso, mas também inclui listas de bloqueio de termos integradas da Microsoft para sinalizar palavrões e manter-se atualizado com as novas tendências de conteúdo. Também pode carregar as suas próprias listas de bloqueio para melhorar a cobertura de conteúdo nocivo específico para o seu caso de utilização.

O Studio também permite configurar um fluxo de trabalho de moderação, onde você pode monitorar e melhorar continuamente o desempenho da moderação de conteúdo. Ele pode ajudá-lo a atender aos requisitos de conteúdo de todos os tipos de indústrias, como jogos, mídia, educação, comércio eletrônico e muito mais. As empresas podem facilmente conectar seus serviços ao Studio e ter seu conteúdo moderado em tempo real, seja gerado pelo usuário ou por IA.

Todos esses recursos são manipulados pelo Studio e seu backend; Os clientes não precisam se preocupar com o desenvolvimento de modelos. Você pode integrar seus dados para validação rápida e monitorar seus KPIs de acordo, como métricas técnicas (latência, precisão, recall) ou métricas de negócios (taxa de blocos, volume de blocos, proporções de categoria, proporções de idioma e muito mais). Com operações e configurações simples, os clientes podem testar diferentes soluções rapidamente e encontrar o melhor ajuste, em vez de gastar tempo experimentando modelos personalizados ou fazendo moderação manualmente.

Experimente o Content Safety Studio

Recursos do Content Safety Studio

No Content Safety Studio, os seguintes recursos de Segurança de Conteúdo do Azure AI estão disponíveis:

Moderar conteúdo de texto: com a ferramenta de moderação de texto, você pode facilmente executar testes em conteúdo de texto. Quer pretenda testar uma única frase ou um conjunto de dados inteiro, a nossa ferramenta oferece uma interface de fácil utilização que lhe permite avaliar os resultados do teste diretamente no portal. Você pode experimentar diferentes níveis de sensibilidade para configurar seus filtros de conteúdo e gerenciamento de listas de bloqueio, garantindo que seu conteúdo seja sempre moderado de acordo com suas especificações exatas. Além disso, com a capacidade de exportar o código, você pode implementar a ferramenta diretamente em seu aplicativo, simplificando seu fluxo de trabalho e economizando tempo.
Moderar conteúdo de imagem: com a ferramenta de moderação de imagem, você pode facilmente executar testes em imagens para garantir que elas atendam aos seus padrões de conteúdo. Nossa interface amigável permite que você avalie os resultados do teste diretamente no portal, e você pode experimentar diferentes níveis de sensibilidade para configurar seus filtros de conteúdo. Depois de personalizar suas configurações, você pode exportar facilmente o código para implementar a ferramenta em seu aplicativo.
Monitore a atividade on-line: A poderosa página de monitoramento permite que você acompanhe facilmente o uso da API de moderação e as tendências em diferentes modalidades. Com esse recurso, você pode acessar informações detalhadas de resposta, incluindo distribuição de categoria e gravidade, latência, erro e deteção de lista de bloqueio. Essas informações fornecem uma visão geral completa do desempenho da moderação de conteúdo, permitindo que você otimize seu fluxo de trabalho e garanta que seu conteúdo seja sempre moderado de acordo com suas especificações exatas. Com nossa interface amigável, você pode navegar rápida e facilmente na página de monitoramento para acessar as informações necessárias para tomar decisões informadas sobre sua estratégia de moderação de conteúdo. Você tem as ferramentas necessárias para acompanhar seu desempenho de moderação de conteúdo e atingir suas metas de conteúdo.

Segurança

Usar a ID do Microsoft Entra ou a Identidade Gerenciada para gerenciar o acesso

Para maior segurança, você pode usar o Microsoft Entra ID ou a Identidade Gerenciada (MI) para gerenciar o acesso aos seus recursos.

A Identidade Gerenciada é ativada automaticamente quando você cria um recurso de Segurança de Conteúdo.
O Microsoft Entra ID é suportado em cenários de API e SDK. Consulte a diretriz geral de serviços de IA de Autenticação com ID do Microsoft Entra. Você também pode conceder acesso a outros usuários em sua organização atribuindo-lhes as funções de Usuários e Leitores de Serviços Cognitivos. Para saber mais sobre como conceder acesso de usuário aos recursos do Azure usando o portal do Azure, consulte o Guia de controle de acesso baseado em função.

Encriptação de dados inativos

Saiba como o Azure AI Content Safety lida com a criptografia e a descriptografia de seus dados. As chaves gerenciadas pelo cliente (CMK), também conhecidas como Bring Your Own Key (BYOK), oferecem maior flexibilidade para criar, girar, desabilitar e revogar controles de acesso. Também pode auditar as chaves de encriptação utilizadas para proteger os dados.

Preços

Atualmente, o Azure AI Content Safety tem um nível de preços F0 e S0 . Consulte a página de preços do Azure para obter mais informações.

Limites de serviço

Atenção

Aviso de descontinuação

Como parte do controle de versão e do gerenciamento do ciclo de vida da Segurança de Conteúdo, estamos anunciando a substituição de determinadas versões de visualização pública e GA de nossas APIs de serviço. Seguindo nossa política de depreciação:

Versões de visualização pública: cada nova versão de visualização pública acionará a substituição da versão de visualização anterior após um período de 90 dias, desde que nenhuma alteração de quebra seja introduzida.
Versões GA: Quando uma nova versão GA é lançada, a versão anterior do GA será preterida após um período de 90 dias se a compatibilidade for mantida.

Consulte a página Novidades para futuras descontinuações.

Requisitos de entrada

Consulte a lista a seguir para obter os requisitos de entrada para cada recurso.

Analisar API de texto:
- Comprimento máximo padrão: 10K caracteres (dividir textos mais longos conforme necessário).
Analisar API de imagem:
- Tamanho máximo do arquivo de imagem: 4 MB
- Dimensões entre 50 x 50 e 7200 x 7200 pixels.
- As imagens podem estar nos formatos JPEG, PNG, GIF, BMP, TIFF ou WEBP.
Analise a API multimodal (visualização):
- Comprimento máximo de texto padrão: 1K caracteres.
- Tamanho máximo do arquivo de imagem: 4 MB
- Dimensões entre 50 x 50 e 7200 x 7200 pixels.
- As imagens podem estar nos formatos JPEG, PNG, GIF, BMP, TIFF ou WEBP.
API do Prompt Shields:
- Comprimento máximo do prompt: 10K caracteres.
- Até cinco documentos com um total de 10 mil caracteres.
API de deteção de aterramento (visualização):
- Comprimento máximo para fontes de aterramento: 55.000 caracteres (por chamada de API).
- Texto máximo e comprimento da consulta: 7.500 caracteres.
APIs de deteção de material protegido:
- Comprimento máximo padrão: 1K caracteres.
- Comprimento mínimo padrão: 110 caracteres (para concluir a verificação de LLM, não para prompts do usuário).
API (pré-visualização) de categorias personalizadas (padrão):
- Comprimento máximo de entrada de inferência: 1K caracteres.

Suporte de idiomas

Os modelos de Segurança de Conteúdo da IA do Azure para material protegido, deteção de aterramento e categorias personalizadas (padrão) funcionam apenas com inglês.

Outros modelos de Segurança de Conteúdo de IA do Azure foram especificamente treinados e testados nos seguintes idiomas: chinês, inglês, francês, alemão, espanhol, italiano, japonês e português. No entanto, esses recursos podem funcionar em muitos outros idiomas, mas a qualidade pode variar. Em todos os casos, deve efetuar os seus próprios testes para garantir que funciona para a sua aplicação.

Para obter mais informações, consulte Suporte a idiomas.

Disponibilidade da região

Para usar as APIs de Segurança de Conteúdo, você deve criar seu recurso de Segurança de Conteúdo do Azure AI em uma região com suporte. Atualmente, os recursos de Segurança de Conteúdo estão disponíveis nas seguintes regiões do Azure com diferentes versões de API:

País/Região	Categoria personalizada	Fundamentação	Image	Multimodal(Imagem com Tex)	Resposta ao Incidente	Escudo Prompt	Material protegido (texto)	Material protegido (Código)	Texto	API unificada
Leste da Austrália	✅		✅		✅	✅	✅	✅	✅	✅
Leste do Canadá			✅		✅	✅	✅	✅	✅	✅
E.U.A. Central			✅		✅	✅	✅	✅	✅	✅
E.U.A. Leste	✅		✅	✅	✅	✅	✅	✅	✅	✅
E.U.A. Leste 2		✅	✅		✅	✅	✅	✅	✅	✅
França Central		✅	✅		✅	✅	✅	✅	✅	✅
Leste do Japão			✅		✅	✅	✅	✅	✅	✅
E.U.A. Centro-Norte			✅		✅	✅	✅	✅	✅	✅
Polónia Central			✅			✅	✅	✅	✅	✅
E.U.A. Centro-Sul			✅		✅	✅	✅	✅	✅	✅
Sul da Índia			✅		✅		✅	✅	✅	✅
Suécia Central		✅	✅		✅	✅	✅	✅	✅	✅
Norte da Suíça	✅		✅		✅	✅	✅	✅	✅	✅
Oeste da Suíça			✅		✅	✅	✅	✅	✅
Norte dos E.A.U.			✅		✅	✅	✅	✅	✅
Sul do Reino Unido		✅	✅		✅	✅	✅	✅	✅	✅
Europa Ocidental			✅	✅	✅	✅	✅	✅	✅	✅
E.U.A. Oeste		✅	✅		✅	✅	✅	✅	✅	✅
E.U.A. Oeste 2			✅		✅	✅	✅	✅	✅	✅
EUA Oeste 3			✅		✅	✅	✅	✅	✅	✅
FairFax - USGovArizona			✅			✅	✅		✅	✅
FairFax - USGovVirgínia			✅			✅	✅		✅	✅

Não hesite em contactar-nos se a sua empresa precisar de outras regiões para estar disponível.

Taxas de consulta

Os recursos de segurança de conteúdo têm limites de taxa de consulta em solicitações por segundo (RPS) ou solicitações por 10 segundos (RP10S). Consulte a tabela a seguir para obter os limites de taxa para cada recurso.

Escalão de preço	APIs de Moderação (texto e imagem)	Proteções do pedido	Material protegido deteção	Fundamentação deteção (pré-visualização)	Categorias personalizadas (rápido) (pré-visualização)	Categorias personalizadas (padrão) (pré-visualização)	Multimodal
F0	5 RPS	5 RPS	5 RPS	N/A	5 RPS	5 RPS	5 RPS
S0	1000 RP10S	1000 RP10S	1000 RP10S	50 RPS	1000 RP10S	5 RPS	10 RPS

Se você precisar de uma tarifa mais rápida, entre em contato conosco para solicitá-la.

Contactos

Se você ficar preso, envie-nos um e-mail ou use o widget de comentários na parte inferior de qualquer página do Microsoft Learn.

Próximos passos

Siga um início rápido para começar a usar o Azure AI Content Safety em seu aplicativo.

Guia de início rápido de segurança de conteúdo

Partilhar via