O que é a Segurança de Conteúdo de IA do Azure?
A Segurança de Conteúdo de IA do Azure detecta conteúdo prejudicial gerado pelo usuário e gerado por IA em aplicativos e serviços. A Segurança de Conteúdo de IA do Azure inclui APIs de texto e imagem que permitem detectar material prejudicial. Também temos um Content Safety Studio interativo que permite exibir, explorar e experimentar código de exemplo para detectar conteúdo prejudicial em diferentes modalidades.
Insira software de filtragem de conteúdo em seu aplicativo para obedecer a regulamentos ou manter o ambiente pretendido para seus usuários.
Esta documentação contém os seguintes tipos de artigos:
- Os guias de início rápido são instruções de introdução que orientam sobre como fazer solicitações ao serviço.
- Os guias de instruções contêm instruções de uso do serviço de maneiras mais específicas ou personalizadas.
- Os conceitos fornecem explicações detalhadas sobre a funcionalidade e os recursos do serviço.
Como ele é usado
Estes são alguns cenários nos quais uma equipe ou um desenvolvedor de software precisaria de um software de moderação de conteúdo:
- Marketplaces online que moderam catálogos de produtos e outros tipos de conteúdo gerados pelo usuário.
- Empresas de jogos que moderam artefatos de jogos gerados pelo usuário e salas de chat.
- Plataformas de mensagens sociais que moderam imagens, textos e vídeos adicionados pelos usuários.
- Empresas de mídia corporativa que implementam moderação de conteúdo centralizada para seu conteúdo.
- Provedores de soluções de ensino fundamental e médio que filtram conteúdo considerado inapropriado para alunos e professores.
Importante
Não é possível usar a Segurança de Conteúdo de IA do Azure para examinar imagens ilícitas de exploração infantil.
Tipos de produtos
Há diferentes tipos de análise disponíveis nesse serviço. A tabela a seguir descreve as funções atuais.
| Tipo | Funcionalidade |
|---|---|
| API de análise de texto | Examina o texto quanto a conteúdo sexual, violência, ódio e automutilação com níveis de multi severidade. |
| API de análise de imagem | Examina imagens de conteúdo sexual, violência, ódio e automutilação com níveis de multi severidade. |
| Escudos de prompt (versão prévia) | Verifica o texto em busca do risco de um ataque de entrada do usuário em um modelo de linguagem grande. Início rápido |
| Detecção de fundamentação (versão prévia) | Detecta se as respostas de texto de grandes modelos de linguagem (LLMs) são baseadas nos materiais de origem fornecidos pelos usuários. Início rápido |
| Detecção de texto de material protegido (versão prévia) | Verifica o texto gerado por IA em busca de conteúdo de texto conhecido (por exemplo, letras de música, artigos, receitas, conteúdo da Web selecionado). Início rápido |
Content Safety Studio
O Azure AI Content Safety Studio é uma ferramenta online projetada para lidar com conteúdo potencialmente ofensivo, arriscado ou indesejável usando modelos de ML de moderação de conteúdo de ponta. Ele fornece modelos e fluxos de trabalho personalizados, permitindo que os usuários escolham e criem seu próprio sistema de moderação de conteúdo. Os usuários podem carregar seu próprio conteúdo ou experimentá-lo com o conteúdo de exemplo fornecido.
Além de conter modelos de IA prontos para uso, o Content Safety Studio também inclui listas de bloqueio de termos internos da Microsoft para sinalizar palavrões e se manter atualizado com as novas tendências. Você também pode carregar suas próprias listas de bloqueios para aprimorar a cobertura de conteúdo prejudicial específico ao seu caso de uso.
O Studio também permite configurar um fluxo de trabalho de moderação, no qual você pode monitorar e melhorar continuamente o desempenho de moderação de conteúdo. Ele pode ajudá-lo a atender aos requisitos de conteúdo de todos os tipos de setores, como jogos, mídia, educação, comércio eletrônico e muito mais. As empresas podem conectar facilmente seus serviços ao Studio e ter seu conteúdo moderado em tempo real, seja gerado pelo usuário ou gerado por IA.
Todos esses recursos são tratados pelo Studio e seu back-end; os clientes não precisam se preocupar com o desenvolvimento de modelos. Você pode integrar seus dados para validação rápida e monitorar seus KPIs adequadamente, como métricas técnicas (latência, precisão, recall) ou métricas de negócios (taxa de bloqueio, volume de blocos, proporções de categoria, proporções de idioma, e muito mais). Com operações e configurações simples, os clientes podem testar soluções diferentes rapidamente e encontrar o melhor ajuste, em vez de gastar tempo experimentando modelos personalizados ou fazendo moderação manualmente.
Recursos do Content Safety Studio
No Estúdio de Segurança de Conteúdo, os seguintes recursos de serviço de Segurança de Conteúdo estão disponíveis:
Conteúdo moderado de texto: com a ferramenta de moderação de texto, você pode executar facilmente testes no conteúdo de texto. Se você deseja testar uma única frase ou um conjunto de dados inteiro, nossa ferramenta oferece uma interface amigável que permite avaliar os resultados do teste diretamente no portal. Você pode experimentar diferentes níveis de confidencialidade para configurar seus filtros de conteúdo e o gerenciamento de lista de bloqueios, garantindo que seu conteúdo seja sempre moderado às suas especificações exatas. Além disso, com a capacidade de exportar o código, você pode implementar a ferramenta diretamente em seu aplicativo, simplificando seu fluxo de trabalho e economizando tempo.
Conteúdo moderado de imagem: com a ferramenta de moderação de imagem, você pode executar testes facilmente em imagens para garantir que elas atendam aos seus padrões de conteúdo. Nossa interface amigável permite que você avalie os resultados do teste diretamente no portal e você pode experimentar diferentes níveis de confidencialidade para configurar seus filtros de conteúdo. Depois de personalizar suas configurações, você pode exportar facilmente o código para implementar a ferramenta em seu aplicativo.
Monitorar atividade online: a poderosa página de monitoramento permite que você acompanhe facilmente o uso da API de moderação e as tendências em diferentes modalidades. Com esse recurso, você pode acessar informações detalhadas de resposta, incluindo distribuição de categoria e gravidade, latência, erro e detecção de lista de bloqueios. Essas informações fornecem uma visão geral completa do desempenho de moderação de conteúdo, permitindo otimizar o fluxo de trabalho e garantir que o conteúdo seja sempre moderado às especificações exatas. Com nossa interface amigável, você pode navegar rapidamente e facilmente na página de monitoramento para acessar as informações necessárias para tomar decisões informadas sobre sua estratégia de moderação de conteúdo. Você tem as ferramentas necessárias para manter o desempenho de moderação de conteúdo e atingir suas metas de conteúdo.
Requisitos de entrada
O comprimento máximo padrão para envios de texto é de 10.000 caracteres. Se você precisar analisar blocos de texto mais longos, poderá dividir o texto de entrada (por exemplo, usando pontuação ou espaçamento) em vários envios relacionados.
O tamanho máximo para envios de imagem é de 4 MB e as dimensões de imagem devem ter entre 50 x 50 pixels e 2.048 x 2.048 pixels. As imagens podem estar em formatos JPEG, PNG, GIF, BMP, TIFF ou WEBP.
Segurança
Usar a ID do Microsoft Entra ou a Identidade Gerenciada para gerenciar o acesso
Para maior segurança, você pode usar a ID do Microsoft Entra ou a Identidade Gerenciada (MI) para gerenciar o acesso aos seus recursos.
- A Identidade Gerenciada é habilitada automaticamente quando você cria um recurso de Segurança de Conteúdo.
- A ID do Microsoft Entra tem suporte nos cenários de API e SDK. Consulte a diretriz geral dos serviços de IA de Autenticação do com a ID do Microsoft Entra. Você também pode conceder acesso a outros usuários em sua organização atribuindo a eles as funções de Usuários dos Serviços Cognitivos e Leitor. Para saber mais sobre como conceder acesso de usuário aos recursos do Azure usando o portal do Azure, confira o Guia de controle de acesso baseado em função.
Criptografia de dados em repouso
Saiba como a Segurança de Conteúdo de IA do Azure lida com a criptografia e a descriptografia de seus dados. As Chaves gerenciadas pelo cliente (CMK), também conhecidas como BYOK (Bring Your Own Key), oferecem maior flexibilidade para criar, desabilitar e revogar os controles de acesso, assim como fazer sua rotação. Você também pode auditar as chaves de criptografia usadas para proteger seus dados.
Preços
Atualmente, a Segurança de Conteúdo de IA do Azure tem uma camada de preço F0 e S0.
Limites de serviço
Suporte ao idioma
Os modelos de Segurança de Conteúdo foram especificamente treinados e testados nos seguintes idiomas: inglês, alemão, japonês, espanhol, francês, italiano, português e chinês. Contudo, o serviço pode funcionar em muitos outros idiomas, mas a qualidade pode variar. Em todos os casos, você deve fazer seus próprios testes para garantir que ele funcione no seu aplicativo.
Para mais informações, consulte Suporte do idioma.
Região/localização
Para usar as APIs de Segurança de Conteúdo, você deve criar seu recurso de Segurança de Conteúdo de IA do Azure nas regiões com suporte. Atualmente, ele está disponível nas seguintes regiões do Azure:
- Leste da Austrália
- Leste do Canadá
- Centro dos EUA
- Leste dos EUA
- Leste dos EUA 2
- França Central
- Leste do Japão
- Centro-Norte dos EUA
- Centro-Sul dos Estados Unidos
- Norte da Suíça
- Sul do Reino Unido
- Europa Ocidental
- Oeste dos EUA 2
- Suécia Central
Os recursos de versão prévia pública, como Prompt Shields e detecção de material protegido, estão disponíveis nas seguintes regiões do Azure:
- Leste dos EUA
- Europa Ocidental
Fique à vontade para entrar em contato conosco se precisar de outras regiões para sua empresa.
Taxas de consulta
| Tipo de preço | Solicitações por 10 segundos (RPS) |
|---|---|
| F0 | 1000 |
| S0 | 1000 |
Se você precisar de uma taxa mais rápida, entre em contato conosco para solicitar.
Fale conosco
Se você ficar preso, envie um email para nós ou use o widget de comentários no canto superior direito de qualquer página de documentos.
Próximas etapas
Siga um guia de início rápido para começar a usar a Segurança de Conteúdo de IA do Azure em seu aplicativo.