O que é a Segurança de Conteúdo do Azure AI?
O Azure AI Content Safety deteta conteúdo prejudicial gerado pelo utilizador e gerado por IA em aplicações e serviços. O Azure AI Content Safety inclui APIs de texto e imagem que permitem detetar material prejudicial. Também temos um Content Safety Studio interativo que permite visualizar, explorar e experimentar códigos de exemplo para detetar conteúdo nocivo em diferentes modalidades.
O software de filtragem de conteúdo pode ajudar seu aplicativo a cumprir as regulamentações ou manter o ambiente pretendido para seus usuários.
Esta documentação contém os seguintes tipos de artigo:
- Os guias de início rápido são instruções de introdução para guiá-lo ao fazer solicitações ao serviço.
- Os guias de instruções contêm instruções para usar o serviço de maneiras mais específicas ou personalizadas.
- Os conceitos fornecem explicações detalhadas sobre a funcionalidade e os recursos do serviço.
Onde é usado
A seguir estão alguns cenários em que um desenvolvedor de software ou equipe precisaria de um serviço de moderação de conteúdo:
- Mercados online que moderam catálogos de produtos e outros conteúdos gerados pelo utilizador.
- Empresas de jogos que moderam artefatos de jogos gerados pelo usuário e salas de bate-papo.
- Plataformas de mensagens sociais que moderam imagens e textos adicionados por seus usuários.
- Empresas de mídia corporativa que implementam moderação centralizada para seu conteúdo.
- Provedores de soluções educacionais K-12 filtrando conteúdo inadequado para alunos e educadores.
Importante
Não é possível usar o Azure AI Content Safety para detetar imagens ilegais de exploração infantil.
Tipos de produto
Existem diferentes tipos de análise disponíveis a partir deste serviço. A tabela a seguir descreve as APIs atualmente disponíveis.
| Type | Caraterística |
|---|---|
| API de análise de texto | Analisa o texto em busca de conteúdo sexual, violência, ódio e automutilação com vários níveis de gravidade. |
| API de análise de imagem | Analisa imagens em busca de conteúdo sexual, violência, ódio e automutilação com vários níveis de gravidade. |
| Prompt Shields (visualização) | Analisa o texto em busca do risco de um ataque de entrada do usuário em um modelo de linguagem grande. Início rápido |
| Deteção de aterramento (visualização) | Deteta se as respostas de texto de grandes modelos de linguagem (LLMs) estão fundamentadas nos materiais de origem fornecidos pelos usuários. Início rápido |
| Deteção de texto de material protegido (visualização) | Analisa o texto gerado por IA em busca de conteúdo de texto conhecido (por exemplo, letras de músicas, artigos, receitas, conteúdo da Web selecionado). Início rápido |
Estúdio de Segurança de Conteúdo
O Azure AI Content Safety Studio é uma ferramenta online projetada para lidar com conteúdo potencialmente ofensivo, arriscado ou indesejável usando modelos de ML de moderação de conteúdo de ponta. Ele fornece modelos e fluxos de trabalho personalizados, permitindo que os usuários escolham e construam seu próprio sistema de moderação de conteúdo. Os utilizadores podem carregar o seu próprio conteúdo ou experimentá-lo com o conteúdo de amostra fornecido.
O Content Safety Studio não só contém modelos de IA prontos para uso, mas também inclui as listas de bloqueio de termos integrados da Microsoft para sinalizar palavrões e manter-se atualizado com as novas tendências. Também pode carregar as suas próprias listas de bloqueio para melhorar a cobertura de conteúdo nocivo específico para o seu caso de utilização.
O Studio também permite configurar um fluxo de trabalho de moderação, onde você pode monitorar e melhorar continuamente o desempenho da moderação de conteúdo. Ele pode ajudá-lo a atender aos requisitos de conteúdo de todos os tipos de indústrias, como jogos, mídia, educação, comércio eletrônico e muito mais. As empresas podem facilmente conectar seus serviços ao Studio e ter seu conteúdo moderado em tempo real, seja gerado pelo usuário ou por IA.
Todos esses recursos são manipulados pelo Studio e seu backend; Os clientes não precisam se preocupar com o desenvolvimento de modelos. Você pode integrar seus dados para validação rápida e monitorar seus KPIs de acordo, como métricas técnicas (latência, precisão, recall) ou métricas de negócios (taxa de blocos, volume de blocos, proporções de categoria, proporções de idioma e muito mais). Com operações e configurações simples, os clientes podem testar diferentes soluções rapidamente e encontrar o melhor ajuste, em vez de gastar tempo experimentando modelos personalizados ou fazendo moderação manualmente.
Recursos do Content Safety Studio
No Content Safety Studio, os seguintes recursos do serviço Azure AI Content Safety estão disponíveis:
Moderar conteúdo de texto: com a ferramenta de moderação de texto, você pode facilmente executar testes em conteúdo de texto. Quer pretenda testar uma única frase ou um conjunto de dados inteiro, a nossa ferramenta oferece uma interface de fácil utilização que lhe permite avaliar os resultados do teste diretamente no portal. Você pode experimentar diferentes níveis de sensibilidade para configurar seus filtros de conteúdo e gerenciamento de listas de bloqueio, garantindo que seu conteúdo seja sempre moderado de acordo com suas especificações exatas. Além disso, com a capacidade de exportar o código, você pode implementar a ferramenta diretamente em seu aplicativo, simplificando seu fluxo de trabalho e economizando tempo.
Moderar conteúdo de imagem: com a ferramenta de moderação de imagem, você pode facilmente executar testes em imagens para garantir que elas atendam aos seus padrões de conteúdo. Nossa interface amigável permite que você avalie os resultados do teste diretamente no portal, e você pode experimentar diferentes níveis de sensibilidade para configurar seus filtros de conteúdo. Depois de personalizar suas configurações, você pode exportar facilmente o código para implementar a ferramenta em seu aplicativo.
Monitore a atividade on-line: A poderosa página de monitoramento permite que você acompanhe facilmente o uso da API de moderação e as tendências em diferentes modalidades. Com esse recurso, você pode acessar informações detalhadas de resposta, incluindo distribuição de categoria e gravidade, latência, erro e deteção de lista de bloqueio. Essas informações fornecem uma visão geral completa do desempenho da moderação de conteúdo, permitindo que você otimize seu fluxo de trabalho e garanta que seu conteúdo seja sempre moderado de acordo com suas especificações exatas. Com nossa interface amigável, você pode navegar rápida e facilmente na página de monitoramento para acessar as informações necessárias para tomar decisões informadas sobre sua estratégia de moderação de conteúdo. Você tem as ferramentas necessárias para acompanhar seu desempenho de moderação de conteúdo e atingir suas metas de conteúdo.
Requisitos de entrada
O comprimento máximo padrão para envios de texto é de 10 mil caracteres. Se precisar analisar blocos de texto mais longos, você pode dividir o texto de entrada (por exemplo, por pontuação ou espaçamento) em vários envios relacionados.
O tamanho máximo para envio de imagens é de 4 MB, e as dimensões da imagem devem estar entre 50 x 50 pixels e 2.048 x 2.048 pixels. As imagens podem estar nos formatos JPEG, PNG, GIF, BMP, TIFF ou WEBP.
Segurança
Usar a ID do Microsoft Entra ou a Identidade Gerenciada para gerenciar o acesso
Para maior segurança, você pode usar o Microsoft Entra ID ou a Identidade Gerenciada (MI) para gerenciar o acesso aos seus recursos.
- A Identidade Gerenciada é ativada automaticamente quando você cria um recurso de Segurança de Conteúdo.
- O Microsoft Entra ID é suportado em cenários de API e SDK. Consulte a diretriz geral de serviços de IA de Autenticação com ID do Microsoft Entra. Você também pode conceder acesso a outros usuários em sua organização atribuindo-lhes as funções de Usuários e Leitores de Serviços Cognitivos. Para saber mais sobre como conceder acesso de usuário aos recursos do Azure usando o portal do Azure, consulte o Guia de controle de acesso baseado em função.
Encriptação de dados inativos
Saiba como o Azure AI Content Safety lida com a criptografia e a descriptografia de seus dados. As chaves gerenciadas pelo cliente (CMK), também conhecidas como Bring Your Own Key (BYOK), oferecem maior flexibilidade para criar, girar, desabilitar e revogar controles de acesso. Também pode auditar as chaves de encriptação utilizadas para proteger os dados.
Preços
Atualmente, o Azure AI Content Safety tem um nível de preços F0 e S0 .
Limites de serviço
Suporte de idiomas
Os modelos de segurança de conteúdo foram especificamente treinados e testados nos seguintes idiomas: inglês, alemão, japonês, espanhol, francês, italiano, português e chinês. No entanto, o serviço pode funcionar em muitos outros idiomas, mas a qualidade pode variar. Em todos os casos, deve efetuar os seus próprios testes para garantir que funciona para a sua aplicação.
Para obter mais informações, consulte Suporte a idiomas.
Região/localização
Para usar as APIs de Segurança de Conteúdo, você deve criar seu recurso de Segurança de Conteúdo do Azure AI nas regiões com suporte. Atualmente, ele está disponível nas seguintes regiões do Azure:
- Leste da Austrália
- Leste do Canadá
- E.U.A. Central
- E.U.A. Leste
- E.U.A. Leste 2
- França Central
- Leste do Japão
- E.U.A. Centro-Norte
- E.U.A. Centro-Sul
- Norte da Suíça
- Sul do Reino Unido
- Europa Ocidental
- E.U.A. Oeste 2
- Suécia Central
Os recursos de visualização pública, como Escudos de Alerta e deteção de material protegido, estão disponíveis nas seguintes regiões do Azure:
- E.U.A. Leste
- Europa Ocidental
Não hesite em contactar-nos se precisar de outras regiões para o seu negócio.
Taxas de consulta
| Escalão de Preço | Solicitações por 10 segundos (RPS) |
|---|---|
| F0 | 1000 |
| S0 | 1000 |
Se você precisar de uma tarifa mais rápida, entre em contato conosco para solicitar.
Contactos
Se você ficar preso, envie-nos um e-mail ou use o widget de feedback no canto superior direito de qualquer página de documentos.
Próximos passos
Siga um início rápido para começar a usar o Azure AI Content Safety em seu aplicativo.