O que é o Content Moderator do Azure?
Importante
O Azure Content Moderator foi preterido a partir de fevereiro de 2024 e será desativado até fevereiro de 2027. Ele é substituído pelo Azure AI Content Safety, que oferece recursos avançados de IA e desempenho aprimorado.
O Azure AI Content Safety é uma solução abrangente projetada para detetar conteúdo prejudicial gerado pelo usuário e gerado por IA em aplicativos e serviços. O Azure AI Content Safety é adequado para muitos cenários, como mercados online, empresas de jogos, plataformas de mensagens sociais, empresas de mídia corporativa e provedores de soluções educacionais K-12. Aqui está uma visão geral de seus recursos e capacidades:
- APIs de deteção de texto e imagem: analise texto e imagens em busca de conteúdo sexual, violência, ódio e automutilação com vários níveis de gravidade.
- Content Safety Studio: Uma ferramenta on-line projetada para lidar com conteúdo potencialmente ofensivo, arriscado ou indesejável usando nossos modelos mais recentes de ML de moderação de conteúdo. Ele fornece modelos e fluxos de trabalho personalizados que permitem que os usuários criem seus próprios sistemas de moderação de conteúdo.
- Suporte a idiomas: o Azure AI Content Safety dá suporte a mais de 100 idiomas e é treinado especificamente em inglês, alemão, japonês, espanhol, francês, italiano, português e chinês.
O Azure AI Content Safety fornece uma solução robusta e flexível para as suas necessidades de moderação de conteúdo. Ao mudar do Moderador de Conteúdo para o Azure AI Content Safety, pode tirar partido das ferramentas e tecnologias mais recentes para garantir que o seu conteúdo é sempre moderado de acordo com as suas especificações exatas.
Saiba mais sobre a Segurança de Conteúdo de IA do Azure e explore como ela pode elevar sua estratégia de moderação de conteúdo.
O Azure Content Moderator é um serviço de IA que permite lidar com conteúdo potencialmente ofensivo, arriscado ou indesejável. Inclui o serviço de moderação de conteúdo alimentado por IA que verifica texto, imagem e vídeos e aplica sinalizadores de conteúdo automaticamente.
Você pode querer criar software de filtragem de conteúdo em seu aplicativo para cumprir as regulamentações ou manter o ambiente pretendido para seus usuários.
Esta documentação contém os seguintes tipos de artigo:
- Os guias de início rápido são instruções de introdução para guiá-lo ao fazer solicitações ao serviço.
- Os guias de instruções contêm instruções para usar o serviço de maneiras mais específicas ou personalizadas.
- Os conceitos fornecem explicações detalhadas sobre a funcionalidade e os recursos do serviço.
Para uma abordagem mais estruturada, siga um módulo de treinamento para moderador de conteúdo.
Onde é usado
A seguir estão alguns cenários em que um desenvolvedor de software ou equipe precisaria de um serviço de moderação de conteúdo:
- Mercados online que moderam catálogos de produtos e outros conteúdos gerados pelo utilizador.
- Empresas de jogos que moderam artefatos de jogos gerados pelo usuário e salas de bate-papo.
- Plataformas de mensagens sociais que moderam imagens, textos e vídeos adicionados por seus usuários.
- Empresas de mídia corporativa que implementam moderação centralizada para seu conteúdo.
- Provedores de soluções educacionais K-12 filtrando conteúdo inadequado para alunos e educadores.
Importante
Não pode utilizar o Moderador de Conteúdo para detetar imagens ilegais de exploração infantil. No entanto, organizações qualificadas podem usar o PhotoDNA Cloud Service para rastrear esse tipo de conteúdo.
O que inclui
O serviço Content Moderator é composto por várias APIs de serviço Web disponíveis através de chamadas REST e de um SDK .NET.
APIs de Moderação
O serviço Moderador de Conteúdo inclui APIs de moderação, que verificam o conteúdo em busca de material potencialmente inadequado ou censurável.
A tabela a seguir descreve os diferentes tipos de APIs de moderação.
| Grupo API | Description |
|---|---|
| Moderação de texto | Analisa o texto em busca de conteúdo ofensivo, conteúdo sexualmente explícito ou sugestivo, palavrões e dados pessoais. |
| Listas personalizadas de termos | Analisa o texto em relação a uma lista personalizada de termos juntamente com os termos incorporados. Utilize listas personalizadas para bloquear ou permitir conteúdo de acordo com as suas próprias políticas de conteúdo. |
| Moderação de imagens | Procura imagens com conteúdo para adultos ou indecoroso, deteta texto em imagens com a função de OCR (reconhecimento ótico de carateres) e deteta rostos. |
| Listas personalizadas de imagens | Analisa as imagens, comparando-as com uma lista personalizada de imagens. Utilize listas personalizadas de imagens para filtrar instâncias de conteúdo normalmente recorrente, que não pretende classificar novamente. |
| Moderação de vídeo | Analisa vídeos relativamente a conteúdo para adultos ou indecoroso e devolve marcadores de hora para o dito conteúdo. |
Privacidade e segurança dos dados
Como acontece com todos os serviços de IA do Azure, os desenvolvedores que usam o serviço Content Moderator devem estar cientes das políticas da Microsoft sobre dados do cliente. Consulte a página de serviços de IA do Azure na Central de Confiabilidade da Microsoft para saber mais.
Próximos passos
- Conclua uma biblioteca de cliente ou um início rápido da API REST para implementar os cenários básicos no código.