Partilhar via

Ferramenta Segurança de conteúdo (texto)

  • Artigo

O Azure AI Content Safety é um serviço de moderação de conteúdo desenvolvido pela Microsoft que ajuda a detetar conteúdo prejudicial de diferentes modalidades e idiomas. A ferramenta Segurança de Conteúdo (Texto) é um wrapper para a API de Texto de Segurança de Conteúdo do Azure AI, que permite detetar conteúdo de texto e obter resultados de moderação. Para obter mais informações, consulte Segurança de conteúdo do Azure AI.

Pré-requisitos

  • Crie um recurso de Segurança de Conteúdo da IA do Azure.
  • Adicione uma Azure Content Safety conexão no fluxo de prompt. Preencha o API key campo com Primary key a Keys and Endpoint seção do recurso criado.

Entradas

Você pode usar os seguintes parâmetros como entradas para esta ferramenta:

Name Tipo Descrição Necessário
text string Texto que precisa ser moderado. Sim
hate_category string Sensibilidade à moderação para a Hate categoria. Escolha entre quatro opções: disable, , , low_sensitivitymedium_sensitivityou high_sensitivity. A disable opção significa que não há moderação para a Hate categoria. As outras três opções significam diferentes graus de rigor na filtragem de conteúdos de ódio. A predefinição é medium_sensitivity. Sim
sexual_category string Sensibilidade à moderação para a Sexual categoria. Escolha entre quatro opções: disable, , , low_sensitivitymedium_sensitivityou high_sensitivity. A disable opção significa que não há moderação para a Sexual categoria. As outras três opções significam diferentes graus de rigor na filtragem de conteúdos sexuais. A predefinição é medium_sensitivity. Sim
self_harm_category string Sensibilidade à moderação para a Self-harm categoria. Escolha entre quatro opções: disable, , , low_sensitivitymedium_sensitivityou high_sensitivity. A disable opção significa que não há moderação para a Self-harm categoria. As outras três opções significam diferentes graus de rigor na filtragem de conteúdos de automutilação. A predefinição é medium_sensitivity. Sim
violence_category string Sensibilidade à moderação para a Violence categoria. Escolha entre quatro opções: disable, , , low_sensitivitymedium_sensitivityou high_sensitivity. A disable opção significa que não há moderação para a Violence categoria. As outras três opções significam diferentes graus de rigor na filtragem de conteúdos violentos. A predefinição é medium_sensitivity. Sim

Para obter mais informações, consulte Segurança de conteúdo do Azure AI.

Resultados

O exemplo a seguir é um exemplo de resposta de formato JSON retornada pela ferramenta:

{
    "action_by_category": {
      "Hate": "Accept",
      "SelfHarm": "Accept",
      "Sexual": "Accept",
      "Violence": "Accept"
    },
    "suggested_action": "Accept"
  }

O action_by_category campo fornece um valor binário para cada categoria: Accept ou Reject. Esse valor mostra se o texto atende ao nível de sensibilidade definido nos parâmetros de solicitação para essa categoria.

O suggested_action campo fornece uma recomendação geral com base nas quatro categorias. Se qualquer categoria tem um Reject valor, suggested_action também Rejecté .