Condividi tramite


Categorie di danni in Sicurezza dei contenuti di Azure AI

Questa guida descrive tutte le categorie di danni e le classificazioni usate da Sicurezza dei contenuti di Azure AI per contrassegnare i contenuti. Sia i contenuti di testi che quelli delle immagini usano lo stesso set di flag.

Categorie di danni

Sicurezza dei contenuti riconosce quattro categorie distinte di contenuti inappropriati.

Categoria Descrizione Termine API
Odio ed equità I danni all'odio e all'equità si riferiscono a qualsiasi contenuto che attacca o usa un linguaggio discriminatorio con riferimento a una persona o a un gruppo di identità basato su determinati attributi diversi di questi gruppi.

A titolo di esempio tali attributi includono:
  • Razza, etnia, nazionalità
  • Gruppi ed espressione dell’identità di genere
  • Orientamento sessuale
  • Religione
  • Aspetto personale e dimensioni del corpo
  • Stato di disabilità
  • Molestie e bullismo
Hate
Sessuale La categoria sesso descrive il linguaggio correlato a organi anatomici e genitali, relazioni romantiche e sessuali, atti rappresentati in termini erotici o affettuosi, compresi quelli rappresentati come violenza sessuale o stupro. 

 Tale categoria include senza limitazione alcuna:
  • Contenuto volgare
  • Prostituzione
  • Nudità e pornografia
  • Uso improprio
  • Sfruttamento minorile, abuso di minori, adescamento di minori
Sexual
Violenza La violenza descrive il linguaggio relativo alle azioni fisiche destinate a ferire, ferire, danneggiare o uccidere qualcuno o qualcosa del genere; descrive armi, armi e entità correlate.

Questi miglioramenti includono, tra l'altro:
  • Armi
  • Bullismo e intimidazione
  • Estremismo terroristico e violento
  • Stalking
Violence
Autolesionismo La categoria autolesionismo descrive il linguaggio correlato ad azioni fisiche finalizzate a ferire, provocare lesioni o danneggiare il proprio corpo oppure a togliersi la vita.

Questi miglioramenti includono, tra l'altro:
  • Disturbi alimentari
  • Bullismo e intimidazione
SelfHarm

La classificazione può essere con etichetta multipla. Ad esempio, quando un campione di testo viene eseguito tramite il modello di moderazione del testo, può essere classificato sia come contenuto sessuale che violento.

Livelli di gravità

Ogni categoria di danni applicata dal servizio include anche una classificazione del livello di gravità. Il livello di gravità è destinato a indicare la gravità delle conseguenze della visualizzazione dei contenuti contrassegnati.

Testo: la versione corrente del modello di testo supporta la scala di gravità completa di 0-7. Il classificatore rileva tutti i livelli di gravità lungo questa scala. Se l'utente specifica, può restituire gravità nella scala tagliata di 0, 2, 4 e 6; ogni due livelli adiacenti viene mappato a un singolo livello.

  • [0,1] ->0
  • [2,3] ->2
  • [4,5] ->4
  • [6,7] ->6

Immagine: la versione corrente del modello di immagine supporta la versione ridotta della scala di gravità completa di 0-7. Il classificatore restituisce solo i livelli di gravità 0, 2, 4 e 6.

  • 0
  • 2
  • 4
  • 6

Immagine con testo: la versione corrente del modello multimodale supporta la scala dei livelli di gravità completa di 0-7. Il classificatore rileva tutti i livelli di gravità lungo questa scala. Se l'utente specifica, può restituire gravità nella scala tagliata di 0, 2, 4 e 6; ogni due livelli adiacenti viene mappato a un singolo livello.

  • [0,1] ->0
  • [2,3] ->2
  • [4,5] ->4
  • [6,7] ->6

Contenuto di testo

Avviso

La scheda Definizioni di gravità in questo documento include esempi di contenuti dannosi che potrebbero disturbare alcuni lettori.

Contenuto immagine

Avviso

La scheda Definizioni di gravità in questo documento include esempi di contenuti dannosi che potrebbero disturbare alcuni lettori.

Contenuto multimodale (immagine con testo)

Avviso

La scheda Definizioni di gravità in questo documento include esempi di contenuti dannosi che potrebbero disturbare alcuni lettori.

Passaggi successivi

Seguire le istruzioni di avvio rapido per iniziare a usare Sicurezza dei contenuti di Azure AI nell'applicazione.