Che cos'è la Sicurezza dei contenuti di Azure AI?

Articolo
10/30/2024

Sicurezza dei contenuti di Azure AI e un servizio di intelligenza artificiale che rileva contenuti dannosi generati dagli utenti e dall'intelligenza artificiale nelle applicazioni e nei servizi. Sicurezza dei contenuti di Azure AI include API di testo e immagine che consentono di rilevare materiale dannoso. Lo Studio di Sicurezza dei contenuti interattivo consente di visualizzare, esplorare e provare il codice di esempio per rilevare contenuto dannoso in diverse modalità.

Un software di filtro dei contenuti può aiutare a garantire la conformità dell'app con le normative o mantenere l'ambiente previsto per gli utenti.

Questa documentazione contiene i tipi di articolo seguenti:

Concetti, che forniscono spiegazioni approfondite delle caratteristiche e delle funzionalità del servizio.
Avvii rapidi, ovvero istruzioni introduttive che consentono di eseguire richieste al servizio.
Guide pratiche, che contengono istruzioni per l'uso del servizio in modi più specifici o personalizzati.

Dove è utilizzato

Ecco alcuni scenari in cui uno sviluppatore di software o un team potrebbe aver bisogno di un servizio di moderazione del contenuto:

Richieste degli utenti inviate a un servizio di IA generativa.
Contenuto prodotto dai modelli di IA generativa.
Marketplace online che sottopongono a moderazione i cataloghi prodotti e altro contenuto generato dagli utenti.
Aziende produttrici di giochi che sottopongono a moderazione gli artefatti di gioco generati dagli utenti e le chat room.
Piattaforme di messaggistica di social networking che sottopongono a moderazione le immagini e il testo aggiunti dagli utenti.
Grandi aziende nel settore dei media che implementano la moderazione centralizzata del contenuto.
Provider di soluzioni didattiche per scuola primaria e secondaria che filtrano il contenuto non appropriato per studenti e docenti.

Importante

Non è possibile usare Sicurezza dei contenuti di Azure AI per rilevare immagini correlate allo sfruttamento illegale di minori.

Funzionalità del prodotto

Questo servizio rende disponibili diversi tipi di analisi. La tabella seguente descrive le API attualmente disponibili.

Funzionalità	Funzionalità	Guida ai concetti	Operazioni preliminari
Protezioni delle richieste	Analizza il testo per individuare il rischio di un attacco di input utente in un modello linguistico di grandi dimensioni.	Concetti Prompt Shields	Guida introduttiva
Rilevamento della fondatezza (anteprima)	Rileva se le risposte testuali dei modelli linguistici di grandi dimensioni (LLM) sono fondate sui materiali di origine forniti dagli utenti.	Concetti di rilevamento della fondatezza	Guida introduttiva
Rilevamento del testo del materiale protetto	Analizza il testo generato dall'intelligenza artificiale per rilevare contenuto di testo noto, ad esempio, testi di canzoni, articoli, ricette, contenuto Web selezionato.	Concetti relativi al materiale protetto	Guida introduttiva
API delle categorie personalizzate (standard) (anteprima)	Consente di creare ed eseguire il training di categorie di contenuto personalizzate e di analizzare il testo per individuare le corrispondenze.	Concetti relativi alle categorie personalizzate	Guida introduttiva
API di categorie personalizzate (rapido) (anteprima)	Consente di definire modelli di contenuto dannosi emergenti e analizzare testo e immagini per individuare corrispondenze.	Concetti relativi alle categorie personalizzate	Guida pratica
API di analisi del testo	Analizza i testi per identificare eventuali contenuti sessuali, violenti, di odio e autolesionismo con livelli di gravità multipla.	Categorie di danni	Guida introduttiva
API di analisi delle immagini	Analizza le immagini per identificare eventuali contenuti sessuali, violenti, di odio e autolesionismo con livelli di gravità multipla.	Categorie di danni	Guida introduttiva

Studio di Sicurezza dei contenuti

Studio di Sicurezza dei contenuti di Azure AI è uno strumento online progettato per gestire contenuti potenzialmente offensivi, rischiosi o indesiderati per mezzo di modelli di ML di moderazione dei contenuti all'avanguardia. Fornisce modelli e flussi di lavoro personalizzati, consentendo agli utenti di scegliere e creare il proprio sistema di moderazione dei contenuti. Gli utenti possono caricare contenuti propri o provarlo con il contenuto di esempio fornito.

Studio di Sicurezza dei contenuti non solo contiene i modelli di intelligenza artificiale predefiniti, ma include anche elenchi elementi bloccati dei termini predefiniti di Microsoft per contrassegnare le espressioni volgari e rimanere aggiornati sulle nuove tendenze sui contenuti. È anche possibile caricare blocklist personalizzate per migliorare la copertura dei contenuti dannosi specifici per il caso d'uso.

Studio consente anche di configurare un flusso di lavoro di moderazione, in cui è possibile monitorare e migliorare continuamente le prestazioni di moderazione dei contenuti. Può aiutare a soddisfare i requisiti sui contenuti di tutti i tipi di settori come gaming, media, istruzione, e-commerce e altro ancora. Le aziende possono connettere facilmente i propri servizi a Studio e far moderare i contenuti in tempo reale, a prescindere che siano generati dall'utente o dall'intelligenza artificiale.

Tutte queste funzionalità vengono gestite da Studio e dal suo back-end; i clienti non devono preoccuparsi dello sviluppo di modelli. È possibile eseguire l'onboarding dei dati per la convalida rapida e monitorare gli indicatori KPI di conseguenza, come metriche tecniche (latenza, accuratezza, richiamo) o aziendali (frequenza dei blocchi, volume di blocchi, proporzioni di categoria, proporzioni della lingua e altro ancora). Grazie a semplici operazioni e configurazioni, i clienti possono testare rapidamente diverse soluzioni e trovare la soluzione migliore, invece di dedicare tempo a sperimentare modelli personalizzati o eseguire manualmente la moderazione.

Provare Studio di Sicurezza dei contenuti

Funzionalità di Studio di Sicurezza dei contenuti

In Studio di Sicurezza dei contenuti sono disponibili le funzionalità seguenti di Sicurezza dei contenuti di Azure AI:

Moderare i contenuto di testo: con lo strumento di moderazione del testo, è possibile eseguire facilmente test sui contenuti di testo. Indipendentemente dal fatto che si desidera testare una singola frase o un intero set di dati, lo strumento offre un'interfaccia intuitiva che consente di valutare i risultati del test direttamente nel portale. È possibile sperimentare diversi livelli di riservatezza per configurare i filtri dei contenuti e la gestione dell'elenco delle blocklist, così da assicurarsi che i contenuti sia sempre moderati in base alle specifiche esatte. Inoltre, con la possibilità di esportare il codice, è possibile implementare lo strumento direttamente nell'applicazione, semplificando il flusso di lavoro e risparmiando tempo.
Moderare i contenuti di immagini: con lo strumento di moderazione delle immagini, è possibile eseguire facilmente test sulle immagini per assicurarsi che soddisfino gli standard sui contenuti. L'interfaccia intuitiva consente di valutare i risultati dei test direttamente nel portale ed è possibile sperimentare diversi livelli di riservatezza per configurare i filtri di contenuti. Dopo aver personalizzato le impostazioni, è possibile esportare facilmente il codice per implementare lo strumento nell'applicazione.
Monitorare l'attività online: la pagina di monitoraggio avanzata consente di tenere traccia facilmente dell'utilizzo e delle tendenze delle API di moderazione in diverse modalità. Con questa funzionalità è possibile accedere a informazioni dettagliate sulle risposte, tra cui distribuzione di categorie e gravità, latenza, errore e rilevamento delle blocklist. Queste informazioni forniscono una panoramica completa delle prestazioni di moderazione dei contenuti, consentendo di ottimizzare il flusso di lavoro e assicurarsi che i contenuti siano sempre moderati in base alle specifiche esatte. Grazie all'interfaccia intuitiva, è possibile spostarsi rapidamente e facilmente nella pagina di monitoraggio per accedere alle informazioni necessarie per prendere decisioni informate sulla strategia di moderazione dei contenuti. Sono disponibili gli strumenti necessari per restare aggiornati sulle prestazioni di moderazione dei contenuti e raggiungere gli obiettivi sui contenuti.

Sicurezza

Usare Microsoft Entra ID o l'identità gestita per gestire l'accesso

Per una maggiore sicurezza, è possibile usare Microsoft Entra ID o l'identità gestita (MI) per gestire l'accesso alle risorse.

L'identità gestita viene abilitata automaticamente quando si crea una risorsa di Sicurezza dei contenuti.
Microsoft Entra ID è supportato sia negli scenari API che SDK. Fare riferimento alle linee guida generali dei servizi di intelligenza artificiale di Microsoft Entra ID. È possibile inoltre concedere l'accesso ad altri utenti all'interno dell'organizzazione assegnando loro i ruoli Utente di Servizi cognitivi e Lettore. Per altre informazioni sulla concessione dell'accesso utente alle risorse di Azure tramite il portale di Azure, fare riferimento alla Guida al controllo degli accessi in base al ruolo.

Crittografia dei dati inattivi

Informazioni sul modo in cui Sicurezza dei contenuti di Azure AI gestisce la crittografia e la decrittografia dei dati. Le chiavi gestite dal cliente, note anche come Bring Your Own Key (BYOK), offrono maggiore flessibilità per creare, ruotare, disabilitare e revocare i controlli di accesso. È anche possibile controllare le chiavi di crittografia usate per proteggere i dati.

Prezzi

Attualmente, Sicurezza dei contenuti di Azure AI ha un piano tariffario F0 e S0. Per altre informazioni, vedere la pagina dei prezzi di Azure.

Limiti del servizio

Attenzione

Avviso di deprecazione

Come parte del controllo delle versioni e della gestione del ciclo di vita di Content Safety, stiamo annunciando la deprecazione di alcune versioni di anteprima pubblica e ga delle API del servizio. Seguendo i criteri di deprecazione:

Versioni di anteprima pubblica: ogni nuova versione di anteprima pubblica attiverà la deprecazione della versione di anteprima precedente dopo un periodo di 90 giorni, purché non vengano introdotte modifiche di rilievo.
Versioni ga: quando viene rilasciata una nuova versione ga, la versione ga precedente verrà deprecata dopo un periodo di 90 giorni se viene mantenuta la compatibilità.

Per le deprecazioni future, vedere la pagina Novità .

Requisiti di input

Per i requisiti di input per ogni funzionalità, vedere l'elenco seguente.

API di analisi del testo:
- Lunghezza massima predefinita: 10.000 caratteri (dividere testi più lunghi in base alle esigenze).
API di analisi delle immagini:
- Dimensioni massime del file di immagine: 4 MB
- Dimensioni comprese tra 50 x 50 e 7200 x 7200 pixel.
- Le immagini possono essere in formati JPEG, PNG, GIF, BMP, TIFF o WEBP.
Analizzare l'API multimodale (anteprima):
- Lunghezza massima predefinita del testo: 1.000 caratteri.
- Dimensioni massime del file di immagine: 4 MB
- Dimensioni comprese tra 50 x 50 e 7200 x 7200 pixel.
- Le immagini possono essere in formati JPEG, PNG, GIF, BMP, TIFF o WEBP.
API Prompt Shields:
- Lunghezza massima richiesta: 10.000 caratteri.
- Fino a cinque documenti con un totale di 10.000 caratteri.
API di rilevamento allineamento (anteprima):
- Lunghezza massima per le origini di fondatezza: 55.000 caratteri (per chiamata API).
- Lunghezza massima di testo e query: 7.500 caratteri.
API di rilevamento di materiale protetto:
- Lunghezza massima predefinita: 1.000 caratteri.
- Lunghezza minima predefinita: 110 caratteri (per l'analisi dei completamenti LLM, non per le richieste dell'utente).
API delle categorie personalizzate (standard) (anteprima):
- Lunghezza massima dell'input di inferenza: 1.000 caratteri.

Supporto di versioni in lingue diverse

I modelli di Sicurezza dei contenuti di Azure AI per i materiali protetti, il rilevamento dell’allineamento e le categorie personalizzate (standard) funzionano solo con l'inglese.

Altri modelli di Sicurezza dei contenuti di Azure AI sono stati sottoposti a training e testati nelle lingue seguenti: cinese, inglese, francese, tedesco, spagnolo, italiano, giapponese, portoghese. Tuttavia, queste funzionalità possono funzionare in molti altri linguaggi, ma la qualità potrebbe variare. In tutti i casi, è necessario eseguire test personalizzati per assicurarsi che funzioni per l'applicazione.

Per altre informazioni, vedere Supporto per le lingue.

Aree di disponibilità

Per usare le API di Sicurezza dei contenuti, è necessario creare la risorsa di Sicurezza dei contenuti di Azure AI in un'area supportata. Attualmente, le funzionalità di sicurezza del contenuto sono disponibili nelle aree di Azure seguenti con versioni diverse dell'API:

Paese	Categoria personalizzata	Allineamento	Immagine	Multimodal(Image with Tex)	Risposta all'incidente	Prompt Shield	Materiale protetto (testo)	Materiale protetto (codice)	Testo	API unificata
Australia orientale	✅		✅		✅	✅	✅	✅	✅	✅
Canada orientale			✅		✅	✅	✅	✅	✅	✅
Stati Uniti centrali			✅		✅	✅	✅	✅	✅	✅
Stati Uniti orientali	✅		✅	✅	✅	✅	✅	✅	✅	✅
Stati Uniti orientali 2		✅	✅		✅	✅	✅	✅	✅	✅
Francia centrale		✅	✅		✅	✅	✅	✅	✅	✅
Giappone orientale			✅		✅	✅	✅	✅	✅	✅
Stati Uniti centro-settentrionali			✅		✅	✅	✅	✅	✅	✅
Polonia Centrale			✅			✅	✅	✅	✅	✅
Stati Uniti centro-meridionali			✅		✅	✅	✅	✅	✅	✅
India meridionale			✅		✅		✅	✅	✅	✅
Svezia centrale		✅	✅		✅	✅	✅	✅	✅	✅
Svizzera settentrionale	✅		✅		✅	✅	✅	✅	✅	✅
Svizzera occidentale			✅		✅	✅	✅	✅	✅
Emirati Arabi Uniti settentrionali			✅		✅	✅	✅	✅	✅
Regno Unito meridionale		✅	✅		✅	✅	✅	✅	✅	✅
Europa occidentale			✅	✅	✅	✅	✅	✅	✅	✅
Stati Uniti occidentali		✅	✅		✅	✅	✅	✅	✅	✅
West US 2			✅		✅	✅	✅	✅	✅	✅
Stati Uniti occidentali 3			✅		✅	✅	✅	✅	✅	✅
FairFax - USGovArizona			✅			✅	✅		✅	✅
FairFax - USGovVirginia			✅			✅	✅		✅	✅

È possibile contattare Microsoft se l'azienda della disponibilità di altre regioni.

Frequenze query

Le funzionalità di Sicurezza dei contenuti prevedono limiti di frequenza per le query nelle richieste al secondo (RPS) o nelle richieste ogni 10 secondi (RP10S). Per conoscere i limiti di velocità di ogni funzionalità, vedere la tabella seguente.

Piano tariffario	API per la moderazione (testo e immagine)	Protezioni delle richieste	Materiale protetto modifiche	Allineamento rilevamento (anteprima)	Categorie personalizzate (rapido) (anteprima)	Categorie personalizzate (standard) (anteprima)	Multimodale
F0	5 RPS	5 RPS	5 RPS	N/D	5 RPS	5 RPS	5 RPS
S0	1000 RP10S	1000 RP10S	1000 RP10S	50 RPS	1000 RP10S	5 RPS	10 RPS

Se hai bisogno di una velocità più elevata, contattarci per richiederla.

Contatti

Se ci si blocca, inviare un'email a Microsoft o usare il widget di feedback nella parte inferiore di una pagina di Microsoft Learn.

Passaggi successivi

Seguire le istruzioni di avvio rapido per iniziare a usare Sicurezza dei contenuti di Azure AI nell'applicazione.

Istruzioni di avvio rapido di Studio di Sicurezza dei contenuti

Condividi tramite