Usare rischi e monitoraggio Cassaforte ty in Azure OpenAI Studio (anteprima)
Quando si usa una distribuzione di modelli OpenAI di Azure con un filtro contenuto, è possibile controllare i risultati dell'attività di filtro. È possibile usare queste informazioni per modificare ulteriormente la configurazione del filtro in modo da soddisfare le esigenze aziendali specifiche e i principi di IA responsabile.
Azure OpenAI Studio offre un dashboard di monitoraggio rischi e Cassaforte ty per ognuna delle distribuzioni che usa una configurazione del filtro contenuto.
Monitoraggio dei rischi di accesso e Cassaforte ty
Per accedere al monitoraggio di rischi e Cassaforte ty, è necessaria una risorsa OpenAI di Azure in una delle aree di Azure supportate: Stati Uniti orientali, Svizzera settentrionale, Francia centrale, Svezia centrale, Canada orientale. È necessaria anche una distribuzione del modello che usa una configurazione del filtro contenuto.
Passare ad Azure OpenAI Studio e accedere con le credenziali associate alla risorsa OpenAI di Azure. Selezionare la scheda Distribuzioni a sinistra e quindi selezionare la distribuzione del modello dall'elenco. Nella pagina della distribuzione selezionare la scheda Rischi e Cassaforte ty nella parte superiore.
Rilevamento del contenuto
Il riquadro Rilevamento contenuto mostra informazioni sull'attività di filtro del contenuto. La configurazione del filtro contenuto viene applicata come descritto nella documentazione relativa al filtro del contenuto.
Descrizione report
I dati di filtro del contenuto vengono visualizzati nei modi seguenti:
- Numero totale di richieste bloccate e frequenza di blocco: questa visualizzazione mostra una visualizzazione globale della quantità e della frequenza del contenuto filtrata nel tempo. Ciò consente di comprendere le tendenze delle richieste dannose degli utenti e di visualizzare eventuali attività impreviste.
- Richieste bloccate per categoria: questa visualizzazione mostra la quantità di contenuto bloccato per ogni categoria. Si tratta di una statistica completa delle richieste dannose nell'intervallo di tempo selezionato. Attualmente supporta le categorie di danni odio, sesso, autolesionismo e violenza.
- Tasso di blocco nel tempo per categoria: questa visualizzazione mostra la frequenza dei blocchi per ogni categoria nel tempo. Attualmente supporta le categorie di danni odio, sesso, autolesionismo e violenza.
- Distribuzione della gravità per categoria: questa visualizzazione mostra i livelli di gravità rilevati per ogni categoria di danni nell'intero intervallo di tempo selezionato. Questo non è limitato al contenuto bloccato , ma include piuttosto tutto il contenuto contrassegnato dai filtri di contenuto.
- Distribuzione della frequenza di gravità nel tempo per categoria: questa visualizzazione mostra la frequenza dei livelli di gravità rilevati nel tempo, per ogni categoria di danni. Selezionare le schede per passare da una categoria supportata all'altra.
Azioni consigliate
Modificare la configurazione del filtro del contenuto per allinearsi ulteriormente alle esigenze aziendali e ai principi di IA responsabile.
Rilevamento utenti potenzialmente offensivi
Il riquadro Rilevamento utenti potenzialmente offensivi sfrutta la segnalazione di abusi a livello di utente per visualizzare informazioni sugli utenti il cui comportamento ha causato il blocco del contenuto. L'obiettivo è quello di ottenere una visualizzazione delle origini di contenuto dannoso, in modo da poter eseguire azioni reattive per garantire che il modello venga usato in modo responsabile.
Per usare il rilevamento utenti potenzialmente offensivi, è necessario:
- Configurazione del filtro contenuto applicata alla distribuzione.
- È necessario inviare informazioni sull'ID utente nelle richieste di completamento della chat ( ad esempio, vedere il parametro utente dell'API Completamento).
Attenzione
Usare stringhe GUID per identificare singoli utenti. Non includere informazioni personali riservate nel campo "utente".
- Un database di Azure Esplora dati configurato per archiviare i risultati dell'analisi utente (istruzioni seguenti).
Configurare il database Esplora dati di Azure
Per proteggere la privacy dei dati delle informazioni utente e gestire l'autorizzazione dei dati, è supportata la possibilità per i nostri clienti di usare la propria risorsa di archiviazione per ottenere informazioni dettagliate potenzialmente offensive sul rilevamento degli utenti (inclusi GUID utente e statistiche sulla richiesta dannosa per categoria) archiviate in modo conforme e con controllo completo. Seguire questa procedura per abilitarla:
- In Azure OpenAI Studio passare alla distribuzione del modello con cui si vuole configurare l'analisi degli abusi utente e selezionare Aggiungi un archivio dati.
- Immettere le informazioni necessarie e selezionare Salva. È consigliabile creare un nuovo database per archiviare i risultati dell'analisi.
- Dopo aver connesso l'archivio dati, seguire questa procedura per concedere l'autorizzazione per scrivere i risultati dell'analisi nel database connesso:
- Passare alla pagina della risorsa OpenAI di Azure nella portale di Azure e scegliere la scheda Identità.
- Attivare lo stato per l'identità assegnata dal sistema e copiare l'ID generato.
- Passare alla risorsa Esplora dati di Azure nel portale di Azure, scegliere i database e quindi scegliere il database specifico creato per archiviare i risultati dell'analisi utente.
- Selezionare le autorizzazioni e aggiungere un ruolo di amministratore al database.
- Incollare l'identità OpenAI di Azure generata nel passaggio precedente e selezionare quella cercata. Ora l'identità della risorsa OpenAI di Azure è autorizzata a leggere/scrivere nell'account di archiviazione.
- Concedere l'accesso al database di Azure Esplora dati connesso agli utenti che devono visualizzare i risultati dell'analisi:
- Passare alla risorsa di Azure Esplora dati connessa, scegliere controllo di accesso e aggiungere un ruolo lettore del cluster di Azure Esplora dati per gli utenti che devono accedere ai risultati.
- Scegliere i database e scegliere il database specifico connesso per archiviare i risultati dell'analisi degli abusi a livello di utente. Scegliere le autorizzazioni e aggiungere il ruolo lettore del database per gli utenti che devono accedere ai risultati.
Descrizione report
Il rilevamento utenti potenzialmente offensivo si basa sulle informazioni utente inviate dai clienti con le chiamate API OpenAI di Azure, insieme al contenuto della richiesta. Vengono visualizzate le informazioni dettagliate seguenti:
- Numero totale di utenti potenzialmente offensivi: questa visualizzazione mostra il numero di utenti potenzialmente offensivi rilevati nel tempo. Si tratta di utenti per i quali è stato rilevato un modello di abuso e che potrebbero introdurre rischi elevati.
- Elenco utenti potenzialmente offensivi: questa visualizzazione è un elenco dettagliato di utenti potenzialmente offensivi rilevati. Fornisce le informazioni seguenti per ogni utente:
- UserGUID: questo viene inviato dal cliente tramite il campo "utente" nelle API OpenAI di Azure.
- Punteggio di abuso: si tratta di una cifra generata dal modello che analizza le richieste e il comportamento di ogni utente. Il punteggio viene normalizzato in 0-1. Un punteggio più alto indica un rischio di abuso più elevato.
- Tendenza del punteggio di abuso: modifica del punteggio abuso durante l'intervallo di tempo selezionato.
- Data di valutazione: data in cui sono stati analizzati i risultati.
- Numero totale di richieste di abuso
- Percentuale di abusi/conteggio per categoria
Azioni consigliate
Combinare questi dati con segnali arricchiti per verificare se gli utenti rilevati sono veramente offensivi o meno. In caso affermativo, eseguire azioni reattive, ad esempio la limitazione o la sospensione dell'utente per garantire l'uso responsabile dell'applicazione.
Passaggi successivi
Successivamente, creare o modificare una configurazione del filtro del contenuto in Azure OpenAI Studio.