Utiliser Surveillance des risques et de la sécurité dans Azure OpenAI Studio (préversion)

Lorsque vous utilisez un modèle de déploiement Azure OpenAI avec un filtre de contenu, vous souhaiterez peut-être vérifier les résultats de l’activité de filtrage. Vous pouvez utiliser ces informations pour ajuster davantage votre configuration de filtre, afin de répondre à vos besoins métier spécifiques et aux principes d’IA responsable.

Azure OpenAI Studio fournit désormais un tableau de bord de Surveillance des risques et de la sécurité pour chacun de vos déploiements qui utilise une configuration de filtre de contenu.

Surveillance des risques et de la sécurité

Pour accéder à la Surveillance des risques et de la sécurité, vous avez besoin d’une ressource Azure OpenAI dans l’une des régions Azure prises en charge : USA Est, Suisse Nord, France Centre, Suède Centre, Canada Est. Vous avez également besoin d’un modèle de déploiement, qui utilise une configuration de filtre de contenu.

Accédez à Azure OpenAI Studio et connectez-vous avec les informations d’identification associées à votre ressource Azure OpenAI. Sélectionnez l’onglet Déploiements à gauche, puis sélectionnez votre modèle de déploiement dans la liste. Dans la page du déploiement, sélectionnez l’onglet Risques et sécurité en haut.

Détection de contenu

Le volet Détection de contenu affiche des informations sur l’activité de filtre de contenu. Votre configuration de filtre de contenu est appliquée comme décrit dans la documentation de filtrage de contenu.

Description de l’état

Les données de filtrage de contenu sont affichées des manières suivantes :

• Nombre total de demandes bloquées et taux de blocage : cette vue affiche une vue globale de la quantité et du taux de contenu qui est filtré au fil du temps. Cela vous aide à comprendre les tendances des demandes dangereuses des utilisateurs et à avoir un aperçu de toute activité inattendue.
• Demandes bloquées par catégorie : cette vue affiche la quantité de contenu bloquée pour chaque catégorie. Il s’agit d’une statistique de toutes les demandes préjudiciables sur l’intervalle de temps sélectionné. Il prend actuellement en charge les catégories préjudiciables haineuses, sexuelles, auto-mutilation et violence.
• Taux de blocage au fil du temps par catégorie : cette vue affiche le taux de blocage pour chaque catégorie au fil du temps. Il prend actuellement en charge les catégories préjudiciables haineuses, sexuelles, auto-mutilation et violence.
• Distribution de gravité par catégorie : cette vue affiche les niveaux de gravité détectés pour chaque catégorie préjudiciable, sur tout l’intervalle de temps sélectionné. Cela n’est pas limité au contenu bloqué, mais inclut plutôt tout le contenu signalé par les filtres de contenu.
• Distribution du taux de gravité au fil du temps par catégorie : cette vue montre les taux de niveaux de gravité détectés au fil du temps, pour chaque catégorie préjudiciable. Sélectionnez les onglets pour basculer entre les catégories prises en charge.

Actions recommandées

Ajustez la configuration de votre filtre de contenu pour s’aligner davantage aux besoins de l’entreprise et aux principes de l’IA responsable.

Détection d’utilisateurs potentiellement abusifs

Le volet Détection d’utilisateurs potentiellement abusifs tire profit des rapports d’abus au niveau des utilisateurs, afin d’afficher des informations sur les utilisateurs dont le comportement a entraîné le blocage du contenu. L’objectif est de vous aider à obtenir une vue des sources de contenu nocif, afin de pouvoir prendre des mesures réactives pour vous assurer que le modèle est utilisé de manière responsable.

Pour utiliser la Détection d’utilisateurs potentiellement abusive, vous avez besoin des éléments suivants :

• Une configuration de filtre de contenu appliquée à votre déploiement.
• Vous devez envoyer des informations d’ID utilisateur dans vos requêtes de complétion de conversation (voir le paramètre utilisateur de l’API Completions, par exemple).

  Attention

  Utilisez des chaînes GUID pour identifier des utilisateurs individuels. N’incluez pas d’informations personnelles sensibles dans le champ « utilisateur ».

• Une base de données Azure Data Explorer configurée pour stocker les résultats de l’analyse de l’utilisateur (instructions ci-dessous).

Configurer votre base de données Azure Data Explorer

Pour protéger la confidentialité des données des informations des utilisateurs et gérer l’autorisation des données, nous prenons en charge l’option permettant à nos clients d’apporter leur propre stockage pour obtenir des insights détaillés sur la détection des utilisateurs potentiellement abusifs (y compris le GUID de l’utilisateur et les statistiques sur les demandes dangereuses par catégorie) stockés de manière conforme et avec un contrôle total. Procédez comme suit pour l’activer :

1. Dans Azure OpenAI Studio, accédez au modèle de déploiement avec lequel vous souhaitez configurer l’analyse des abus d’utilisateurs puis sélectionnez Ajouter un magasin de données.
2. Renseignez les informations requises, puis sélectionnez Enregistrer. Nous vous recommandons de créer une base de données pour stocker les résultats d’analyse.
3. Après avoir connecté le magasin de données, procédez comme suit pour accorder l’autorisation d’écrire des résultats d’analyse dans la base de données connectée :
   1. Accédez à la page de votre ressource Azure OpenAI dans le portail Azure, puis choisissez l’onglet Identité.
   2. Passez l’état sur Activé pour l’identité affectée par le système, puis copiez l’ID généré.
   3. Accédez à votre ressource Azure Data Explorer dans le portail Azure, sélectionnez bases de données, puis choisissez la base de données spécifique que vous avez créée pour stocker les résultats de l’analyse de l’utilisateur.
   4. Sélectionnez autorisations, puis ajoutez un rôle d’administrateur à la base de données.
   5. Collez l’identité Azure OpenAI générée à l’étape précédente, puis sélectionnez celle recherchée. À présent, l’identité de votre ressource Azure OpenAI est autorisée à lire/écrire dans le compte de stockage.
4. Accordez l’accès à la base de données Azure Data Explorer connectée aux utilisateurs qui doivent afficher les résultats de l’analyse :
   1. Accédez à la ressource Azure Data Explorer que vous avez connectée, sélectionnez contrôle d’accès et ajoutez un rôle de lecteur du cluster Azure Data Explorer pour les utilisateurs qui ont besoin d’accéder aux résultats.
   2. Sélectionnez bases de données et choisissez la base de données spécifique connectée pour stocker les résultats de l’analyse des abus au niveau de l’utilisateur. Sélectionnez autorisations et ajoutez le rôle de lecteur de la base de données pour les utilisateurs qui ont besoin d’accéder aux résultats.

Description de l’état

La détection d’utilisateurs potentiellement abusifs s’appuie sur les informations utilisateur envoyées par les clients avec leurs appels Azure OpenAI API, ainsi que le contenu de la demande. Les insights suivants sont présentés :

• Nombre total d’utilisateurs potentiellement abusifs : cette vue indique le nombre d’utilisateurs potentiellement abusifs détectés au fil du temps. Il s’agit d’utilisateurs pour lesquels un modèle d’abus a été détecté et qui pourrait introduire un risque élevé.
• Liste des utilisateurs potentiellement abusifs : cette vue est une liste détaillée des utilisateurs potentiellement abusifs détectés. Elle donne les informations suivantes pour chaque utilisateur :
  • UserGUID : ceci est envoyé par le client via le champ « utilisateur » dans les API Azure OpenAI.
  • Score d’abus : il s’agit d’un chiffre généré par le modèle analysant les requêtes et le comportement de chaque utilisateur. Le score est normalisé à 0-1. Un score plus élevé indique un risque d’abus plus élevé.
  • Tendance du score d’abus : le changement du score d’abus pendant l’intervalle de temps sélectionné.
  • Date d’évaluation : la date à laquelle les résultats ont été analysés.
  • Ratio/Nombre total des requête relatives aux abus
  • Ratio/Nombre d’abus par catégorie

Actions recommandées

Combinez ces données avec des signaux enrichis pour vérifier si les utilisateurs détectés sont vraiment abusifs ou non. Si c’est le cas, prenez des mesures réactives telles que la limitation ou la suspension de l’utilisateur pour garantir l’utilisation responsable de votre application.

Étapes suivantes

Ensuite, créez ou modifiez une configuration de filtre de contenu dans Azure OpenAI Studio.

• Configurer les filtres de contenu avec Azure OpenAI Service