Guide pratique de configuration des filtres de contenu avec Azure OpenAI Service
Remarque
Tous les clients ont la possibilité de modifier les filtres de contenu et de configurer les seuils de gravité (bas, moyen, élevé). Une autorisation est requise pour désactiver partiellement ou totalement les filtres de contenu. Seuls les clients gérés peuvent demander un contrôle de filtrage de contenu complet via ce formulaire : Révision d’accès limité Azure OpenAI : filtres de contenu modifiés.
Le système de filtrage de contenu intégré à Azure OpenAI Service s’exécute en même temps que les modèles principaux et utilise un ensemble de modèles de classification multiclasse pour détecter quatre catégories de contenu dangereux (violence, haine, sexualité et automutilation) à quatre niveaux de gravité respectivement (sûr, faible, moyen et élevé) et des classificateurs binaires facultatifs pour détecter le risque de jailbreak, le texte existant et le code dans les référentiels publics. La configuration du filtrage du contenu par défaut est définie pour filtrer au niveau de gravité moyen pour les quatre catégories de contenu pour les invites et les achèvements. Par conséquent, le contenu détecté au niveau de gravité moyen ou élevé est filtré, tandis que le contenu détecté au niveau de gravité faible ou sûr n’est pas filtré par les filtres de contenu. En savoir plus sur les catégories de contenu, les niveaux de gravité et le comportement du système de filtrage de contenu ici. La détection des risques de jailbreak et les modèles de texte et de code protégés sont des modèles facultatifs et désactivés par défaut. Pour les modèles de texte et de code matériels de jailbreak et protégés, la fonctionnalité de configuration permet à tous les clients d’activer et de désactiver les modèles. Les modèles sont désactivés par défaut et peuvent être activés selon votre scénario. Certains modèles doivent être activés pour certains scénarios afin de conserver la couverture en vertu de l’Engagement de copyright du client.
Les filtres de contenu peuvent être configurés au niveau de la ressource. Une fois qu’une configuration est créée, elle peut être associée à un ou plusieurs déploiements. Pour plus d’informations sur le déploiement de modèle, consultez le guide de déploiement de ressources.
La fonctionnalité de configuration est disponible en préversion et permet aux clients d’ajuster les paramètres, séparément pour les invites et la saisie semi-automatique, afin de filtrer le contenu pour chaque catégorie de contenu à différents niveaux de gravité, comme décrit dans le tableau ci-dessous. Le contenu détecté au niveau de gravité « sûr » est étiqueté dans les annotations, mais n’est pas soumis à un filtrage et n’est pas configurable.
| Gravité filtrée | Configurable pour les invites | Configurable pour la saisie semi-automatique | Descriptions |
|---|---|---|---|
| Faible, moyen, élevé | Oui | Oui | Configuration de filtrage la plus stricte. Le contenu détecté aux niveaux de gravité bas, moyen et élevé est filtré. |
| Moyen, élevé | Oui | Oui | Paramètre par défaut. Le contenu détecté au niveau de gravité faible n’est pas filtré. Le contenu moyen et élevé est filtré. |
| Élevé | Oui | Oui | Le contenu détecté aux niveaux de gravité faible et moyen n'est pas filtré. Seul le contenu au niveau de gravité élevé est filtré. |
| Aucun filtre | En cas d’approbation* | En cas d’approbation* | Aucun contenu n’est filtré quel que soit le niveau de gravité détecté. Nécessite une approbation*. |
* Seuls les clients approuvés disposent d’un contrôle de filtrage de contenu complet et peuvent désactiver partiellement ou entièrement les filtres de contenu. Seuls les clients gérés peuvent demander un contrôle de filtrage de contenu complet via ce formulaire : Révision d’accès limité Azure OpenAI : filtres de contenu modifiés
Les clients sont chargés de s’assurer que les applications intégrant Azure OpenAI sont conformes au Code de conduite.
| Catégorie de filtre | Paramètre par défaut | Appliqué à l’invite ou à la saisie semi-automatique ? | Description |
|---|---|---|---|
| Détection des risques de jailbreak | Désactivé | Prompt | Peut être activé pour filtrer ou annoter les invites utilisateur susceptibles de présenter un risque de jailbreak. Pour plus d’informations sur l’utilisation des annotations, consultez Filtrage de contenu d’Azure OpenAI Service |
| Matériel protégé – code | arrêt | Completion | Peut être activé pour obtenir l’exemple de citation et les informations de licence dans les annotations pour les extraits de code qui correspondent à toutes les sources de code publiques. Pour plus d’informations sur l’utilisation des annotations, consultez le guide des concepts de filtrage de contenu |
| Matériel protégé – texte | arrêt | Completion | Peut être activé pour identifier et bloquer l’affichage de texte connu dans la sortie du modèle (par exemple, les paroles de chanson, des recettes et le contenu web sélectionné). |
Configuration des filtres de contenu via Azure OpenAI Studio (préversion)
Les étapes suivantes montrent comment configurer une configuration de filtrage de contenu personnalisée pour votre ressource.
Accédez à Azure OpenAI Studio et accédez à l’onglet Filtres de contenu (dans le volet de navigation inférieur gauche, comme indiqué par la zone rouge ci-dessous).
Créez une configuration de filtrage de contenu personnalisée.
Cela conduit à la vue de configuration suivante, où vous pouvez choisir un nom pour la configuration de filtrage de contenu personnalisé.
Il s’agit de la vue de la configuration de filtrage de contenu par défaut, où le contenu est filtré à des niveaux de gravité moyen et élevé pour toutes les catégories. Vous pouvez modifier le niveau de gravité du filtrage de contenu pour les invites utilisateur et le remplissage semi-automatique des modèles séparément (la configuration des invites se trouve dans la colonne de gauche et la configuration de la saisie semi-automatique se trouve dans la colonne de droite, comme indiqué dans les cadres bleus ci-dessous) pour chacune des quatre catégories de contenu (les catégories de contenu sont répertoriées sur le côté gauche de l’écran, comme indiqué dans le cadre vert ci-dessous). Il existe trois niveaux de gravité pour chaque catégorie configurable : faible, moyen et élevé. Vous pouvez utiliser le curseur pour définir le seuil de gravité.
Si vous déterminez que votre application ou votre scénario d’usage nécessite un filtrage plus strict pour une partie ou l’ensemble des catégories de contenu, vous pouvez configurer les paramètres, séparément pour les invites et la saisie semi-automatique, pour filtrer à des niveaux de gravité plus élevés que le paramètre par défaut. Un exemple est illustré dans l’image ci-dessous, où le niveau de filtrage pour les invites utilisateur est défini sur la configuration la plus stricte pour la haine et les rapports sexuels, avec le contenu à faible gravité filtré avec le contenu classé comme étant de gravité moyenne et élevée (décrit dans le cadre rouge ci-dessous). Dans l’exemple, les niveaux de filtrage pour la saisie semi-automatique de modèle sont définis à la configuration la plus stricte pour toutes les catégories de contenu (cadre bleu ci-dessous). Une fois cette configuration de filtrage modifiée en place, le contenu de gravité faible, moyenne et élevée sera filtré pour les catégories de haine et de sexe dans les invites des utilisateurs ; le contenu de gravité moyenne et élevée sera filtré pour les catégories d’automutilation et de violence dans les invites des utilisateurs ; et le contenu de gravité faible, moyenne et élevée sera filtré pour toutes les catégories de contenu dans les saisies semi-automatiques de modèle.
Si votre cas d’usage a été approuvé pour les filtres de contenu modifiés comme indiqué ci-dessus, vous recevez un contrôle total sur les configurations de filtrage de contenu et pouvez choisir de désactiver partiellement ou entièrement le filtrage. Dans l’image ci-dessous, le filtrage est désactivé pour la violence (zone verte ci-dessous), tandis que les configurations par défaut sont conservées pour d’autres catégories. Bien que cela ait désactivé la fonctionnalité de filtrage pour la violence, le contenu sera toujours annoté. Pour désactiver tous les filtres et annotations, désactivez l’option Filtres et annotations (zone rouge ci-dessous).
Vous pouvez créer plusieurs configurations de filtrage de contenu en fonction de vos besoins.
Pour activer les modèles facultatifs, vous pouvez sélectionner l’une des cases à cocher situées à gauche. Lorsque chacun des modèles facultatifs est activé, vous pouvez indiquer si le modèle doit annoter ou filtrer.
Sélectionner Annoter exécute le modèle respectif et retourne des annotations via la réponse de l’API, mais cette action ne filtre pas le contenu. En plus des annotations, vous pouvez également choisir de filtrer le contenu en activant l’option Filtrer.
Vous pouvez créer plusieurs configurations de filtrage de contenu en fonction de vos besoins.
Ensuite, pour rendre une configuration de filtrage de contenu personnalisée opérationnelle, affectez une configuration à un ou plusieurs déploiements dans votre ressource. Pour ce faire, accédez à l’onglet Déploiements et sélectionnez Modifier le déploiement (en haut de l’écran dans un cadre rouge ci-dessous).
Accédez aux options avancées (décrites dans le cadre bleu ci-dessous), sélectionnez la configuration de filtre de contenu appropriée pour ce déploiement dans la liste déroulante Filtre de contenu (décrite près du bas de la boîte de dialogue dans le cadre rouge ci-dessous).
Sélectionnez Enregistrer et fermer pour appliquer la configuration sélectionnée au déploiement.
Vous pouvez également modifier et supprimer une configuration de filtre de contenu si nécessaire. Pour ce faire, accédez à l’onglet Filtres de contenu et sélectionnez l’action souhaitée (options décrites en haut de l’écran dans le cadre rouge ci-dessous). Vous ne pouvez modifier/supprimer qu’une seule configuration de filtrage à la fois.
Notes
Avant de supprimer une configuration de filtrage de contenu, vous devez la désaffecter de tout déploiement sous l’onglet Déploiements.
Meilleures pratiques
Nous vous recommandons de prendre vos décisions de configuration de filtrage de contenu sur la base d’une identification itérative (par exemple, des tests d’équipe rouge, des tests de contrainte et l’analyse) et d’un processus de mesure pour résoudre les dommages potentiels pertinents pour un modèle, une application et un scénario de déploiement spécifiques. Après avoir implémenté des atténuations telles que le filtrage de contenu, répétez la mesure pour tester l’efficacité. Vous trouverez des recommandations et des meilleures pratiques pour l’IA responsable pour Azure OpenAI, qui sont ancrées dans la norme d’IA responsable de Microsoft dans Vue d’ensemble de l’IA responsable pour Azure OpenAI.
Étapes suivantes
- En savoir plus sur les pratiques d’IA responsable pour Azure OpenAI : Vue d’ensemble des pratiques d’IA responsable pour les modèles Azure OpenAI.
- En savoir plus sur les catégories de filtrage de contenu et les niveaux de gravité avec Azure OpenAI Service.
- Pour en savoir plus sur le « red teaming », consultez notre article Introduction aux modèles LLM (Large Language Models) Red Teaming.