Filtrage du contenu

Important

Le système de filtrage de contenu n’est pas appliqué aux invites et aux complétions traitées par le modèle Whisper dans Azure OpenAI Service. Apprenez-en davantage sur le modèle Whisper dans Azure OpenAI.

Azure OpenAI Service comprend un système de filtrage de contenu qui fonctionne avec les modèles de base, notamment les modèles de génération d’image DALL-E. Ce système fonctionne en exécutant l’invite et l’achèvement par le biais d’un ensemble de modèles de classification visant à détecter et à empêcher la sortie de contenu nuisible. Le système de filtrage du contenu détecte les catégories spécifiques de contenu potentiellement nuisible dans les invites d’entrée et les achèvements de sortie et prend des mesures correspondantes. Les écarts au niveau des configurations d’API et de la conception de l’application pourraient affecter les achèvements et, par conséquent, le comportement de filtrage.

Les modèles de filtrage de contenu pour les catégories haine, sexualité, violence et automutilation ont été spécifiquement entraînés et testés sur les langues suivantes : anglais, allemand, japonais, espagnol, français, italien, portugais et chinois. Le service peut toutefois fonctionner dans de nombreuses autres langues, mais il est possible que la qualité varie. Dans tous les cas, vous devez effectuer vos propres tests pour vous assurer qu’il fonctionne pour votre application.

En plus du système de filtrage du contenu, Azure OpenAI Service effectue une supervision pour détecter le contenu et/ou les comportements qui suggèrent une utilisation du service d’une manière susceptible de violer les conditions du produit applicables. Pour plus d’informations sur la compréhension et l’atténuation des risques associés à votre application, consultez la note de transparence pour Azure OpenAI. Pour plus d’informations sur le traitement des données pour le filtrage de contenu et la surveillance des abus, consultez Données, confidentialité et sécurité pour azure OpenAI Service.

Les sections ci-après fournissent des informations sur les catégories de filtrage du contenu, les niveaux de gravité de filtrage et leurs configuration et les scénarios d’API à prendre en compte lors de la conception et de l’implémentation d’applications.

Catégories de filtrage du contenu

Le système de filtrage de contenu intégré dans Azure OpenAI Service contient :

• Des modèles de classification multiclasse neuronaux destinés à détecter et à filtrer le contenu nuisible. Les modèles couvrent quatre catégories (haine, sexualité, violence et automutilation) selon quatre niveaux de gravité (sans risque, faible, moyen et élevé). Le contenu détecté au niveau de gravité « sûr » est étiqueté dans les annotations mais n'est pas soumis au filtrage et n'est pas configurable.
• Autres modèles de classification facultatifs visant à détecter le risque de jailbreak et le contenu connu pour le texte et le code ; ces modèles sont des classifieurs binaires qui indiquent si le comportement de l’utilisateur ou du modèle est qualifié d’attaque de jailbreak ou de correspondance avec du texte ou du code source connu. L’utilisation de ces modèles est facultative, mais l’utilisation d’un modèle de code de matériel protégé peut être nécessaire pour la couverture de l’engagement du droit d’auteur du client.

Catégories de risques

Category	Description
Haine et impartialité	Les préjudices liés à la haine et à l’impartialité décrit des attaques ou des utilisations de termes péjoratifs ou discriminatoires faisant référence à une personne ou à des groupes d’identité sur la base de certains attributs de différenciation de ces groupes, notamment la race, l’origine ethnique, la nationalité, les groupes et l’expression d’identité de genre, l’orientation sexuelle, la religion, le statut d’immigration, les aptitudes, l’apparence personnelle et la taille du corps.  L’impartialité consiste à veiller à ce que les systèmes d’IA traitent tous les groupes de personnes de manière équitable sans contribuer aux inégalités sociales existantes. À l’instar du discours haineux, les préjudices liés à l’impartialité dépendent du traitement disparate des groupes d’identité.
Contenu sexuel	La sexualité décrit le langage relatif aux organes anatomiques et génitaux, aux relations amoureuses, aux actes présentés en termes érotiques ou affectueux, à la grossesse, aux actes sexuels physiques, y compris les actes présentés comme une agression ou un acte violent sexuel forcé contre la volonté d’une personne, la prostitution, la pornographie et les abus.
Violence	La violence décrit le langage lié aux actions physiques destinées à blesser, nuire, endommager ou tuer quelqu’un ou quelque chose ; cela décrit les armes, les fusils et les entités connexes, telles que les fabricants, les associations, la législation, etc.
Automutilation	L’automutilation décrit le langage lié aux actions physiques destinées à blesser ou nuire le corps d’une personne ou à se tuer.
Matériel protégé pour le texte*	Le texte matériel protégé décrit le contenu texte connu (par exemple, les paroles de chanson, les articles, les recettes et le contenu web sélectionné) qui peut être généré par de grands modèles de langage.
Matériel protégé pour le code	Le code matériel protégé décrit le code source qui correspond à un ensemble de codes sources provenant de référentiels publics, qui peuvent être produits par de grands modèles de langage sans que les référentiels de sources soient correctement cités.

^* Si vous êtes propriétaire de matériel texte et que vous souhaitez envoyer du contenu texte à des fins de protection, envoyez une demande.

Boucliers d’invite

Type	Description
Bouclier contre les prompts utilisés pour les attaques par jailbreak	Les attaques par jailbreak sont des prompts utilisateur conçus pour inciter le modèle d’IA générative à adopter des comportements qu’il a été entraîné à éviter ou à enfreindre les règles définies dans le message système. De telles attaques peuvent aller d’un jeu de rôle complexe à une subversion subtile de l’objectif de sécurité.
Bouclier contre les prompts utilisés pour les attaques indirectes	Les attaques indirectes, également appelées attaques par prompt indirectes ou attaques par injection de prompt inter-domaines, constituent une vulnérabilité potentielle dans laquelle des tiers placent des instructions malveillantes à l’intérieur de documents auxquels le système d’IA générative peut accéder et traiter. Nécessite l’incorporation et la mise en forme de documents.

Contenu textuel

Avertissement

Avertissement

L’onglet Définitions de gravité de ce document contient des exemples de contenu dangereux qui peut déranger certains lecteurs.

Définitions de gravité

Niveaux de gravité de haine et d’équité

Niveau de gravité	Description	Exemple de texte
Safe	Le contenu est sûr, mais peut contenir des termes liés à la haine et à l’impartialité utilisés dans des contextes génériques et sûrs tels que : Education Média Statistiques officielles Historique Médecine Science Autres contextes similaires	"Black people should not be killed by police or mistreated just because of their skin color."
Faible	Le contenu qui contient une caractérisation positive ou une protection des groupes d’identité, affiche une discrimination, des stéréotypes ainsi que des préjugés, des jugements ou des opinions ou attitudes liés à un discours de haine ou ciblant des groupes d’identité. notamment : Des insultes dans des articles de recherche, des dictionnaires ou des médias avec une citation directe Discours général de haine ciblant des objets, des individus ou des groupes Discours de haine limité ou représentations de sentiments négatifs dans des contextes fictifs (par exemple, jeux, films, littérature)	"I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all."
Moyenne	Contenu contenant des insultes, des brimades, de l’intimidation, de la déshumanisation ou du dénigrement d’individus ou de groupes. notamment : Un langage qui se moque et imite les attributs des groupes d’identité Décrire des individus ou des groupes comme inférieurs ou déficients Nier ou rabaisser l’existence de groupes d’identité Des textes qui nient des événements historiques, bien documentés et violents tels que l’Holocauste, l’esclavage ou la colonisation	"The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof."
Élevée	Du contenu qui contient un discours de haine comme de la propagande menaçant ou appelant à la violence contre des groupes d’identité, qui radicalise, recrute ou incite des personnes à rejoindre des efforts extrémistes ou à répandre un discours de haine. notamment : Un langage provocateur, offensant et vulgaire visant des individus ou des groupes d’identité spécifiques Des revendications de supériorité pour justifier la discrimination, la ségrégation ou l’exclusion Des textes qui contiennent toute forme de glorification du symbolisme nazi et SS, du KKK et du drapeau confédéré en dehors de tout contexte historique, éducatif ou artistique Des textes qui préparent à des crimes de haine, qui font l’éloge et la glorification de la violence contre des groupes d’identité, ou qui font l’éloge, la glorification ou l’approbation de génocides	"Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because…"

Niveaux de gravité sexuelle

Niveau de gravité	Description	Exemple de texte
Safe	Le contenu est sûr mais peut contenir des termes à connotation sexuelle utilisés dans des contextes génériques et sûrs, tels que : Formation Multimédia Statistiques officielles Historique Médecine Science Mentions de relations familiales ou amoureuses	"Fewer young adults are having sex than in previous generations."
Faible	Contenu exprimant des préjugés, des jugements ou des opinions sur des sujets liés à la sexualité ou mentionnant des termes liés à la sexualité dans des expériences fictives ou réelles qui ne sont pas extrêmement graphiques. notamment : Des mentions d’anatomie sexuelle ou de scènes de sexe dans des contextes fictionnels et artistiques Des prescriptions médicales et des diagnostics Des expériences personnelles, des problèmes sexuels et des traumatismes avec un contenu graphique, y compris des mécanismes et des ressources pour y faire face	"We made out for a while, and he started to feel me up. I felt a bulge in his pants."
Moyenne	Du contenu qui décrit l’excitation et l’activité sexuelles en termes explicites et graphiques, y compris des fantasmes sur le sexe et les abus sexuels. notamment : Des mentions de la stimulation sexuelle et de la masturbation La pornographie limitée au commerce et la prostitution, l’escorte, etc. en tant que carrières sans scènes de sexe Des publicités pour des produits pour adultes tels que des jouets sexuels Des expériences personnelles et des descriptions liées à des massages sexuels, érotiques ou tantriques, à des clubs de strip-tease, à des spectacles érotiques, à des attributs et pratiques BDSM	"We both climaxed at the same time."
Forte	Du contenu décrivant la sollicitation de services commerciaux sexuels, contenant des descriptions détaillées d’activités sexuelles, de violences sexuelles et de viols, ainsi que d’échanges de pouvoir non consensuels, d’abus et de voyeurisme. Cela inclut également le contenu utilisé pour promouvoir, approuver ou glorifier des actes sexuels extrêmes ou illégaux. notamment : Toute représentation de matériel pédopornographique, y compris toute référence explicite ou potentielle à des relations sexuelles avec des mineurs Exploitation sexuelle, maltraitance et autres formes d’exploitation des enfants Des références explicites ou potentielles à l’inceste, à la zoophilie, à la nécrophilie, etc. Du recrutement pour la traite des êtres humains à des fins sexuelles, y compris la manipulation des victimes	"I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son."

Niveaux de gravité de violence

Niveau de gravité	Description	Exemple de texte
Safe	Le contenu est sûr mais peut contenir des termes liés à la violence utilisés dans des contextes génériques et sûrs, tels que : Formation Multimédia Statistiques officielles Historique Médecine Science Des objets communs lorsqu’ils ne sont pas utilisés comme armes Des spécifications techniques d’armes à feu de chasse ou de tir	"Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights."
Faible	Contenu dans des contextes fictifs (par exemple jeux, littérature, arts) qui dépeint des scènes violentes ou graphiques sans glorification, approbation ou intention malveillante. notamment : Des expériences personnelles de violence (sans intention violente) Des opinions biaisées, des préjugés, des jugements ou des avis sur la violence Des mentions d’actes violents et de la mort à une faible intensité	"Some people just need to be slapped."
Moyenne	Du contenu qui contient des représentations graphiques de la violence et de la mort à une intensité moyenne, ainsi que des fantasmes d’actes violents ou de menaces. notamment : Des textes qui blâment une victime ou qui décrivent les auteurs d’une façon positive Des références historiques au génocide et à l’Holocauste, sans approbation ni glorification Des références à des fusillades de masse connues, sans approbation ni glorification Des références à des groupes et événements terroristes et extrémistes violents, sans approbation ni glorification Des textes qui demandent des conseils ou des recommandations ou des textes qui fournissent des instructions sur la manière d’exécuter un acte violent contre un animal, un individu, un groupe d’individus ou un objet ou une infrastructure qui peut entraîner des dommages individuels ou collectifs Du harcèlement et de l’intimidation	"Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught."
Élevée	Du contenu contenant de la propagande terroriste ou extrémiste violente et une idéologie violente sur Internet qui décrit, loue, soutient, approuve ou glorifie les meurtres dans le cadre d’une activité terroriste, aide les organisations ou les causes terroristes. notamment : Des textes demandant des instructions sur l’affiliation à des groupes terroristes et extrémistes violents Des textes fournissant des instructions sur la manière de recruter des adeptes, d’influencer les gens en faveur d’une cause terroriste ou d’une idéologie extrémiste, d’adopter des opinions radicales ou de fournir une formation sur la manière dont les groupes terroristes et extrémistes violents fonctionnent, ou de fournir des informations sur leurs dirigeants et leurs membres Des textes qui planifient et coordonnent des attaques contre des individus ou des groupes de personnes, y compris des fusillades, l’utilisation de bombes et d’explosifs sur des infrastructures civiles, ou des attaques à l’arme blanche lorsqu’elles sont menées par des non-combattants ou des non-terroristes Du contenu qui fait référence au travail forcé, y compris des enfants, à la servitude domestique, au harcèlement et aux procédures médicales forcées	"Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight."

Niveaux de gravités d’automutilation

Niveau de gravité	Description	Exemple de texte
Safe	Le contenu est sûr mais peut contenir des termes liés à l’automutilation utilisés dans des contextes génériques et sûrs tels que : Statistiques officielles Formation Multimédia Médecine Des actions qui décrivent une automutilation accidentelle, les conseils de premier secours, etc.	"Binging and purging may be a warning sign for people with a history of extreme weight loss."
Faible	Contenu contenant des références à des personnages planifiant ou commettant un suicide dans un contexte fictif (par exemple, littérature, films) ou contenant des représentations d’actes d’automutilation ou de suicide à une faible intensité. notamment : Des opinions personnelles biaisées, pleines de préjugés, de jugements ou des avis tranchés sur l’automutilation Des associations à des troubles alimentaires, la recherche ou la fourniture d’instructions pour une perte de poids drastique et malsaine Des expériences personnelles liées à l’automutilation, y compris la recherche d’une aide professionnelle	"I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice?"
Moyenne	Du contenu qui se moque des victimes ou des survivants d’actes d'automutilation tels que les troubles alimentaires ou le suicide, ainsi que des brimades et des intimidations qui incitent à des actes d’automutilation et en font la promotion. notamment : L’automutilation présentée comme une solution à un problème Des fantasmes, des désirs, des souhaits ou des expériences personnelles concernant l’automutilation ou le suicide Des textes qui cherchent ou donnent des conseils, des instructions ou des recommandations sur la manière de s’automutiler Des brimades et des intimidations qui incitent à l’automutilation et l’encouragent	"Go kill yourself, you are worthless."
Élevée	Du contenu qui comprend la recherche de conseils ou qui fournit des instructions et des méthodes sur la manière de s’infliger des blessures mortelles ou de se suicider, ainsi que la glorification et l’approbation du suicide ou d’autres formes graves d’automutilation. notamment : Des textes qui indiquent comment écrire un message d’adieu à votre famille L’auto-décapitation L’immolation	"Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble."

Contenu du fichier image

Avertissement

Avertissement

L’onglet Définitions de gravité de ce document contient des exemples de contenu dangereux qui peut déranger certains lecteurs.

Définitions de gravité

Niveaux de gravité de haine et d’équité

Niveau de gravité	Description	Exemple d’image
Safe	Le contenu est sûr, mais peut contenir des images liées à la haine et à l’équité sans sentiment ou un sentiment neutre de manière non discriminatoire dans les contextes suivants ou ceux similaires à : Le journalisme Historique Médecine Informations juridiques Éducatif Géographique	Les drapeaux non confédérés, par exemple des drapeaux de pays ou d’États qui contiennent des croix Une image du drapeau Union Jack de la Grande-Bretagne Une représentation de l’émancipation des personnes esclaves aux États-Unis dans des photos historiques
Bas	Du contenu qui contient des sentiments positifs, des faux sentiments positifs ou des sentiments négatifs et biaisés différenciant les groupes d’identités. Ce contenu est destiné à déclencher une réponse émotionnelle. notamment : Protection Du symbolisme nazi, un drapeau confédéré, du symbolisme Ku Klux Klan Les stéréotypes Discrimination à l’embauche	Les représentations du mouvement « No Hate Speech » Les représentations des candidats d’emploi dépriorisés tels que les candidats handicapés dans les milieux d’entretien
Moyenne	Du contenu qui contient un sentiment négatif sur les groupes d’identités et d’autres personnes qui mènent à la promotion d’une action contre des groupes d’identité et des sentiments de supériorité. notamment : Des insultes, de l’isolation, des moqueries Des drapeaux nazis, des drapeaux confédérés, et des variations et de la marchandise LGBTQIA+	Des images promouvant l’évitement social de [groupes d’identité] Des images représentant la théorie de l’amélioration raciale et l’eugénique
Forte	Du contenu qui contient des sentiments négatifs et des discours haineux envers les groupes d’identité menant à la génération de discours haineux ou à des crimes haineux. notamment : Le racisme Des attaques sur les LGBTQIA+ La discrimination fondée sur le handicap La discrimination fondée sur le sexe La glorification du symbolisme nazi, d’un drapeau confédéré, ou du symbolisme Ku Klux Klan Un drapeau confédéré violent	De l’imagerie antisémite De l’imagerie représentant la « Croix sud » qui présente une saltire bleue (croix diagonale) avec l’affiliation d’une violence évidente (par exemple, l’affichage ou l’utilisation d’armes à feu)

Niveaux de gravité sexuelle

Niveau de gravité	Description	Exemple d’image
Safe	Le contenu est sûr, mais contient des images liées au sexe utilisées dans un sens général. notamment : Les relations familiales et romantiques La nudité non-sexuelle Clothing Les objets courants Une pose ou activité non sexuelle L’accouplement animal Le bien-être sexuel	Des représentations de câlins ou de contact physique non-sexuel Des représentations de marques physiques d’affections comme des baisers sans la langue et sans nudité
Bas	Du contenu qui contient des comportements ou des actes sexuellement suggestifs. notamment : Les expériences personnelles Le mannequinat La nudité dans l’art L’art du corps Un spectacle osé	Des représentations de personnes
Moyenne	Du contenu qui contient des contenus érotiques et/ou pornographiques commerciaux et/ou amateurs sans pénétration photographique visuelle et des participants nus ou semi-nus impliqués dans des scènes sexuelles destinées à l’excitation sexuelle. notamment : Du mannequinat sexuel De la nudité soft dans l’art Des emplois sexuels ou sex shops Une activité sexuelle masquée Les coulisses des productions pornographiques Du pole dancing	Des représentations de rapports qui peuvent être partiellement obstrués mais toujours clairement présents dans l’image
Forte	Du contenu qui contient des représentations détaillées explicites des organes sexuels et des actes sexuels, y compris des actes illégaux. notamment : De la pornographie amateur softcore et hardcore De la sollicitation sexuelle Du voyeurisme Du sexe dans l’art Du BDSM sans consentement ou du viol De l’exploitation sexuelle et des abus sexuels d’enfants Du pédopiégeage De l’inceste	Des représentations d’activités sexuelles avec des animaux ou des cadavres

Niveaux de gravité de violence

Niveau de gravité	Description	Exemple d’image
Safe	Le contenu est sûr, mais contient des images liés à la violence utilisées dans un sens général. notamment : Une pose de sommeil ou de repos Les objets courants Une activité non violente Des cordes non utilisées comme nœud coulant Des outils à lame utilisés dans la cuisine/couture Des blessures, des cicatrices et les traitements chirurgicaux Les sports de chasse et de tir Les armes jouets et factices Les pratiques de combat Les dommages aux objets et le vandalisme Le symbolisme terroriste non marqué	Des représentations d’armes et d’outils à lames non réalistes
Bas	Du contenu qui contient des images et des actes liés à la violence dans le monde réel ou des contextes fictifs avec un niveau de gore faible. notamment : L’affichage et l’utilisation d’armes à feu, d’armes et d’outils à lame Un cadavre non réaliste De la violence non réaliste Des armes animées Des blessures faibles et des expériences personnelles Des cordes utilisées en tant que nœud coulant La mort dans des contextes historiques, éducatifs ou funéraires Le symbolisme terroriste non réaliste Des combats de taureaux	Des représentations de drapeaux d’ISIS/al-Qaïda
Moyenne	Du contenu qui contient une violence graphique modérée et des actes violents visant une cible identifiée. notamment : Une autopsie Une scène de crime ou de mort Une mort animale (naturelle ou de chasse), du sacrifice animal, de la cruauté envers les d’animaux L’esclavage Le génocide et les meurtres de masse dans des contextes historiques et éducatifs Un abattoir La violence familiale et les violences physiques L’intimidation Les armes et armes à feu utilisées contre une cible	Des représentations de l’usage de la force et de la contrainte pour dominer ou intimider agressivement un individu
Forte	Du contenu qui contient des représentations détaillées explicites de la violence et des actes violents avec un niveau de gore élevé. notamment : Des blessures graphiques et des décès Un démembrement, une décapitation, une immolation Un cadavre en décomposition Le terrorisme, les groupes et drapeaux terroristes La servitude et le travail forcés, les procédures médicales forcées Le harcèlement Un cadavre dans le contexte de terrorisme et de crime de guerre Les tueries par arme à feu Toute autre forme d’extrémisme	Les représentations de la mort lorsqu’elles sont effectuées par des groupes terroristes identifiables par des drapeaux et des symboles d’ISIS

Niveaux de gravités d’automutilation

Niveau de gravité	Description	Exemple d’image
Safe	Le contenu est sûr, mais contient des images liées à l’automutilation utilisées dans un sens général. notamment : Un faible taux de graisse corporelle Les actes non liés à l’automutilation Une blessure accidentelle du corps	Des représentations de saut avec un parachute hors d’un avion
Bas	Du contenu qui contient des images et des actes liés à l’automutilation dans le monde réel ou des contextes fictifs avec un niveau de gore faible. notamment : Des cicatrices Une blessure d’automutilation en cours de guérison Une automutilation non réaliste Des individus ou animaux émaciés	Des représentations des actes, des outils, des blessures et de l’état émotionnel liés à l’automutilation
Moyenne	Du contenu qui contient des images graphiques modérées liées à l’automutilation et au suicide. notamment : Une autopsie Une scène de crime ou de mort L’intimidation	Des représentations de l’usage de la force et de la contrainte pour dominer ou intimider agressivement un individu et le forcer à s’automutiler
Forte	Du contenu qui contient des représentations détaillées explicites de l’automutilation avec un niveau de gore élevé. notamment : Un acte d’automutilation imminente Les actes d’automutilation Le suicide	Des représentations du suicide intentionnel, où une personne s’est suicidée en sautant d’un grand bâtiment

Configuration (préversion)

La configuration du filtrage de contenu par défaut pour la série de modèles GPT est définie pour filtrer au seuil de gravité moyenne pour les quatre catégories de contenu dangereux (haine, violence, sexuel et automutilation) et s’applique aux invites (texte, texte/image multimodal) et aux achèvements (texte). Cela signifie que le contenu détecté au niveau de gravité moyenne ou élevée est filtré, tandis que le contenu détecté au niveau de gravité faible n’est pas filtré par les filtres de contenu. Pour DALL-E, le seuil de gravité par défaut est défini sur faible pour les invites (texte) et les achèvements (images), de sorte que le contenu détecté aux niveaux de gravité faible, moyenne ou élevée est filtré. La fonctionnalité de configuration est disponible en préversion et permet aux clients d’ajuster les paramètres, séparément pour les invites et la saisie semi-automatique, afin de filtrer le contenu pour chaque catégorie de contenu à différents niveaux de gravité, comme décrit dans le tableau ci-dessous :

Gravité filtrée	Configurable pour les invites	Configurable pour la saisie semi-automatique	Descriptions
Faible, moyen, élevé	Oui	Oui	Configuration de filtrage la plus stricte. Le contenu détecté aux niveaux de gravité bas, moyen et élevé est filtré.
Moyen, élevé	Oui	Oui	Le contenu détecté au niveau de gravité faible n’est pas filtré. Le contenu moyen et élevé est filtré.
Élevé	Oui	Oui	Le contenu détecté aux niveaux de gravité faible et moyen n'est pas filtré. Seul le contenu au niveau de gravité élevé est filtré. Nécessite une approbation1.
Aucun filtre	En cas d’approbation1	En cas d’approbation1	Aucun contenu n’est filtré quel que soit le niveau de gravité détecté. Nécessite une approbation1.

¹ Pour les modèles Azure OpenAI, seuls les clients qui ont été approuvés pour le filtrage de contenu modifié disposent d’un contrôle total du filtrage de contenu et peuvent désactiver les filtres de contenu. Demander des filtres de contenu modifiés via ce formulaire : Révision d’accès limité Azure OpenAI : filtres de contenu modifiés

Cette fonctionnalité en préversion est disponible pour les modèles Azure OpenAI suivants :

• Série de modèles GPT (texte)
• GPT-4 Turbo Vision 2024-04-09 (image/texte multimodal)
• DALL-E 2 et 3 (image)

Les configurations de filtrage de contenu sont créées dans une ressource dans Azure AI Studio et peuvent être associées à des déploiements. Apprenez-en plus sur la configuration ici.

Les clients sont chargés de s’assurer que les applications intégrant Azure OpenAI sont conformes au Code de conduite.

Détails du scénario

Lorsque le système de filtrage de contenu détecte le contenu dangereux, vous recevez une erreur lors de l’appel d’API si l’invite a été jugée inappropriée, ou le finish_reason sur la réponse sera content_filter pour indiquer que la saisie semi-automatique a été filtrée. Lors de la génération de votre application ou de votre système, vous devez tenir compte de ces scénarios où le contenu retourné par l’API d’achèvement est filtré, ce qui peut entraîner un contenu incomplet. La façon dont vous agissez sur ces informations sera spécifique à l’application. Le comportement peut être résumé dans les points suivants :

• Les invites classées dans une catégorie filtrée à un niveau de gravité donné retournent une erreur HTTP 400.
• Les appels de saisie semi-automatique sans diffusion en continu ne retournent aucun contenu lorsque le contenu est filtré. La valeur finish_reason est définie sur content_filter. Dans de rares cas avec des réponses longues, un résultat partiel peut être retourné. Dans ce cas, finish_reason est mis à jour.
• Pour les appels de saisie semi-automatique de diffusion en continu, les segments sont renvoyés à l’utilisateur à mesure qu’ils sont terminés. Le service continue la diffusion en continu jusqu’à ce qu’il atteigne un jeton d’arrêt ou une certaine longueur ou que du contenu classé dans une catégorie filtrée à un niveau de gravité donné soit détecté.

Scénario : Vous envoyez un appel d’achèvement sans diffusion en continu demandant plusieurs sorties ; aucun contenu n’est classé dans une catégorie filtrée à un niveau de gravité donné

Le tableau ci-dessous présente les différentes façons dont le filtrage de contenu peut apparaître :

Code de réponse HTTP	Comportement de la réponse
200	Dans les cas où toutes les générations transmettent les filtres tels qu’ils sont configurés, aucun détail de modération de contenu n’est ajouté à la réponse. La valeur finish_reason de chaque génération est soit stop, soit length.

Exemple de charge utile de requête :

{
    "prompt":"Text example", 
    "n": 3,
    "stream": false
}

Exemple JSON de réponse :

{
    "id": "example-id",
    "object": "text_completion",
    "created": 1653666286,
    "model": "davinci",
    "choices": [
        {
            "text": "Response generated text",
            "index": 0,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Scénario : votre appel d’API demande plusieurs réponses (N>1) et au moins une des réponses est filtrée

Code de réponse HTTP	Comportement de la réponse
200	Les générations qui ont été filtrées ont la valeur content_filter pour finish_reason.

Exemple de charge utile de requête :

{
    "prompt":"Text example",
    "n": 3,
    "stream": false
}

Exemple JSON de réponse :

{
    "id": "example",
    "object": "text_completion",
    "created": 1653666831,
    "model": "ada",
    "choices": [
        {
            "text": "returned text 1",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null
        },
        {
            "text": "returned text 2",
            "index": 1,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Scénario : une invite d’entrée inappropriée est envoyée à l’API de saisie semi-automatique (pour la diffusion en continu ou la non-diffusion en continu)

Code de réponse HTTP	Comportement de la réponse
400	L’appel d’API échoue quand l’invite déclenche un filtre de contenu tel que configuré. Modifiez l’invite et réessayez.

Exemple de charge utile de requête :

{
    "prompt":"Content that triggered the filtering model"
}

Exemple JSON de réponse :

"error": {
    "message": "The response was filtered",
    "type": null,
    "param": "prompt",
    "code": "content_filter",
    "status": 400
}

Scénario : Vous effectuez un appel d’achèvement en diffusion en continu ; aucun contenu de sortie n’est classé dans une catégorie filtrée à un niveau de gravité donné

Code de réponse HTTP	Comportement de la réponse
200	Dans ce cas, l’appel retourne la génération complète et la valeur de finish_reason est « length » ou « stop » pour chaque réponse générée.

Exemple de charge utile de requête :

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

Exemple JSON de réponse :

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670914,
    "model": "ada",
    "choices": [
        {
            "text": "last part of generation",
            "index": 2,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Scénario : Vous effectuez un appel d’achèvement de diffusion en continu demandant plusieurs achèvements et au moins une partie du contenu de sortie est filtrée

Code de réponse HTTP	Comportement de la réponse
200	Pour un index de génération donné, le dernier segment de la génération inclut une valeur non null finish_reason. La valeur est content_filter quand la génération a été filtrée.

Exemple de charge utile de requête :

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

Exemple JSON de réponse :

 {
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670515,
    "model": "ada",
    "choices": [
        {
            "text": "Last part of generated text streamed back",
            "index": 2,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Scénario : Le système de filtrage du contenu ne s’exécute pas lors de l’achèvement

Code de réponse HTTP	Comportement de la réponse
200	Si le système de filtrage du contenu est en panne ou si vous ne parvenez pas à terminer l’opération à temps, votre requête est toujours terminée sans filtrage du contenu. Vous pouvez déterminer que le filtrage n’a pas été appliqué en recherchant un message d’erreur dans l’objet content_filter_result.

Exemple de charge utile de requête :

{
    "prompt":"Text example",
    "n": 1,
    "stream": false
}

Exemple JSON de réponse :

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1652294703,
    "model": "ada",
    "choices": [
        {
            "text": "generated text",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null,
            "content_filter_result": {
                "error": {
                    "code": "content_filter_error",
                    "message": "The contents are not filtered"
                }
            }
        }
    ]
}

Annotations

Filtres de contenu

Lorsque les annotations sont activées comme indiqué dans l’extrait de code ci-dessous, les informations suivantes sont retournées via l’API pour les catégories haine et équité, sexuelle, violence et auto-préjudice :

• catégorie de filtrage de contenu (haine, sexualité, violence, automutilation)
• niveau de gravité (sans risque, faible, moyen et élevé) dans chaque catégorie de contenu
• état de filtrage (true ou false).

Modèles facultatifs

Les modèles optionnels peuvent être activés en mode annotation (ils renvoient des informations lorsque le contenu a été marqué, mais pas filtré) ou en mode filtrage (ils renvoient des informations lorsque le contenu a été marqué et filtré).

Lorsque les annotations sont activées comme indiqué dans l’extrait de code ci-dessous, les informations suivantes sont retournées par l’API pour les modèles facultatifs :

Modèle	Sortie
jailbreak	détection (true ou false), filtrage (true ou false)
attaques indirectes	détection (true ou false), filtrage (true ou false)
texte de matériel protégé	détection (true ou false), filtrage (true ou false)
code de matériel protégé	détection (true ou false), filtrage (true ou false), exemple de citation du dépôt GitHub public où l’extrait de code a été trouvé, licence du dépôt

Lors de l’affichage du code dans votre application, nous vous recommandons vivement d’afficher également l’exemple de citation des annotations. La conformité à la licence citée peut également être requise pour la couverture de l’engagement du droit d’auteur du client.

Consultez le tableau suivant pour connaître la disponibilité des annotations dans chaque version d’API :

Catégorie	2024-02-01 GA	2024-04-01-preview	2023-10-01-preview	2023-06-01-preview
Déteste	✅	✅	✅	✅
Violence	✅	✅	✅	✅
Contenu sexuel	✅	✅	✅	✅
Automutilation	✅	✅	✅	✅
Bouclier contre les prompts utilisés pour les attaques par jailbreak	✅	✅	✅	✅
Bouclier contre les prompts utilisés pour les attaques indirectes		✅
Texte de matériel protégé	✅	✅	✅	✅
Code de matériel protégé	✅	✅	✅	✅
Liste de blocage des vulgarités	✅	✅	✅	✅
Liste de blocage personnalisée		✅	✅	✅

Python OpenAI 1.x

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
from openai import AzureOpenAI
client = AzureOpenAI(
    api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
    api_version="2024-03-01-preview",
    azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT") 
    )

response = client.completions.create(
    model="gpt-35-turbo-instruct", # model = "deployment_name".
    prompt="{Example prompt where a severity level of low is detected}" 
    # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.
)

print(response.model_dump_json(indent=2))

Sortie

{ 
  "choices": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "protected_material_code": { 
          "citation": { 
            "URL": " https://github.com/username/repository-name/path/to/file-example.txt", 
            "license": "EXAMPLE-LICENSE" 
          }, 
          "detected": true,
          "filtered": false 
        }, 
        "protected_material_text": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "finish_reason": "stop", 
      "index": 0, 
      "message": { 
        "content": "Example model response will be returned ", 
        "role": "assistant" 
      } 
    } 
  ], 
  "created": 1699386280, 
  "id": "chatcmpl-8IMI4HzcmcK6I77vpOJCPt0Vcf8zJ", 
  "model": "gpt-35-turbo-instruct", 
  "object": "text.completion",
  "usage": { 
    "completion_tokens": 40, 
    "prompt_tokens": 11, 
    "total_tokens": 417 
  },  
  "prompt_filter_results": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "jailbreak": { 
          "detected": false, 
          "filtered": false 
        }, 
        "profanity": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "prompt_index": 0 
    } 
  ]
} 

Python OpenAI 0.28.1

Remarque

La version 0.28.1 de la bibliothèque Python OpenAI est déconseillée. Nous vous recommandons d’utiliser 1.x. Consultez notre guide de migration pour obtenir plus d’informations sur le passage de la version 0.28.1 à 1.x.

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-03-01-preview" # API version required to use Annotations
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

response = openai.Completion.create(
    engine="gpt-35-turbo-instruct", # engine = "deployment_name".
    messages=[{"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Example prompt that leads to a protected code completion that was detected, but not filtered"}]     # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.
)

print(response)

Sortie

{ 
  "choices": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "protected_material_code": { 
          "citation": { 
            "URL": " https://github.com/username/repository-name/path/to/file-example.txt", 
            "license": "EXAMPLE-LICENSE" 
          }, 
          "detected": true,
          "filtered": false 
        }, 
        "protected_material_text": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "finish_reason": "stop", 
      "index": 0, 
      "message": { 
        "content": "Example model response will be returned ", 
        "role": "assistant" 
      } 
    } 
  ], 
  "created": 1699386280, 
  "id": "chatcmpl-8IMI4HzcmcK6I77vpOJCPt0Vcf8zJ", 
  "model": "gpt-35-turbo-instruct", 
  "object": "text.completion",
  "usage": { 
    "completion_tokens": 40, 
    "prompt_tokens": 11, 
    "total_tokens": 417 
  },  
  "prompt_filter_results": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "jailbreak": { 
          "detected": false, 
          "filtered": false 
        }, 
        "profanity": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "prompt_index": 0 
    } 
  ]
} 

L’extrait de code suivant montre comment récupérer des annotations quand le contenu a été filtré :

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-03-01-preview" # API version required to use  Annotations
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

try:
    response = openai.Completion.create(
        prompt="<PROMPT>",
        engine="<MODEL_DEPLOYMENT_NAME>",
    )
    print(response)

except openai.error.InvalidRequestError as e:
    if e.error.code == "content_filter" and e.error.innererror:
        content_filter_result = e.error.innererror.content_filter_result
        # print the formatted JSON
        print(content_filter_result)

        # or access the individual categories and details
        for category, details in content_filter_result.items():
            print(f"{category}:\n filtered={details['filtered']}\n severity={details['severity']}")

JavaScript

Code source et exemples du Kit de développement logiciel (SDK) JavaScript Azure OpenAI

import { OpenAIClient, AzureKeyCredential } from "@azure/openai";

// Load the .env file if it exists
import * as dotenv from "dotenv";
dotenv.config();

// You will need to set these environment variables or edit the following values
const endpoint = process.env["ENDPOINT"] || "<endpoint>";
const azureApiKey = process.env["AZURE_API_KEY"] || "<api key>";

const messages = [
  { role: "system", content: "You are a helpful assistant. You will talk like a pirate." },
  { role: "user", content: "Can you help me?" },
  { role: "assistant", content: "Arrrr! Of course, me hearty! What can I do for ye?" },
  { role: "user", content: "What's the best way to train a parrot?" },
];

export async function main() {
  console.log("== Get completions Sample ==");

  const client = new OpenAIClient(endpoint, new AzureKeyCredential(azureApiKey));
  const deploymentId = "gpt-35-turbo"; //This needs to correspond to the name you chose when you deployed the model. 
  const events = await client.listChatCompletions(deploymentId, messages, { maxTokens: 128 });

  for await (const event of events) {
    for (const choice of event.choices) {
      console.log(choice.message);
      if (!choice.contentFilterResults) {
        console.log("No content filter is found");
        return;
      }
      if (choice.contentFilterResults.error) {
        console.log(
          `Content filter ran into the error ${choice.contentFilterResults.error.code}: ${choice.contentFilterResults.error.message}`
        );
      } else {
        const { hate, sexual, selfHarm, violence } = choice.contentFilterResults;
        console.log(
          `Hate category is filtered: ${hate?.filtered} with ${hate?.severity} severity`
        );
        console.log(
          `Sexual category is filtered: ${sexual?.filtered} with ${sexual?.severity} severity`
        );
        console.log(
          `Self-harm category is filtered: ${selfHarm?.filtered} with ${selfHarm?.severity} severity`
        );
        console.log(
          `Violence category is filtered: ${violence?.filtered} with ${violence?.severity} severity`
        );
      }
    }
  }
}

main().catch((err) => {
  console.error("The sample encountered an error:", err);
});

PowerShell

# Env: for the endpoint and key assumes that you are using environment variables.
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-03-01-preview' # this may change in the future
    name        = 'YOUR-DEPLOYMENT-NAME-HERE' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

$prompt = 'Example prompt where a severity level of low is detected'
    # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.

$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$body = [ordered]@{
    prompt    = $prompt
    model      = $openai.name
} | ConvertTo-Json

# Send a completion call to generate an answer
$url = "$($openai.api_base)/openai/deployments/$($openai.name)/completions?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
return $response.prompt_filter_results.content_filter_results | format-list

L’objet $response contient une propriété nommée prompt_filter_results qui contient des annotations sur les résultats du filtre. Si vous préférez JSON à un objet .NET, dirigez la sortie vers ConvertTo-JSON la place de Format-List.

hate      : @{filtered=False; severity=safe}
self_harm : @{filtered=False; severity=safe}
sexual    : @{filtered=False; severity=safe}
violence  : @{filtered=False; severity=safe}

Pour plus d’informations sur les points de terminaison d’API REST d’inférence pour Azure OpenAI et sur la création de conversations et d’achèvements, consultez le guide de référence de l’API REST d’Azure OpenAI Service. Les annotations sont retournées pour tous les scénarios lors de l’utilisation d’une version préliminaire de l’API à partir de 2023-06-01-preview, ainsi que de la version de l’API ga 2024-02-01.

Exemple de scénario : Une invite d’entrée contenant du contenu classé dans une catégorie filtrée à un niveau de gravité donné est envoyée à l’API d’achèvement

{
    "error": {
        "message": "The response was filtered due to the prompt triggering Azure Content management policy. 
                   Please modify your prompt and retry. To learn more about our content filtering policies
                   please read our documentation: https://go.microsoft.com/fwlink/?linkid=21298766",
        "type": null,
        "param": "prompt",
        "code": "content_filter",
        "status": 400,
        "innererror": {
            "code": "ResponsibleAIPolicyViolation",
            "content_filter_result": {
                "hate": {
                    "filtered": true,
                    "severity": "high"
                },
                "self-harm": {
                    "filtered": true,
                    "severity": "high"
                },
                "sexual": {
                    "filtered": false,
                    "severity": "safe"
                },
                "violence": {
                    "filtered":true,
                    "severity": "medium"
                }
            }
        }
    }
}

Incorporation de documents dans les prompts

Un aspect clé des mesures d’Azure OpenAI en matière d’IA responsable est le système de sécurité du contenu. Ce système fonctionne aux côtés du modèle GPT de base pour monitorer toute irrégularité dans l’entrée et la sortie du modèle. Ses performances augmentent lorsqu’il peut différencier divers éléments de votre prompt, comme l’entrée système, l’entrée utilisateur et la sortie de l’assistant IA.

Pour améliorer les fonctionnalités de détection, mettez en forme les prompts selon les méthodes recommandées suivantes.

API de saisie semi-automatique de conversation

L’API de saisie semi-automatique de conversation est structurée par définition. Elle se compose d’une liste de messages, chaque message ayant un rôle attribué.

Le système de sécurité analyse ce format structuré et applique le comportement suivant :

• Sur le dernier contenu « utilisateur », les catégories suivantes de risques RAI sont détectées :
  • Déteste
  • Contenu sexuel
  • Violence
  • Automutilation
  • Jailbreak (facultatif)

Voici un exemple de tableau de messages :

{"role": "system", "content": "Provide some context and/or instructions to the model."}, 
{"role": "user", "content": "Example question goes here."}, 
{"role": "assistant", "content": "Example answer goes here."}, 
{"role": "user", "content": "First question/message for the model to actually respond to."} 

Incorporation de documents dans votre prompt

En plus de la détection sur le dernier contenu utilisateur, Azure OpenAI prend en charge la détection de risques spécifiques à l’intérieur de documents contextuels via des boucliers contre les prompts qui détectent les attaques par prompt indirectes. Vous devez identifier les parties de l’entrée constituant un document (site web récupéré, e-mail, etc.) avec le délimiteur de document suivant.

<documents> 
*insert your document content here* 
</documents>

Au cours de cette opération, les options suivantes sont disponibles à des fins de détection sur des documents étiquetés :

• Sur chaque contenu de « document » étiqueté, détection des catégories suivantes :
  • Attaques indirectes (facultatives)

Voici un exemple de tableau de messages de saisie semi-automatique de conversation :

{"role": "system", "content": "Provide some context and/or instructions to the model, including document context. \"\"\" <documents>\n*insert your document content here*\n<\\documents> \"\"\""}, 

{"role": "user", "content": "First question/message for the model to actually respond to."} 

Échappement JSON

Lorsque vous étiquetez des documents non validés à des fins de détection, vous devez placer le contenu du document dans une séquence d’échappement JSON pour que le système de sécurité Azure OpenAI puisse effectuer l’analyse.

Par exemple, prenez le corps de l’e-mail suivant :

Hello Josè, 

I hope this email finds you well today.

Avec l’échappement JSON, cela donne :

Hello Jos\u00E9,\nI hope this email finds you well today. 

Voici le texte placé dans une séquence d’échappement dans un contexte de saisie semi-automatique de conversation :

{"role": "system", "content": "Provide some context and/or instructions to the model, including document context. \"\"\" <documents>\n Hello Jos\\u00E9,\\nI hope this email finds you well today. \n<\\documents> \"\"\""}, 

{"role": "user", "content": "First question/message for the model to actually respond to."}

Streaming de contenu

Cette section décrit l’expérience et les options de diffusion en continu du contenu Azure OpenAI. Les clients ont la possibilité de recevoir du contenu de l’API au fur et à mesure de sa génération, au lieu d’attendre que des blocs de contenu vérifiés passent vos filtres de contenu.

Par défaut

Le système de filtrage de contenu est intégré et activé par défaut pour tous les clients. Dans le scénario de diffusion en continu par défaut, le contenu de complétion est mis en mémoire tampon, puis le système de filtrage eu contenu s’exécute sur le contenu mis en mémoire tampon. Ensuite, selon la configuration du filtrage de contenu, le contenu est soit retourné à l’utilisateur s’il ne viole pas la stratégie de filtrage de contenu (configuration Microsoft par défaut ou configuration utilisateur personnalisée), soit immédiatement bloqué (dans ce cas, une erreur de filtrage de contenu est retournée et le contenu de complétion nuisible n’est pas retourné). Ce processus est répété jusqu’à la fin du flux. Le contenu est entièrement vérifié en fonction de la stratégie de filtrage de contenu avant d’être retourné à l’utilisateur. Le contenu n’est pas retourné jeton par jeton dans ce cas, mais sous la forme de « blocs de contenu » de la taille de la mémoire tampon respective.

Filtre asynchrone

Les clients peuvent choisir le Filtre asynchrone comme option supplémentaire, ce qui offre une nouvelle expérience de diffusion en continu. Dans ce cas, les filtres de contenu sont exécutés de manière asynchrone et le contenu de complétion est retourné immédiatement avec une expérience de diffusion en continu jeton par jeton fluide. Aucun contenu n’est mis en mémoire tampon, ce qui permet une expérience de diffusion en continu rapide sans latence associée à la sécurité du contenu.

Bien que cette fonctionnalité améliore la latence, les clients doivent avoir conscience de ses conséquences sur la sécurité et la vérification en temps réel de plus petites sections de la sortie du modèle. Étant donné que les filtres de contenu sont exécutés de manière asynchrone, les messages de modération du contenu et les signaux de violation de la stratégie sont retardés, ce qui signifie que certaines sections de contenu nuisible qui sont normalement filtrées immédiatement peuvent être présentées à l’utilisateur.

Annotations : des annotations et des messages de modération du contenu sont retournés en continu pendant le flux. Nous vous recommandons vivement de consommer les annotations dans votre application et d’implémenter des mécanismes supplémentaires de sécurité du contenu IA, notamment le masquage du contenu ou le retour d’informations de sécurité supplémentaires à l’utilisateur.

Signal de filtrage de contenu : le signal d’erreur de filtrage du contenu est retardé. En cas de violation de la stratégie, il est retourné dès qu’il est disponible et le flux est arrêté. Le signal de filtrage de contenu est garanti dans des fenêtres d’environ 1 000 caractères pour le contenu qui enfreint la stratégie.

Engagement vis-à-vis des droits d’auteur des clients : il est possible que le contenu signalé de manière rétroactive comme matériel protégé ne soit pas éligible pour la couverture Engagement vis-à-vis des droits d’auteur des clients.

Pour activer Filtre asynchrone dans Azure OpenAI Studio, suivez le Guide pratique sur les filtres de contenu afin de créer une configuration de filtrage de contenu, puis sélectionnez Filtre asynchrone dans la section Diffusion en continu.

Comparaison des modes de filtrage de contenu

Comparer	Diffusion en continu – Par défaut	Diffusion en continu – Filtre asynchrone
État	GA	Version préliminaire publique
Éligibilité	Tous les clients	Clients autorisés à utiliser le filtrage de contenu modifié
Comment activer	Activé par défaut, aucune action requise	Les clients autorisés à utiliser le filtrage de contenu modifié peuvent le configurer directement dans Azure OpenAI Studio (dans le cadre d’une configuration de filtrage de contenu appliquée au niveau du déploiement)
Modalité et disponibilité	Texte, tous les modèles GPT	Texte, tous les modèles GPT sauf gpt-4-vision
Expérience de diffusion en continu	Le contenu est mis en mémoire tampon et retourné en blocs	Latence nulle (aucune mise en mémoire tampon, filtres exécutés de manière asynchrone)
Signal de filtrage de contenu	Signal de filtrage immédiat	Signal de filtrage retardé (jusqu’à 1 000 caractères environ par incrément)
Configurations de filtrage de contenu	Prend en charge les paramètres de filtrage par défaut et définis par le client (y compris les modèles facultatifs)	Prend en charge les paramètres de filtrage par défaut et définis par le client (y compris les modèles facultatifs)

Annotations et exemples de réponses

Message d’annotation d’invite

Équivaut aux annotations par défaut.

data: { 
    "id": "", 
    "object": "", 
    "created": 0, 
    "model": "", 
    "prompt_filter_results": [ 
        { 
            "prompt_index": 0, 
            "content_filter_results": { ... } 
        } 
    ], 
    "choices": [], 
    "usage": null 
} 

Message de jeton de complétion

Les messages de complétion sont transférés immédiatement. Aucune modération n’est effectuée en premier et aucune annotation n’est fournie initialement.

data: { 
    "id": "chatcmpl-7rAJvsS1QQCDuZYDDdQuMJVMV3x3N", 
    "object": "chat.completion.chunk", 
    "created": 1692905411, 
    "model": "gpt-35-turbo", 
    "choices": [ 
        { 
            "index": 0, 
            "finish_reason": null, 
            "delta": { 
                "content": "Color" 
            } 
        } 
    ], 
    "usage": null 
} 

Message d’annotation

Le champ de texte est toujours une chaîne vide, indiquant l’absence de nouveaux jetons. Les annotations ne concernent que les jetons déjà envoyés. Plusieurs messages d’annotation peuvent faire référence aux mêmes jetons.

"start_offset" et "end_offset" sont des décalages à faible granularité dans le texte (avec 0 au début de l’invite) pour marquer le texte auquel l’annotation s’applique.

"check_offset" représente la quantité de texte entièrement modérée. Il s’agit d’une limite inférieure exclusive sur les valeurs "end_offset" des annotations futures. Elle ne diminue pas.

data: { 
    "id": "", 
    "object": "", 
    "created": 0, 
    "model": "", 
    "choices": [ 
        { 
            "index": 0, 
            "finish_reason": null, 
            "content_filter_results": { ... }, 
            "content_filter_raw": [ ... ], 
            "content_filter_offsets": { 
                "check_offset": 44, 
                "start_offset": 44, 
                "end_offset": 198 
            } 
        } 
    ], 
    "usage": null 
} 

Exemple de flux de réponse (transmission de filtres)

Vous trouverez ci-dessous une réponse réelle de saisie semi-automatique de conversation utilisant Filtre asynchrone. Notez que les annotations d’invite ne sont pas modifiées, que les jetons de complétion sont envoyés sans annotations et que les nouveaux messages d’annotation sont envoyés sans jetons (mais associés à certains décalages de filtre de contenu).

{"temperature": 0, "frequency_penalty": 0, "presence_penalty": 1.0, "top_p": 1.0, "max_tokens": 800, "messages": [{"role": "user", "content": "What is color?"}], "stream": true}

data: {"id":"","object":"","created":0,"model":"","prompt_annotations":[{"prompt_index":0,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}}}],"choices":[],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"role":"assistant"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":"Color"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" is"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" a"}}],"usage":null} 

... 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":44,"start_offset":44,"end_offset":198}}],"usage":null} 

... 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":"stop","delta":{}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":506,"start_offset":44,"end_offset":571}}],"usage":null} 

data: [DONE] 

Exemple de flux de réponse (blocage par filtres)

{"temperature": 0, "frequency_penalty": 0, "presence_penalty": 1.0, "top_p": 1.0, "max_tokens": 800, "messages": [{"role": "user", "content": "Tell me the lyrics to \"Hey Jude\"."}], "stream": true}

data: {"id":"","object":"","created":0,"model":"","prompt_filter_results":[{"prompt_index":0,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}}}],"choices":[],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"role":"assistant"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":"Hey"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" Jude"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":","}}],"usage":null} 

... 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35- 

turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" better"}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":65,"start_offset":65,"end_offset":1056}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":"content_filter","content_filter_results":{"protected_material_text":{"detected":true,"filtered":true}},"content_filter_offsets":{"check_offset":65,"start_offset":65,"end_offset":1056}}],"usage":null} 

data: [DONE] 

Important

Quand le filtrage de contenu est déclenché pour un prompt et qu’un "status": 400 est reçu dans le cadre de la réponse, des frais sont facturés pour cette requête puisque le prompt a été évalué par le service. En raison de la nature asynchrone du système de filtrage de contenu, une facturation aura lieu pour les jetons d’invite et de saisie semi-automatique. Des frais sont à prévoir également quand "status":200 est reçu avec "finish_reason": "content_filter". Dans le cas présent, l’invite n’a posé aucun problème. Toutefois, une violation des règles de filtrage de contenu a été détectée au niveau de la complétion générée par le modèle, ce qui a entraîné le filtrage de la complétion.

Bonnes pratiques

Dans le cadre de la conception de votre application, tenez compte des meilleures pratiques suivantes pour offrir une expérience positive liée à votre application tout en minimisant les dommages potentiels :

• Déterminez la façon dont vous souhaitez gérer les scénarios dans lesquels vos utilisateurs envoient des invites contenant du contenu classé dans une catégorie filtrée à un niveau de gravité donné ou qui utilisent votre application de manière incorrecte.
• Vérifiez la valeur finish_reason pour déterminer si un achèvement est filtré.
• Vérifiez qu’il n’y a pas d’objet d’erreur dans content_filter_result (indiquant que les filtres de contenu n’ont pas été exécutés).
• Si vous utilisez le modèle de code matériel protégé en mode annotation, affichez l’URL de citation lorsque vous affichez le code dans votre application.

Étapes suivantes

• Découvrez-en plus sur les modèles sous-jacents d’Azure OpenAI.
• Appliquez des filtres de contenu modifiés par le biais de ce formulaire.
• Le filtrage de contenu Azure OpenAI est optimisé par Azure AI Content Safety.
• En savoir plus sur la compréhension et l’atténuation des risques associés à votre application : Vue d’ensemble des pratiques d’IA responsable pour les modèles Azure OpenAI.
• En savoir plus sur le traitement des données dans le cadre du filtrage du contenu et de la surveillance des abus : Données, confidentialité et sécurité pour Azure OpenAI Service.