Qu’est-ce qu’Azure AI Content Safety ?
Azure AI Content Safety détecte le contenu nuisible généré par l’utilisateur et généré par l’IA dans les applications et les services. Azure AI Sécurité du Contenu comprend des API de texte et d’image qui vous permettent de détecter le contenu nuisible. Nous avons également un Content Safety Studio interactif qui vous permet d’afficher, d’explorer et de tester des exemples de code pour la détection de contenu nuisible selon différentes modalités.
Un logiciel de filtrage de contenu peut aider votre application à se conformer aux réglementations ou à maintenir l’environnement souhaité pour vos utilisateurs.
Cette documentation contient les types d’articles suivants :
- Les Démarrages rapides sont des instructions de prise en main qui vous guident dans la formulation de vos requêtes au service.
- Les Guides pratiques contiennent des instructions sur l’utilisation du service de manière plus spécifique ou personnalisée.
- Les Concepts fournissent des explications approfondies sur les fonctions et fonctionnalités du service.
Utilisation
Voici quelques scénarios dans lesquels un développeur de logiciels ou une équipe requiert un service de modération de contenu :
- Les invites de l’utilisateur sont envoyés à un service d’IA générative.
- Contenu produit par des modèles d’IA générative.
- Modération des catalogues de produits et du contenu généré par l’utilisateur sur les marketplaces en ligne
- Modération des artefacts créés par les utilisateurs et des messageries instantanées par les sociétés de jeu
- Modération des images et du texte ajoutés par les utilisateurs sur les plateformes de messagerie sociale
- Mise en place par les sociétés de contenu d’entreprise d’un système de modération centralisé du contenu
- Filtrage du contenu inapproprié pour les élèves et les enseignants par les fournisseurs de solutions éducatives (maternelle-terminale)
Important
Vous ne pouvez pas utiliser Azure AI Sécurité du Contenu pour détecter des images illégales d’exploitation d’enfants.
Types de produit
Il existe différents types d’analyse disponibles dans ce service. Le tableau suivant décrit les API actuellement disponibles.
Type | Fonctionnalités |
---|---|
Boucliers de prompt (préversion) | Analyse le texte pour détecter le risque d’une attaque par entrée utilisateur sur un grand modèle de langage. Démarrage rapide |
Détection de fondement (préversion) | Détecte si les réponses textuelles des grands modèles de langage (LLM) sont fondées sur les documents sources fournis par les utilisateurs. Démarrage rapide |
Détection de texte dans le matériel protégé (préversion) | Analyse le texte généré par l’IA à la recherche de contenu de texte connu (par exemple, paroles de chanson, articles, recettes, contenu web sélectionné). Démarrage rapide |
API Catégories personnalisées (préversion) | Vous permet de créer et d’entraîner vos propres catégories de contenu personnalisées et d’analyser du texte afin de trouver des correspondances. Démarrage rapide |
API catégories personnalisées (rapide) (préversion) | Vous permet de définir modèles de contenu dangereux émergents et d’analyser du texte et des images pour les correspondances. Guide d'instruction |
Analyser le texte API | Analyse le texte à la recherche de contenu à caractère sexuel, de violence, de haine et d’automutilation avec plusieurs niveaux de gravité. |
Analyse Image API | Analyse les images à la recherche de contenu à caractère sexuel, de violence, de haine et d’automutilation avec plusieurs niveaux de gravité. |
Content Safety Studio
Azure AI Content Safety Studio est un outil en ligne conçu pour gérer le contenu potentiellement choquant, à risque ou indésirable en utilisant des modèles ML de modération de contenu de pointe. Il fournit des modèles et des workflows personnalisés, ce qui permet aux utilisateurs de choisir et de créer leur propre système de modération de contenu. Les utilisateurs peuvent charger leur propre contenu ou tester avec l’exemple de contenu fourni.
Content Safety Studio contient non seulement des modèles d’IA prêts à l’emploi, mais également des listes de blocage de termes intégrées Microsoft pour signaler des grossièretés et se tenir informé sur les nouvelles tendances. Vous pouvez également charger vos propres listes de blocage pour mieux englober le contenu nuisible spécifique à votre cas d’usage.
Studio vous permet également de configurer un workflow de modération, où vous pouvez surveiller et améliorer en continu le niveau de performance de modération du contenu. Il peut vous aider à répondre aux critères de contenu de tous types de secteur d’activité comme les jeux, les médias, l’enseignement, le commerce électronique et plus encore. Les entreprises peuvent facilement connecter leurs services au Studio et procéder à la modération de leur contenu en temps réel, qu’il soit généré par l’utilisateur ou par l’IA.
Toutes ces fonctionnalités sont gérées par le Studio et son back-end. Les clients n’ont pas besoin de se soucier du développement de modèles. Vous pouvez intégrer vos données pour effectuer une validation rapide et surveiller vos indicateurs de performance clés en conséquence, comme les métriques techniques (latence, justesse, rappel) ou les métriques métier (taux de blocage, volume de blocage, proportions de catégorie, proportions de langue, etc.). Avec des opérations et des configurations simples, les clients peuvent tester rapidement différentes solutions et trouver la meilleure, au lieu de passer du temps à expérimenter avec des modèles personnalisés ou à procéder manuellement à une modération.
Fonctionnalités de Content Safety Studio
Dans le Studio Sécurité du Contenu, les fonctionnalités suivantes du service Azure AI Sécurité du Contenu sont disponibles :
Modérer le contenu de texte : Avec l’outil de modération de texte, vous pouvez facilement exécuter des tests sur le contenu de texte. Que vous souhaitiez tester une seule phrase ou un jeu de données entier, notre outil offre une interface conviviale qui vous permet d’évaluer les résultats des tests directement dans le portail. Vous pouvez tester différents niveaux de sensibilité pour configurer vos filtres de contenu et la gestion des listes de blocage, en vous assurant que votre contenu est toujours modéré exactement selon vos spécifications. De plus, avec la possibilité d’exporter le code, vous pouvez implémenter l’outil directement dans votre application et ainsi simplifier votre workflow et gagner du temps.
Modérer le contenu d’image : Avec l’outil de modération d’image, vous pouvez facilement exécuter des tests sur des images pour vous assurer qu’elles répondent à vos standards. Notre interface conviviale vous permet d’évaluer les résultats des tests directement dans le portail, et vous pouvez expérimenter différents niveaux de sensibilité pour configurer vos filtres de contenu. Une fois que vous avez personnalisé vos paramètres, vous pouvez facilement exporter le code pour implémenter l’outil dans votre application.
Surveiller l’activité en ligne : La puissante page de surveillance vous permet de suivre facilement l’utilisation et les tendances de vos API de modération selon différentes modalités. Avec cette fonctionnalité, vous pouvez accéder à des informations de réponse détaillées, notamment la répartition des catégories et des gravités, la latence, les erreurs et la détection de liste de blocage. Ces informations vous fournissent une vue d’ensemble complète des performances de modération de votre contenu, ce qui vous permet d’optimiser votre workflow et de vous assurer que votre contenu est toujours modéré exactement selon vos spécifications. Avec notre interface conviviale, vous pouvez parcourir rapidement et facilement la page de surveillance pour accéder aux informations dont vous avez besoin afin de prendre des décisions éclairées sur votre stratégie de modération de contenu. Vous avez les outils dont vous avez besoin pour rester au top de vos performances de modération de contenu et atteindre vos objectifs de contenu.
Sécurité
Utiliser Microsoft Entra ID ou une identité managée pour gérer l’accès
Pour bénéficier d’une sécurité renforcée, vous pouvez utiliser Microsoft Entra ID ou Identité managée (MI) pour gérer l’accès à vos ressources.
- Managed Identity est automatiquement activé quand vous créez une ressource Content Safety.
- Le service Microsoft Entra ID est pris en charge dans des scénarios d’API et de Kit de développement logiciel (SDK). Consultez les recommandations générales sur les services d’IA de l’Authentification avec Microsoft Entra ID. Vous pouvez également accorder l’accès à d’autres utilisateurs de votre organisation en leur attribuant les rôles Utilisateurs Cognitive Services et Lecteur. Pour en savoir plus sur l’octroi d’un accès utilisateur aux ressources Azure à l’aide du portail Azure, consultez le guide du contrôle d’accès en fonction du rôle.
Chiffrement des données au repos
Découvrez comment Azure AI Sécurité du Contenu gère le chiffrement et le déchiffrement de vos données. Les clés gérées par le client (CMK), également appelées BYOK (Bring Your Own Key), offrent plus de flexibilité pour créer, faire pivoter, désactiver et révoquer des contrôles d’accès. Vous pouvez également effectuer un audit sur les clés de chiffrement utilisées pour protéger vos données.
Tarification
Actuellement, Azure AI Sécurité du Contenu a des niveaux tarifaires F0 et S0. Consultez la page de tarification Azure pour plus d’informations.
Limites du service
Critères des entrées
Consultez la liste suivante pour connaître les exigences d’entrée pour chaque fonctionnalité.
- API Analyser le texte :
- Longueur maximale par défaut : 10 000 caractères (fractionnez les textes plus longs si nécessaire).
- API Analyse Image :
- Taille maximale du fichier image : 4 Mo
- Dimensions comprises entre 50 x 50 et 2048 x 2048 pixels.
- Les images peuvent être aux formats JPEG, PNG, GIF, BMP, TIFF ou WEBP.
- Boucliers de prompt (préversion) :
- Longueur maximale de l’invite : 10 000 caractères.
- Jusqu’à cinq documents avec un total de 10 000 caractères.
- Détection de fondement (préversion) :
- Longueur maximale pour les sources de fondement : 55 000 caractères (par appel d’API).
- Longueur maximale du texte et de la requête : 7 500 caractères.
- Détection de matériel protégé (préversion) :
- Longueur maximale par défaut : 1 000 caractères.
- Longueur minimale par défaut : 110 caractères (pour l’analyse des complétions LLM, pas pour les invites d’utilisateurs).
- Catégories personnalisées (standard) :
- Longueur maximale d’entrée d’inférence : 1 000 caractères.
Support multilingue
Les modèles Sécurité du Contenu ont été spécifiquement entraînés et testés dans les langues suivantes : anglais, allemand, japonais, espagnol, français, italien, portugais et chinois. Le service peut toutefois fonctionner dans de nombreuses autres langues, mais il est possible que la qualité varie. Dans tous les cas, vous devez effectuer vos propres tests pour vous assurer qu’il fonctionne pour votre application.
Actuellement, les catégories personnalisées fonctionnent uniquement correctement en anglais. Vous pouvez essayer d’utiliser d’autres langues avec votre propre jeu de données, mais la qualité peut varier selon les langues.
Pour plus d’informations, consultez Prise en charge linguistique.
Disponibilité dans les régions
Pour utiliser des API Sécurité du Contenu, devez créer votre ressource Azure AI Sécurité du contenu dans les régions prises en charge. Actuellement, les fonctionnalités Sécurité du Contenu sont disponibles dans les régions Azure suivantes :
Région | API de modération (texte et image) |
Boucliers d’invite (version préliminaire) |
Matériel protégé détection (préversion) |
Fondement détection (préversion) |
Catégories personnalisées (rapide) (préversion) |
Catégories personnalisées (standard) |
Listes de blocage |
---|---|---|---|---|---|---|---|
USA Est | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
USA Est 2 | ✅ | ✅ | ✅ | ✅ | |||
USA Ouest | ✅ | ||||||
USA Ouest 2 | ✅ | ✅ | ✅ | ||||
USA Centre | ✅ | ✅ | |||||
Centre-Nord des États-Unis | ✅ | ✅ | ✅ | ||||
États-Unis - partie centrale méridionale | ✅ | ✅ | ✅ | ||||
Est du Canada | ✅ | ✅ | ✅ | ||||
Suisse Nord | ✅ | ✅ | ✅ | ✅ | |||
Suède Centre | ✅ | ✅ | ✅ | ✅ | |||
Sud du Royaume-Uni | ✅ | ✅ | ✅ | ||||
France Centre | ✅ | ✅ | ✅ | ||||
Europe Ouest | ✅ | ✅ | ✅ | ✅ | ✅ | ||
Japon Est | ✅ | ✅ | ✅ | ||||
Australie Est | ✅ | ✅ | ✅ | ✅ | ✅ | ||
USGov Arizona | ✅ | ||||||
USGov Virginia | ✅ |
N’hésitez pas à nous contacter si vous avez besoin d’autres régions pour votre entreprise.
Taux de requêtes
Les fonctionnalités de sécurité du contenu ont des limites de taux de requête en requêtes par seconde (RPS) ou en requêtes par 10 secondes (RP10S). Consultez le tableau suivant pour connaître les limites de débit pour chaque fonctionnalité.
Niveau tarifaire | API de modération (texte et image) |
Boucliers d’invite (version préliminaire) |
Matériel protégé détection (préversion) |
Fondement détection (préversion) |
Catégories personnalisées (rapide) (préversion) |
Catégories personnalisées (standard) (préversion) |
---|---|---|---|---|---|---|
F0 | 1000 RP10S | 1000 RP10S | 1000 RP10S | 50 RP10S | 1000 RP10S | 5 RPS |
S0 | 1000 RP10S | 1000 RP10S | 1000 RP10S | 50 RP10S | 1000 RP10S | 5 RPS |
Si vous avez besoin d’un débit plus rapide, contactez-nous pour en faire la demande.
Nous contacter
Si vous êtes bloqué(e), envoyez-nous un e-mail ou utilisez le widget de commentaires en bas de n’importe quelle page Microsoft Learn.
Étapes suivantes
Suivez un guide de démarrage rapide pour commencer à utiliser Azure AI Sécurité du Contenu dans votre application.
Commentaires
https://aka.ms/ContentUserFeedback.
Bientôt disponible : Tout au long de l’année 2024, nous abandonnerons progressivement le mécanisme de retour d’information GitHub Issues pour le remplacer par un nouveau système de commentaires. Pour plus d’informations, consultez :Soumettre et afficher des commentaires pour