Partager via

Surveillance des abus

Azure Les modèles directs détectent et atténuent les instances de contenu et/ou de comportements récurrents qui suggèrent l’utilisation du service d’une manière qui peut violer le code de conduite Code de conduite. Vous trouverez plus d’informations sur la façon dont les données sont gérées dans la page Data, Confidentialité et sécurité.

Composants de la surveillance des abus

La surveillance des abus comporte plusieurs composants :

  • Classification du contenu : les modèles de classifieurs détectent le texte et/ou les images nuisibles dans des invites utilisateur (entrées) et des saisies semi-automatiques (sorties). Le système recherche les catégories de préjudices définis dans la Content Requirements et affecte des niveaux de gravité, comme décrit plus en détail sur la page Content Filtering. Les signaux de classification de contenu contribuent à la détection des modèles, comme décrit ci-dessous.
  • Abuse Pattern Capture : le système de surveillance des abus pour Azure Modèles directs examine les modèles d’utilisation des clients et utilise des algorithmes et des heuristiques pour détecter et noter les indicateurs de abus potentiels. Les modèles détectés prennent en compte, par exemple, la fréquence et la gravité auxquelles du contenu nuisible est détecté (comme indiqué dans les signaux de classifieur de contenu) dans les invites et les saisies semi-automatiques d’un client, ainsi que de l’intentionnalité du comportement. Les tendances et l’urgence du modèle détecté affectent également le scoring de gravité potentielle des abus. Par exemple, un volume plus important de contenu nuisible classé comme plus grave, ou un comportement récurrent indiquant une intentionnalité (comme des tentatives récurrentes de jailbreak) sont tous deux plus susceptibles de recevoir un score élevé indiquant un abus potentiel.
  • Révision et décision : les invites et les complétions signalées par la classification de contenu et/ou identifiées comme faisant partie d’un modèle d’utilisation potentiellement abusif sont soumises à un autre processus d’examen pour confirmer l’analyse du système et éclairer les décisions concernant la surveillance des abus. Cette révision est effectuée par le biais de deux méthodes : l’examen automatisé et l’examen humain.
    • Par défaut, si les sollicitations et les réponses sont signalées par le biais de la classification de contenu comme dangereuses et/ou identifiées comme partie d’un modèle d’utilisation potentiellement abusif, elles peuvent être échantillonnées pour examen à l’aide de moyens automatisés, tels que des modèles d'IA comme les LLM, plutôt qu’avec un réviseur humain. Le modèle utilisé à cet effet traite les incitations et les réponses uniquement pour confirmer l’analyse du système et éclairer les décisions à prendre ; les incitations et les réponses soumises à une telle révision ne sont ni stockées par le système de surveillance des abus ni utilisées pour entraîner le modèle d'IA ou d'autres systèmes.
    • Dans certains cas, lorsque l’examen automatisé ne respecte pas les seuils de confiance applicables dans des contextes complexes ou si les systèmes d’examen automatisé ne sont pas disponibles, l’examen humain peut être introduit pour faire un jugement supplémentaire. Les employés de Microsoft autorisés peuvent évaluer le contenu marqué par la classification de contenu et/ou identifiés dans le cadre d’un modèle d’utilisation potentiellement abusif, et confirmer ou corriger la classification ou la détermination en fonction des directives et stratégies prédéfinies. Ces invites et complétions ne sont accessibles à des fins de révision humaine que par les employés Microsoft autorisés via des postes de travail à accès sécurisé (SAW) avec une approbation de demande juste à temps (JIT) accordée par les responsables d’équipe. Pour les ressources de modèle direct Azure déployées dans l’Espace économique européen, les employés autorisés de Microsoft sont situés dans l’Espace économique européen. Ce processus de surveillance des abus par intervention humaine n’aura pas lieu si le client a été approuvé pour une surveillance des abus modifiée.
  • Notification et action : lorsqu’un seuil de comportement abusif a été confirmé en fonction des étapes précédentes, le client est informé de la détermination par e-mail. À l’exception des cas d’abus graves ou récurrents, les clients ont généralement la possibilité d’expliquer ou de corriger, et d’implémenter des mécanismes pour prévenir la périodicité du comportement abusif. Le fait de ne pas traiter le comportement, qu'il s'agisse d'abus récurrents ou graves, peut entraîner la suspension ou l'arrêt de l'accès du client aux ressources et/ou fonctionnalités du modèle Azure Direct.

Surveillance des abus modifiée

Certains clients peuvent vouloir utiliser les Modèles Directs Azure pour un cas d'usage impliquant le traitement de données hautement sensibles ou hautement confidentielles, ou peuvent conclure qu'ils ne veulent pas ou n'ont pas le droit de permettre à Microsoft de stocker et de mener un examen humain sur leurs invites et achèvements pour la détection des abus. Pour répondre à ces préoccupations, Microsoft permet aux clients qui remplissent des critères d'éligibilité supplémentaires pour un Accès Limité de faire une demande pour modifier la surveillance des abus en remplissant ce formulaire. Certains modèles avancés de Azure Modèles directs peuvent avoir des critères plus stricts pour désactiver la surveillance des abus. En savoir plus sur l’application de la surveillance des abus modifiés sur Accès limité à Azure Direct Model.

Note

Lorsque la surveillance des abus est modifiée et que l’examen humain n’est pas effectué, la détection des abus potentiels peut être moins précise. Les clients sont avertis de la détection potentielle des abus, comme décrit ci-dessus, et doivent être prêts à répondre à cette notification pour éviter toute interruption de service si possible.

Prochaines étapes

  • Last updated on