Partager via

Sécuriser les systèmes IA agentiques autonomes

Nom du pilier : Surveiller et détecter les menaces
Nom du modèle : systèmes IA agentiques sécurisés

Contexte et problème

Les systèmes IA agentiques autonomes peuvent planifier, appeler des outils, accéder aux données et exécuter des actions avec une intervention humaine limitée. À mesure que l’autonomie augmente, l’impact potentiel du désalignement, de l’utilisation abusive et de la compromission augmente également.

L’article Sur les modèles et pratiques complémentaires réduit les risques liés aux systèmes IA agentiques autonomes décrit les risques de conception, de sécurité et de gouvernance introduits par le comportement agentique. Ce modèle passe de l’identification des risques à la réduction des risques, en mettant l’accent sur les contrôles et les décisions de conception qui atténuent ces risques dans la pratique.

Solution

La sécurisation des systèmes agentiques nécessite une stratégie de défense en profondeur qui suppose une défaillance à des couches individuelles et conçoit des systèmes afin qu’aucune défaillance unique ne provoque un préjudice inacceptable.

Contrôles dans les couches d’atténuation

Contrôles de couche de modèle

Le modèle agit comme moteur de raisonnement de l’agent et influence la façon dont l’agent interprète des instructions, planifie des actions et répond aux entrées contradictoires. Différents modèles offrent diverses caractéristiques et fonctionnalités de sécurité qui influencent les résultats et les actions de l'agent. La sélection d’un modèle approprié permet d’éviter les erreurs d’alignement, les erreurs et les résultats non sécurisés.

Contrôles recommandés :

  • Sélection intentionnelle du modèle : Choisissez des modèles dont la profondeur du raisonnement, le comportement de refus et l’outil utilisent des caractéristiques correspondant à l’autonomie et au profil de risque de l’agent. Atténue l’incompatibilité des tâches et les actions non sécurisées.
  • Gouvernance de la chaîne d’approvisionnement du modèle : Traitez les modèles comme des dépendances de sécurité en suivant les versions, en examinant les mises à jour et en validant les modifications avant le déploiement. Atténue la compromission de la chaîne d’approvisionnement.
  • Évaluation et test en équipe rouge : Testez en continu des modèles pour les menaces intentionnelles telles que l’injection croisée de commandes, la rupture d'intention et la sélection d’outils non sécurisés. Atténue le détournement d’agent et les actions involontaires.
  • Alignement des capacités : Évitez les modèles sur-compatibles quand des modèles plus simples ou plus limités répondent aux besoins du système. Atténue l’autonomie excessive et l’augmentation du rayon d’explosion.

Gestion des couches du système de sécurité

La couche système de sécurité intercepte les défaillances au moment de l’exécution, lorsque les agents interagissent avec du contenu, des outils, des API et des utilisateurs non approuvés. Ces protections constituent une défense essentielle contre les risques opérationnels, notamment le détournement d’agent, les sorties dangereuses, les fuites de données sensibles et l’utilisation abusive du runtime.

Contrôles recommandés :

  • Filtrage d’entrée et de sortie : Détectez et bloquez les entrées et sorties malveillantes, manipulatrices ou non sécurisées, y compris l’injection de commandes indirectes. Atténue le détournement de l’agent et les fuites de données sensibles.
  • Garde-fous de l’agent : Appliquez l’adhésion aux tâches et empêchez les appels d’outils hors portée ou non sécurisés pendant l’exécution. Atténue les actions involontaires et l’utilisation abusive à fort impact.
  • Journalisation et observabilité : Capturer et consigner les processus d’agent, les appels d’outils, les décisions et les résultats pour prendre en charge les audits, la gestion des incidents et l’amélioration. Atténue les échecs d’intelligibilité et les mauvaises utilisations non détectées.
  • Détection des abus et des anomalies : Surveillez les tentatives de contournement répétées ou les modèles de comportement anormales. Atténue la détection persistante et l’exfiltration furtive.

contrôles de couche application

La couche application définit la façon dont l’agent est conçu, les actions qu’il peut entreprendre et la façon dont les contrôles sont appliqués. C’est là que les principes de sécurité deviennent applicables au comportement du système.

Contrôles recommandés :

  • Agents en tant que microservices : Concevoir des agents tels que des microservices avec des autorisations isolées et un accès étroit aux outils. Atténue le désalignement, le rayon d'explosion et les fuites de données sensibles.
  • Schémas d’action explicites : Définissez les actions autorisées, les entrées requises, les niveaux de risque, les contraintes d’exécution et les exigences de journalisation. Atténue les actions involontaires et les appels d’outils non sécurisés.
  • Boucle humaine déterministe (HITL) : Assurez une révision humaine pour les actions à haut risque ou irréversibles via la logique d’orchestrateur plutôt que le raisonnement du modèle. Atténue les lacunes de contrôle de surveillance et l’incompatibilité.
  • Conception de privilèges minimum et d’action minimale : Commencez par aucune action autorisée par défaut et activez de manière incrémentielle les fonctionnalités en fonction du rôle et du risque. Attribuez à chaque agent une identité vérifiable unique pour appliquer le contrôle d’accès basé sur les rôles (RBAC). Atténue les fuites de données sensibles, la prolifération des agents et le surdimensionnement des autorisations.
  • Messages système en tant que renforcement : Utilisez des instructions système structurées pour renforcer les rôles et les limites, toujours soutenues par des contrôles déterministes. Atténue le détournement et le mauvais alignement de l’agent.

Contrôles de couche de positionnement

La couche de positionnement forme la façon dont les personnes comprennent, approuvent et s’appuient sur un système agentique. Un positionnement médiocre peut entraîner des risques même lorsque les contrôles techniques sont forts.

Contrôles recommandés :

  • Divulgation claire : Rendez-le explicite lorsque les utilisateurs interagissent avec un agent IA autonome. Atténue les défaillances de transparence et de divulgation.
  • Transparence des capacités : Communiquez ce que l’agent peut et ne peut pas faire, y compris les limitations et l’incertitude. Évitez de positionner les agents comme faisant autorité ou infaillible. Atténue la dépendance inappropriée.
  • Limites visibles par l’utilisateur : Mettre en évidence les actions planifiées, les approbations et les résultats afin que les utilisateurs puissent détecter un comportement anormal. Atténue les échecs d’intelligibilité.
  • Modèles d’expérience utilisateur sécurisés : Vérifiez que les mécanismes d’examen, d’approbation et d’arrêt sont accessibles et protégés. Atténue l’utilisation abusive et la dépendance excessive.

Solutions de Microsoft

Les contrôles ci-dessus décrivent ce qu’il faut implémenter. Les solutions Microsoft suivantes permettent d’opérationnaliser ces atténuations dans l’identité, la gouvernance, l’application du runtime et la détection.

Plan de contrôle principal

  • Microsoft Agent 365 :
    • Fournit un inventaire centralisé, une gouvernance, des limites d’accès et une visibilité inter-agent.
    • Prise en charge : prévention de l'expansion des agents, moindre privilège et gouvernance. Prise en charge : prévention de la prolifération des agents, principe du moindre privilège, gouvernance.

Sélection et évaluation du modèle

Atténuations du système de sécurité et du runtime

  • Microsoft Foundry (garde-fous, filtres de contenu, surveillance des abus)
    • Applique l’adhésion aux tâches, filtre les entrées et sorties non approuvées et détecte les modèles d’utilisation incorrecte.
    • Prise en charge : atténuation de l’injection rapide, prévention des fuites.

Identité et protection des données

  • Microsoft Entra :

    • Fournit l’identité, l’accès conditionnel et le contrôle d’accès en fonction du rôle pour les agents.
    • Prend en charge : principe du moindre privilège, contrôle d’accès.

  • Microsoft Purview :

    • Fournit la classification des données, la gouvernance et l’application des stratégies.
    • Prend en charge : protection des données sensibles.

Conception de l’expérience utilisateur

Détection et réponse (assistance)

  • Microsoft Defender et Microsoft Sentinel pour la gestion de la posture de sécurité, la corrélation des signaux et la réponse aux incidents entre les charges de travail de l’agent.
  • Azure Monitor et Application Insights pour la télémétrie et l’observabilité pour le comportement et les performances de l’agent.

Conseils

Les organisations qui cherchent à adopter ce modèle peuvent appliquer les pratiques actionnables suivantes :

Catégorie des pratiques Actions recommandées Ressource
Gouvernance pour les outils, les agents et les modèles Intégrer des agents à Foundry à l’aide de frameworks pris en charge ou inscrire des agents personnalisés Plan de contrôle Microsoft Foundry
Sécurité du contenu et résilience de l'injection de commande Filtrer les données d'entrée et de sortie ; considérez le contenu récupéré comme non approuvé ; bloquez l’injection de commande indirecte Filtrage de contenu Foundry et protections contre les invites
Respect des tâches et sécurité des outils Appliquer les listes d’autorisation des outils et la validation déterministe Garde-fous pour l'Agent Foundry
Analyse de l'IA par une équipe rouge Testez en continu l’injection rapide, la rupture d’intention, la sélection d’outils non sécurisés et les fuites Agent de Red Teaming de Foundry AI / PyRIT
Identité et accès pour les agents Appliquer les privilèges minimum, l’accès conditionnel et la gouvernance du cycle de vie Microsoft Entra
Gouvernance des données et conformité Classifier et protéger les données sensibles Microsoft Purview
Gestion de la posture Évaluer la configuration et les vulnérabilités Microsoft Defender pour le Cloud
Détection d’une utilisation incorrecte Mettre en corrélation les logs et les traces Microsoft Sentinel

Résultats

Avantages

  • Les agents fonctionnent dans l’intention, les autorisations et les limites définies.
  • Les actions à haut risque nécessitent une approbation humaine déterministe.
  • Le comportement de l’agent est observable, auditable et régiable à grande échelle.
  • L’exposition des données sensibles est réduite par le biais des privilèges minimum et de l’application des stratégies.
  • Les organisations conservent la visibilité et le contrôle à mesure que l’utilisation de l’agent augmente.
  • La confiance est générée par la transparence, la responsabilité et le comportement prévisible.

Compromis

  • Des efforts d’ingénierie supplémentaires sont nécessaires pour implémenter des contrôles en couches.
  • Les systèmes autonomes présentent une complexité architecturale et opérationnelle.
  • La supervision humaine ajoute des frictions aux flux de travail à haut risque.
  • La gouvernance et l’observabilité nécessitent un investissement opérationnel soutenu.

Facteurs clés de réussite

  • Adhésion aux tâches
  • Implication humaine
  • Protections déterministes
  • Transparence et divulgation
  • Résistance au piratage
  • Privilèges minimum et gouvernance
  • Sensibilisation à la chaîne d’approvisionnement

Résumé

Le déverrouillage du potentiel humain commence par la confiance. La capacité des systèmes agentiques à planifier, à décider et à agir de manière autonome signifie que les petites erreurs d’alignement, les supervisions ou les lacunes de sécurité peuvent entraîner des conséquences significatives et une perte de confiance.

À mesure que ces systèmes deviennent plus profondément intégrés aux outils, AUX API et à d’autres agents, leur comportement devient de plus en plus complexe, et ainsi deviennent les voies à travers lesquelles les dommages peuvent se produire. Les risques associés au comportement agentique sont systémiques et nécessitent des stratégies d’atténuation qui s’étendent sur la pile système complète.

En appliquant la défense en profondeur entre les couches de modèle, de système de sécurité, d’application et de positionnement, et en tirant parti de l’écosystème intégré de gestion des agents et de la sécurité de Microsoft, les organisations peuvent déployer des systèmes agentiques autonomes, observables et résilients par conception.

  • Last updated on