Partager via

Révision humaine pour l’automatisation avec une invite

  • Article

Cet article met l’accent sur le rôle essentiel de l’examen humain dans le déploiement de la fonctionnalité Créer du texte avec GPT dans Power Automate. Cette fonctionnalité utilise le modèle de génération de texte de AI Builder, optimisé par le service Azure OpenAI. Bien que ces modèles soient très efficaces, ils peuvent parfois générer des informations trompeuses ou fabriquées et sont vulnérables aux attaques par injection d’invites.

Important

  • Les invites AI Builder s’exécutent sur le modèle GPT-3.5 Turbo optimisé par Azure OpenAI Service.
  • Cette fonctionnalité est limitée à certaines régions.
  • Cette fonctionnalité pourrait être soumise à des limites d’utilisation ou à une limitation de capacité.

Attaques par injection d’invites

Une attaque par injection d’invites se produit lorsqu’un tiers tire parti de la confiance inhérente du modèle dans toutes les sources d’entrée. L’attaquant injecte une invite dans le contenu avec lequel un utilisateur légitime demande à la solution d’IA d’interagir, entraînant une modification du résultat de la solution d’IA et, potentiellement, de ses actions.

Par exemple, imaginez un scénario dans lequel un développeur citoyen utilise l’action Créer du texte avec GPT pour formuler des réponses aux plaintes des clients collectées sur diverses plateformes telles que les e-mails, les réseaux sociaux ou les forums. Un attaquant pourrait insérer une invite dans le contenu de l’une de ces sources. Ce scénario pourrait inciter le modèle à générer une réponse qui diffère de celle prévue. La réponse pourrait être inappropriée, incorrecte ou nuisible. L’envoi d’informations incorrectes aux clients pourrait nuire à la réputation de l’entreprise et aux relations avec les clients.

Fabrication dans les modèles IA

La fabrication, également connue sous le nom d’hallucination, est un autre défi auquel sont confrontés les modèles d’IA, notamment le modèle de génération de texte. La fabrication se produit lorsque le modèle d’IA génère des informations qui ne sont pas basées sur des entrées fournies ou des données préexistantes, essentiellement eninventant ou en hallucinant des informations.

Par exemple, si le modèle d’IA doit générer un résumé d’un événement historique basé sur un texte donné, il peut inclure des détails ou des événements qui n’étaient pas mentionnés dans le texte source. Par exemple, un flux crée un résumé d’une réunion basé sur la transcription de l’enregistrement. Les données d’entrée comprennent des détails sur les participants, les articles discutés et les décisions prises. Cependant, le modèle peut générer un résumé comprenant une action ou une décision qui n’a jamais été discutée lors de la réunion. Cette situation est un exemple de fabrication, où le modèle a halluciné une information qui n’existe pas dans les données d’entrée.

Pour atténuer le risque de fabrication, il est crucial de mettre en œuvre des pratiques d’IA responsables. Cela comprend des tests rigoureux de l’invite et du flux, la fourniture au modèle d’autant d’informations de base que possible et enfin la mise en œuvre d’un système robuste de surveillance humaine.

Gérer les risques grâce à des pratiques d’IA responsable

Nous plaidons en faveur de pratiques responsables en matière d’IA comme moyen de réduire les risques. Malgré la mise en place de stratégies pour modérer le contenu produit par le modèle, gérer la propension du modèle à générer des réponses fabriquées ou à succomber à des attaques par injection rapide reste un défi complexe. Nous reconnaissons ces risques et réaffirmons notre engagement en faveur de la surveillance et du contrôle humains.

Conscients de la nécessité d’une automatisation transparente, nous améliorons de manière proactive nos systèmes de sécurité et cherchons à mieux comprendre ces défis. Notre objectif est d’affiner davantage le modèle de génération de texte avec des mesures de sécurité appropriées, conformément à nos principes d’IA responsable dès la conception, en redonnant le contrôle aux développeurs dans la mesure du possible.

IA responsable - FAQ