FAQ sur l’outil d’utilisation de l’ordinateur

Qu’est-ce que l’outil d’utilisation de l’ordinateur ?

L’utilisation de l’ordinateur est un outil que vous pouvez ajouter à vos agents Copilot Studio conçus pour automatiser des tâches sur des sites web et des applications. Les utilisateurs fournissent des descriptions de tâches en langage naturel, et l’outil automatise les clics de souris et les actions de clavier en conséquence. Par exemple, vous pouvez demander à l’outil d’ouvrir un fichier PDF et d’utiliser son contenu pour remplir un formulaire web. L’outil interprète visuellement l’écran et exécute les clics et séquences de touches nécessaires, en émulant les interactions humaines.

Avertissement

L’utilisation de l’ordinateur est un outil puissant qui automatise les interactions entre les sites web et les applications de bureau, mais il est également fourni avec des considérations de sécurité importantes. Dans certains cas, l’IA peut prendre des actions involontaires en raison d’instructions ambiguës ou de contenu inattendu à l’écran. Ces actions peuvent affecter la sécurité de votre appareil, de vos données ou comptes connectés, y compris l’accès aux systèmes personnels, financiers ou d’entreprise.

Que peut faire l’outil d’utilisation de l’ordinateur ?

L’outil d’utilisation de l’ordinateur traite les données de pixels de l'écran pour comprendre le contenu à l'écran et effectue des tâches à l’aide de clics de souris virtuels et d’entrées de clavier. L’outil peut gérer des flux de travail en plusieurs étapes, gérer des scénarios inattendus et s’adapter dynamiquement aux modifications d’écran, ce qui lui permet d’effectuer différentes tâches numériques telles que la navigation sur les sites web et le remplissage de formulaires sans avoir besoin d’API spécialisées.

L’outil d’utilisation de l’ordinateur suit une boucle itérative basée sur trois étapes :

• Perception : il capture des captures d’écran pour comprendre visuellement l’état actuel de l’écran de l’ordinateur.

• Raisonnement : il évalue l’état actuel, les actions précédentes et les captures d’écran par le biais d’une approche en chaîne de pensée, ce qui lui permet d’adapter efficacement ses actions.

• Action : elle effectue des actions telles que le clic, la saisie ou le défilement jusqu’à ce que la tâche soit terminée ou nécessite une entrée utilisateur supplémentaire.

Quelles sont les utilisations prévues de l’outil d’utilisation de l’ordinateur ?

L’outil d’utilisation de l’ordinateur est destiné à automatiser les interactions utilisateur avec des sites web et des applications via une souris virtuelle et un clavier, particulièrement utile dans les scénarios où les API ne sont pas disponibles.

Comment l’outil d’utilisation de l’ordinateur a-t-il été évalué ? Quelles métriques sont utilisées pour mesurer les performances ?

L’outil d’utilisation de l’ordinateur a été évalué rigoureusement à l’aide de scénarios réels tout au long de ses phases de conception, de développement et de déploiement. Les méthodes d’évaluation comprenaient des recherches, des études d’impact et des tests dans différents scénarios pour mesurer la précision, la confiance des utilisateurs et l’utilité. Les métriques qualitatives et quantitatives sont régulièrement surveillées pour maintenir des performances élevées et une expérience utilisateur positive. La disponibilité de l’outil est également assurée en respectant les contrats SLA établis.

Quelles sont les limitations de l’outil d’utilisation de l’ordinateur ? Comment les utilisateurs peuvent-ils réduire l’impact des limitations de l’outil d’utilisation de l’ordinateur lors de l’utilisation du système ?

L’utilisation de l’ordinateur est une nouvelle technologie avec des risques de sécurité connus et des limitations fonctionnelles. Nous vous donnons la possibilité de l’expérimenter. Cette fonctionnalité de première étape permet l’automatisation de certaines tâches basées sur un ordinateur, bien que ses performances varient largement en fonction du cas d’usage. Pour l’utiliser efficacement et de manière responsable, comprenez ses limitations actuelles :

Limitations connues

• Le taux de réussite varie selon la tâche : l’outil effectue le meilleur sur les tâches web (environ 80% réussite), mais diminue considérablement sur les applications de bureau (environ 35% réussite).
• Performances incohérentes : la même tâche peut produire des résultats différents en fonction des modifications visuelles ou temporelles.
• Difficultés avec certains contrôles d’interface utilisateur : l’utilisation de l’ordinateur peut avoir des difficultés à interagir avec des éléments d’interface non standard ou dynamique, tels que des listes déroulantes, des sélecteurs de dates ou des widgets personnalisés.
• Boucles et états bloqués : dans certains cas, l’agent entre dans une boucle ou se bloque lorsque l’écran ne correspond pas aux attentes ni aux modifications imprévisibles.
• Défis liés aux tâches complexes : bien qu’efficace pour les actions simples, l’outil peut rencontrer des difficultés avec des interfaces graphiques détaillées ou des tâches impliquant une manipulation complexe de texte.
• Non pour les cas d’usage sensibles ou à haut risque : l’outil n’est pas destiné à :
  • Recommandation ou notation dans des domaines sensibles, tels que l’embauche, la santé ou la finance
  • Effectuer des transactions financières
  • Actions dangereuses, telles que le courrier indésirable ou la mauvaise information
  • Partage de données en dehors de votre organisation sans autorisation appropriée

Comment réduire les limitations

Pour améliorer la fiabilité, les utilisateurs doivent fournir des instructions claires et détaillées lors de la configuration des tâches. Cela permet de réduire les erreurs et d’augmenter les taux de réussite des tâches.

Surveillance humaine pour les instructions potentiellement malveillantes

Les agents d’utilisation informatique peuvent rencontrer des instructions nuisibles ou malveillantes, souvent appelées attaques par injection rapide, où des commandes cachées dans des captures d’écran, des pages Web ou d’autres entrées tentent d’influencer des actions de manière involontaire. Pour réduire ces risques, utilisez l’ordinateur dans des environnements fiables et isolés et appliquez des contrôles de validation robustes avant d’exécuter des instructions.

La supervision humaine ajoute plus de visibilité et de contrôle en permettant aux examinateurs autorisés de valider les actions signalées comme potentiellement nuisibles ou malveillantes. Lorsque de tels risques sont détectés, l’utilisation de l’ordinateur met en pause l’exécution et informe les évaluateurs assignés, qui peuvent décider s’ils doivent poursuivre ou arrêter la diffusion. Les vérifications de sécurité effectuées par l’agent d’utilisation de l’ordinateur peuvent être déclenchées par une seule réponse, une entrée ou une capture d’écran, ou par plusieurs éléments de ce contexte. Les contrôles de sécurité visent à inciter à une révision humaine avant que des actions potentiellement irréversibles ou non autorisées ne soient entreprises par l’agent d’utilisation de l’ordinateur, mais l’agent d’utilisation de l’ordinateur peut commettre des erreurs lors de la réalisation de ces vérifications. Par exemple, l’agent d’utilisation de l’ordinateur peut ne pas détecter certaines actions, ou il peut demander une revue où la sécurité n’est pas un enjeu. Les contrôles de sécurité ne remplacent pas la conception responsable et l’orientation de l’agent.

Cette fonctionnalité invite à examiner des actions potentiellement irréversibles ou non autorisées, mais elle ne prend actuellement pas en charge les demandes générales de confirmation, les demandes d’informations manquantes ou d’autres types de contrôles de sécurité.

Quels sont les facteurs opérationnels et les paramètres qui permettent une utilisation efficace et responsable de l’outil d’utilisation de l’ordinateur ?

L’outil d’utilisation de l’ordinateur fonctionne le mieux quand des instructions utilisateur claires et détaillées sont fournies. Les utilisateurs doivent fournir des conseils précis sur les interactions de site web ou d’application pour améliorer la fiabilité et la précision pendant l’exécution de la tâche. Pour plus de visibilité et de contrôle, activez la supervision humaine en attribuant un ou plusieurs réviseurs autorisés dans la page de configuration des outils. Lorsque le modèle détecte des instructions potentiellement malveillantes, ces réviseurs reçoivent des notifications pour valider et décider de poursuivre ou d’arrêter l’exécution.

Comment fournir des commentaires sur l’outil d’utilisation de l’ordinateur ?

Avez-vous des commentaires sur l’outil d’utilisation de l’ordinateur ? E-mail computeruse-feedback@microsoft.com.