FAQ sur l’outil d’utilisation d’ordinateur

Ces questions fréquemment posées (FAQ) apportent un éclairage sur les capacités, l’utilisation, les limites et les mesures de sécurité dont vous devez être conscient lorsque vous ajoutez l’outil d’utilisation d’ordinateur à vos assistants Copilot Studio.

Qu’est-ce que l’outil d’utilisation d’ordinateur ?

Utilisation d’ordinateur est un outil que vous pouvez ajouter à vos assistants Copilot Studio, conçu pour automatiser des tâches sur des sites web et des applications. Vous fournissez des descriptions de tâches en langage naturel, et l’outil automatise les clics de souris et les saisies clavier en conséquence. P. ex., vous pouvez demander à l’outil d’ouvrir un PDF et d’utiliser son contenu pour remplir un formulaire web. L’outil interprète visuellement l’écran et exécute les clics et frappes nécessaires au clavier, imitant les interactions humaines.

Avertissement

L’utilisation d’ordinateur est un outil puissant qui automatise les interactions sur des sites web et des applications de bureau, mais il comporte également d’importantes considérations en matière de sécurité. Dans certains cas, l’IA peut effectuer des actions imprévues à cause d’instructions ambiguës ou de contenus inattendus à l’écran. Ces actions peuvent affecter la sécurité de votre appareil, de vos données ou de vos comptes connectés, y compris l’accès aux systèmes personnels, financiers ou d’entreprise.

Que peut faire l’outil d’utilisation d’ordinateur ?

L’outil d’utilisation d’ordinateur traite les données de pixels de l’écran pour comprendre le contenu affiché, et il effectue des tâches à l’aide de clics de souris virtuels et de saisies clavier virtuelles. L’outil peut gérer des flux de travail en plusieurs étapes, traiter des situations imprévues et s’adapter dynamiquement aux changements d’écran. Il peut effectuer diverses tâches numériques telles que la navigation sur des sites web et le remplissage de formulaires sans nécessiter d’API spécialisées.

L’outil d’utilisation d’ordinateur suit une boucle itérative basée sur trois étapes :

• Perception : il prend des captures d’écran pour comprendre visuellement l’état actuel de l’écran de l’ordinateur.

• Raisonnement : il évalue l’état actuel, les actions précédentes et les captures d’écran grâce à une approche par chaîne de pensée, ce qui lui permet d’adapter efficacement ses actions.

• Action : il effectue des actions comme cliquer, taper ou faire défiler jusqu’à ce que la tâche soit terminée ou nécessite une entrée utilisateur supplémentaire.

Quels sont les usages prévus de l’outil d’utilisation d’ordinateur ?

L’outil d’utilisation d’ordinateur est conçu pour automatiser les interactions des utilisateurs avec des sites web et des applications via une souris et un clavier virtuels. Cet outil est particulièrement utile dans les situations où les API ne sont pas disponibles.

Comment l’outil d’utilisation d’ordinateur a-t-il été évalué ? Quelles mesures sont utilisées pour évaluer les performances ?

L’outil d’utilisation d’ordinateur a été rigoureusement évalué à l’aide de scénarios réels tout au long de ses phases de conception, de développement et de déploiement. Les méthodes d’évaluation comprenaient la recherche, les études d’impact et les tests dans différents scénarios pour mesurer la précision, la confiance des utilisateurs et l’utilité. Les indicateurs qualitatifs et quantitatifs sont régulièrement surveillés afin de maintenir des performances élevées et une expérience utilisateur positive. La disponibilité de l’outil est également assurée par le respect des SLA établis.

Quelles sont les limitations de l’outil d’utilisation d’ordinateur ? Comment les utilisateurs peuvent-ils réduire l’impact des limitations de l’outil d’utilisation d’ordinateur lors de l’utilisation du système ?

La technologie « utilisation d’ordinateur » est une nouveauté présentant des risques de sécurité et des limitations fonctionnelles connus. Nous vous donnons les moyens d’expérimenter avec cet outil. Cette capacité en phase initiale permet l’automatisation de certaines tâches informatiques, bien que ses performances varient considérablement selon le cas d’usage. Pour l’utiliser efficacement et de manière responsable, comprenez ses limites actuelles.

Limitations connues

• Le taux de réussite varie selon la tâche : l’outil fonctionne mieux sur les tâches web (environ 80 % de réussite), mais son efficacité diminue considérablement sur les applications de bureau (environ 35 % de réussite).
• Performance irrégulière : la même tâche peut donner des résultats différents selon les changements visuels ou temporels.
• Difficultés avec certains contrôles de l’interface utilisateur : l’utilisation d’ordinateur peut avoir des difficultés à interagir avec des éléments d’interface non standards ou dynamiques, tels que des listes déroulantes, des sélecteurs de date ou des widgets personnalisés.
• Boucles et situations de blocage : parfois, l’assistant peut entrer dans une boucle ou rester bloqué lorsque l’écran ne correspond pas aux attentes ou change de manière imprévisible.
• Défis liés aux tâches complexes : bien qu’efficace pour des actions simples, l’outil peut rencontrer des difficultés avec des interfaces graphiques détaillées ou des tâches impliquant une manipulation de texte sophistiquée.
• Pas destiné aux cas d’utilisation sensibles ou à haut risque : l’outil n’est pas destiné à :
  • Effectuer des recommandations ou des évaluations dans des domaines sensibles, tels que le recrutement, la santé ou la finance
  • Réaliser des transactions financières
  • Actions nuisibles, telles que le spam ou la désinformation
  • Partage de données en dehors de votre organisation sans autorisation appropriée

Comment minimiser les limitations

Pour améliorer la fiabilité, vous devez fournir des instructions claires et détaillées lors de la configuration des tâches afin de réduire les erreurs et d’augmenter les taux de réussite.

Qu’est-ce que la fonctionnalité de supervision humaine ?

Important

Les assistants utilisant l’outil d’utilisation d’ordinateur peuvent être confrontés à des instructions nuisibles ou malveillantes, souvent appelées attaques par injection de requêtes, dans lesquelles des instructions dissimulées dans des captures d’écran, des pages web ou d’autres entrées cherchent à influencer les actions de manière non intentionnelle. Pour réduire ces risques, utilisez la fonctionnalité d’utilisation d’ordinateur dans des environnements approuvés et isolés et appliquez des vérifications de validation robustes avant d’exécuter des instructions.

Les exécutions de l’utilisation d’ordinateur peuvent rencontrer des ambiguïtés ou des informations manquantes. P. ex., une valeur requise n’est pas présente ou plusieurs interprétations sont plausibles. Dans ces cas, la fonctionnalité de supervision humaine permet à l’assistant utilisant la fonctionnalité d’utilisation d’ordinateur de mettre l’exécution en pause et d’envoyer une demande de clarification à un évaluateur humain autorisé et configuré. Les réviseurs peuvent répondre par courrier électronique ou dans Copilot Studio à l’aide de la carte d’activité d’exécution de l’assistant. Une fois que l’assistant utilisant l’ordinateur reçoit une réponse, il reprend son exécution à partir de l’étape en pause sur la carte d’activité.

Fiabilité et limites

Les évaluations orientées produit indiquent que la fonctionnalité de supervision humaine fonctionne généralement comme prévu, mais elle peut échouer ou adopter des comportements imprévus pour les utilisateurs. Parce que les demandes de clarification sont déclenchées par le comportement probabiliste du modèle, elles ne se déclenchent pas dans toutes les situations où une personne souhaiterait une pause. Elles peuvent aussi se déclencher lorsqu’une pause n’est pas nécessaire. Les demandes de clarification ne doivent pas être considérées comme une mesure de sécurité ou comme une garantie que le système sollicitera toujours une intervention humaine avant de poursuivre.

Ce n’est pas un mécanisme d’application de règles personnalisées

Les demandes de supervision humaine ne garantissent pas l’application de vos règles, politiques ou contraintes définies. Vous devriez appliquer davantage de contrôles adaptés à chaque scénario possible (p. ex. : instructions claires, environnements restreints, comptes à privilèges minimaux, listes blanches et autres garanties opérationnelles) plutôt que de compter sur les demandes de clarification pour fournir des informations ou empêcher des actions indésirables.

Quels facteurs et paramètres opérationnels permettent une utilisation efficace et responsable de l’outil d’utilisation d’ordinateur ?

L’outil d’utilisation d’ordinateur fonctionne de manière optimale lorsque des instructions utilisateur claires et détaillées sont fournies. Les utilisateurs doivent fournir des instructions claires et précises concernant les interactions avec les sites web ou les applications afin d’améliorer la fiabilité et la précision lors de l’exécution des tâches. Pour une meilleure visibilité et un meilleur contrôle, activez la supervision humaine en assignant un ou plusieurs évaluateurs autorisés depuis la page de configuration de l’outil. Lorsque le modèle détecte des instructions potentiellement malveillantes, ces évaluateurs reçoivent des notifications pour valider et décider s’ils doivent poursuivre ou arrêter l’exécution.

Comment fournir des commentaires sur l’outil d’utilisation d’ordinateur ?

Des commentaires sur l’outil d’utilisation d’ordinateur ? E-mail computeruse-feedback@microsoft.com.