FAQ sur l’outil d’utilisation de l’ordinateur

Ces questions fréquemment posées (FAQ) fournissent des informations sur les fonctionnalités, l'utilisation, les limitations, et les protections que vous devez connaître lorsque vous ajoutez l'outil d'utilisation de l'ordinateur à vos agents Copilot Studio.

Qu’est-ce que l’outil d’utilisation de l’ordinateur ?

"L'utilisation de l'ordinateur est un outil que vous pouvez ajouter à vos agents de Copilot Studio, conçu pour automatiser des tâches sur des sites web et des applications." Vous fournissez des descriptions de tâches en langage naturel, et l’outil automatise les clics de souris et les actions de clavier en conséquence. Par exemple, vous pourriez demander à l’outil d’ouvrir un PDF et d’utiliser son contenu pour remplir un formulaire web. L’outil interprète visuellement l’écran et exécute les clics et séquences de touches nécessaires, en émulant les interactions humaines.

Avertissement

L’utilisation de l’ordinateur est un outil puissant qui automatise les interactions entre les sites web et les applications de bureau, mais il est également fourni avec des considérations de sécurité importantes. Dans certains cas, l’IA peut prendre des actions involontaires en raison d’instructions ambiguës ou de contenu inattendu à l’écran. Ces actions peuvent affecter la sécurité de votre appareil, de vos données ou comptes connectés, y compris l’accès aux systèmes personnels, financiers ou d’entreprise.

Que peut faire l’outil d’utilisation de l’ordinateur ?

L’outil d’utilisation de l’ordinateur traite les données de pixels de l'écran pour comprendre le contenu à l'écran et effectue des tâches à l’aide de clics de souris virtuels et d’entrées de clavier. L’outil peut gérer les flux de travail en plusieurs étapes, gérer des scénarios inattendus et s’adapter dynamiquement aux changements d’écran. Il peut effectuer diverses tâches numériques telles que naviguer sur des sites web et remplir des formulaires sans avoir besoin d’API spécialisées.

L’outil d’utilisation de l’ordinateur suit une boucle itérative basée sur trois étapes :

• Perception : il capture des captures d’écran pour comprendre visuellement l’état actuel de l’écran de l’ordinateur.

• Raisonnement : il évalue l’état actuel, les actions précédentes et les captures d’écran par le biais d’une approche en chaîne de pensée, ce qui lui permet d’adapter efficacement ses actions.

• Action : elle effectue des actions telles que le clic, la saisie ou le défilement jusqu’à ce que la tâche soit terminée ou nécessite une entrée utilisateur supplémentaire.

Quelles sont les utilisations prévues de cet outil d’utilisation informatique ?

L’outil d’utilisation d’ordinateur est conçu pour automatiser les interactions des utilisateurs avec des sites web et des applications via une souris et un clavier virtuels. Cet outil est particulièrement utile dans les situations où les API ne sont pas disponibles.

Comment l’outil d’utilisation de l’ordinateur a-t-il été évalué ? Quelles métriques sont utilisées pour mesurer les performances ?

L’outil d’utilisation de l’ordinateur a été évalué rigoureusement à l’aide de scénarios réels tout au long de ses phases de conception, de développement et de déploiement. Les méthodes d’évaluation comprenaient des recherches, des études d’impact et des tests dans différents scénarios pour mesurer la précision, la confiance des utilisateurs et l’utilité. Pour maintenir des performances élevées et une expérience utilisateur positive, l’équipe surveille régulièrement à la fois les indicateurs qualitatifs et quantitatifs. L’équipe veille également à la disponibilité de l’outil en respectant les SLA établis.

Quelles sont les limitations de l’outil d’utilisation de l’ordinateur ? Comment les utilisateurs peuvent-ils minimiser l’impact des limites de l’outil d’utilisation informatique lors de l’utilisation du système ?

L’utilisation de l’ordinateur est une nouvelle technologie avec des risques de sécurité connus et des limitations fonctionnelles. L’équipe vous donne le pouvoir d’expérimenter avec. Cette fonctionnalité de première étape permet l’automatisation de certaines tâches basées sur un ordinateur, bien que ses performances varient largement en fonction du cas d’usage. Pour l’utiliser efficacement et de manière responsable, comprenez ses limites actuelles.

Limitations connues

• La performance varie selon la tâche et l’application. La fiabilité dépend de la complexité des tâches, de la conception de l’interface et du comportement de l’application.

• Sensible aux changements d’interface et de timing. Des changements de mise en page, des délais de chargement ou des dialogues inattendus peuvent produire des résultats différents pour une même tâche.

• Difficulté avec certains contrôles. Les éléments d’interface non standards ou dynamiques, tels que les menus déroulants, les sélecteurs de dates et les widgets personnalisés, peuvent être difficiles à interagir.

• Vous pouvez répéter des actions ou rester bloqué. Des états inattendus de l’écran peuvent entraîner l’agent dans une boucle ou l’empêcher de progresser.

• Défis liés à des tâches complexes. Les tâches impliquant des interfaces graphiques détaillées ou une manipulation de texte complexe peuvent être moins fiables que des actions simples.

• Pas pour les cas d’utilisation sensibles ou à haut risque. Par exemple, l’outil n’est pas destiné à :

  • Recommander ou attribuer un score dans des domaines sensibles, tels que le recrutement, la santé ou la finance.
  • Effectuer des transactions financières.
  • Des actions nuisibles, comme le spam ou la désinformation.
  • Partage de données en dehors de votre organisation sans autorisation appropriée.

Comment réduire les limitations

Pour améliorer la fiabilité, fournissez des instructions claires et détaillées lors de la configuration des tâches afin de réduire les erreurs et d’augmenter les taux de réussite.

Qu’est-ce que la fonctionnalité de supervision humaine ?

Important

Les agents d’utilisation informatique peuvent rencontrer des instructions nuisibles ou malveillantes, souvent appelées attaques par injection rapide, où des commandes cachées dans des captures d’écran, des pages Web ou d’autres entrées tentent d’influencer des actions de manière involontaire. Pour réduire ces risques, utilisez l’ordinateur dans des environnements fiables et isolés et appliquez des contrôles de validation robustes avant d’exécuter des instructions.

Les sessions d’utilisation de l’ordinateur peuvent présenter des ambiguïtés ou des informations manquantes. P. ex., une valeur requise n’est pas présente ou plusieurs interprétations sont plausibles. Dans ce cas, la fonctionnalité de supervision humaine permet à l’agent utilisant l’ordinateur de suspendre l’exécution et d’émettre une demande de clarification à un réviseur humain autorisé et configuré. Les réviseurs peuvent répondre par courrier électronique ou dans Copilot Studio à l’aide de la carte d’activité d’exécution de l’assistant. Une fois que l’assistant utilisant l’ordinateur reçoit une réponse, il reprend son exécution à partir de l’étape en pause sur la carte d’activité.

Fiabilité et limites

Les évaluations orientées produit indiquent que la fonctionnalité de supervision humaine fonctionne généralement comme prévu, mais elle peut échouer ou adopter des comportements imprévus pour les utilisateurs. Parce que les demandes de clarification sont déclenchées par le comportement probabiliste du modèle, elles ne se déclenchent pas dans toutes les situations où une personne souhaiterait une pause. Elles peuvent aussi se déclencher lorsqu’une pause n’est pas nécessaire. Vous ne devez pas compter sur les demandes de clarification en tant que mesure de sécurité ou comme une garantie que le système demandera toujours une intervention humaine avant de prendre une décision.

Ce n'est pas un mécanisme d'application des règles personnalisées

Les demandes de supervision humaine ne garantissent pas l’application de vos règles, stratégies ou contraintes définies. Vous devriez appliquer davantage de contrôles adaptés à chaque scénario possible (p. ex. : instructions claires, environnements restreints, comptes à privilèges minimaux, listes blanches et autres garanties opérationnelles) plutôt que de compter sur les demandes de clarification pour fournir des informations ou empêcher des actions indésirables.

Quels sont les facteurs opérationnels et les paramètres qui permettent une utilisation efficace et responsable de l’outil d’utilisation de l’ordinateur ?

L’outil d’utilisation de l’ordinateur fonctionne le mieux quand des instructions utilisateur claires et détaillées sont fournies. Les utilisateurs doivent fournir des conseils précis sur les interactions de site web ou d’application pour améliorer la fiabilité et la précision pendant l’exécution de la tâche. Pour plus de visibilité et de contrôle, activez la supervision humaine en attribuant un ou plusieurs réviseurs autorisés dans la page de configuration des outils. Lorsque le modèle détecte des instructions potentiellement malveillantes, ces réviseurs reçoivent des notifications pour valider et décider de poursuivre ou d’arrêter l’exécution.

Comment fournir des commentaires sur l’outil d’utilisation de l’ordinateur ?

Avez-vous des commentaires sur l’outil d’utilisation de l’ordinateur ? E-mail computeruse-feedback@microsoft.com.