Automatiser les applications web et de bureau avec la fonctionnalité d’utilisation d’ordinateur

L’utilisation d’ordinateur est un outil de Copilot Studio qui permet à votre assistant d’interagir avec un ordinateur Windows et d’y automatiser des tâches. Il fonctionne avec les sites Web et les applications de bureau en sélectionnant des boutons, en choisissant des menus et en saisissant du texte dans les champs à l’écran. Décrivez en langage naturel ce que vous souhaitez que la fonctionnalité d’utilisation d’ordinateur accomplisse, et il exécute la tâche sur un ordinateur que vous avez configuré, en utilisant une souris et un clavier virtuels. Avec l’utilisation d’ordinateur, les assistants peuvent effectuer des tâches même s’il n’existe aucune API pour se connecter directement au système. Si une personne peut utiliser une application ou un site web, l’outil d’utilisation d’ordinateur le peut aussi. L’utilisation d’ordinateur permet d’effectuer des tâches telles que la saisie de données automatisée, le traitement de factures et l’extraction de données.

L’utilisation d’ordinateur est alimentée par des agents utilisant l’ordinateur (CUA), un modèle d’IA qui combine des capacités de vision avec un raisonnement avancé pour interagir avec les interfaces utilisateur graphiques (GUI). Parce qu’il est alimenté par l’IA, il s’adapte aux changements d’interface. Par exemple, lorsque les boutons ou les écrans changent, l’outil continue de fonctionner sans interrompre votre flux. C’est simple à utiliser. Décrivez simplement ce que vous voulez en langage naturel. Vous n’avez pas besoin d’écrire du code.

Regardez cette vidéo pour découvrir comment l’outil d’utilisation d’ordinateur permet à un agent d’interagir avec une application web.

Note

Cette fonctionnalité n’est disponible que pour les assistants pour lesquels l’orchestration générative est activée.

Ajouter l’outil d’utilisation d’ordinateur à votre assistant

Dans Copilot Studio, ajoutez l’utilisation d’ordinateur comme outil en procédant comme suit :

  1. Accédez à la page Outils pour votre assistant et sélectionnez Ajouter un outil.

  2. Dans Ajouter un outil, sélectionnez Nouvel outil.

  3. Sélectionnez utilisation d’ordinateur.

  4. Fournissez les instructions qui décrivent la tâche que l’outil doit effectuer sur l’ordinateur. Des modèles d’instructions sont disponibles pour vous aider à démarrer. Suivez les Meilleures pratiques pour les instructions d’utilisation d’ordinateur.

  5. Sélectionnez Ajouter et configurer. Sur la page de configuration, configurez ces quatre champs :

    • Nom : entrez le nom d’affichage de l’outil d’utilisation d’ordinateur. Ce nom vous aide à le différencier des autres outils que vous ajoutez à votre agent.

    • Description : entrez une brève description de ce que fait cet outil et quand l’utiliser. Ce texte permet à votre agent de savoir quand utiliser cet outil.

    • Modèle : sélectionnez le modèle utilisé pour exécuter l’outil « utilisation d’ordinateur ». Les modèles suivants sont disponibles :

      Fournisseur Modèle Niveau Statut
      OpenAI Assistant utilisant un ordinateur (CUA) Standard Disponibilité générale
      Anthropic Claude Sonnet 4.5 Standard Disponibilité générale
      Anthropic Claude Sonnet 4.6 Standard Version expérimentale
      Anthropic Claude Opus 4.6 Premium Version expérimentale

      Note

      Pour utiliser le modèle d’Anthropic, assurez-vous que votre administrateur a activé l’accès aux modèles externes pour votre environnement.

    • Instructions : répertoriez les étapes que l’outil doit effectuer, y compris les URL et les noms d’application. Suivez les Meilleures pratiques pour les instructions d’utilisation d’ordinateur.

  6. Le cas échéant, consultez et ajustez les autres champs disponibles sur la page de configuration.

  7. Cliquez sur Enregistrer.

Configurer les paramètres facultatifs

La page de configuration comprend des champs optionnels en plus des quatre champs requis (Nom, Description, Modèle, Instructions). Examinez et configurez ces options selon les besoins de votre situation.

Entrées

Utilisez les entrées pour définir des valeurs dynamiques qui changent chaque fois que l’outil d’utilisation d’ordinateur s’exécute. Par exemple, si vous souhaitez remplir un formulaire avec une valeur différente à chaque exécution, créez une entrée pour ce champ. Au moment de l’exécution, l’utilisation d’ordinateur combine vos instructions avec les valeurs d’entrée pour terminer la tâche.

Machine

Sélectionnez l’ordinateur cible utilisé par l’assistant pour exécuter l’utilisation d’ordinateur. Pour en savoir plus, consultez Configurer l’emplacement d’exécution de l’utilisation d’ordinateur.

  • Sélectionnez Actualiser pour mettre à jour la liste des appareils.
  • Sélectionnez Gérer les appareils pour ouvrir la page de gestion des appareils dans Power Automate.
  • Sélectionnez Afficher les détails de l’appareil pour ouvrir la page des détails de l’appareil dans Power Automate.

Connection

Connexion utilisée pour cet outil. Mettez à jour ou créez une connexion pour modifier les informations d’identification utilisées.

Informations d′identification à utiliser

Indiquez comment l’outil d’utilisation d’ordinateur s’authentifie lors de l’exécution :

  • Identifiants fournis par le créateur (par défaut) : utilisez les identifiants du créateur. Cette option convient aux assistants autonomes.

    Avertissement

    Si vous partagez un assistant avec ce paramètre défini, toute personne qui l’utilise peut agir avec les droits d’accès de l’auteur d’origine sur la machine configurée.

  • Informations d’identification de l’utilisateur final : utilisez les informations d’identification de la personne qui interagit avec l’assistant. Chaque utilisateur doit disposer des informations d’identification d’accès à la machine.

Supervision humaine

Spécifiez qui doit être contacté par courrier électronique (Outlook) si l’assistant utilisant l’outil d’utilisation d’ordinateur détecte des instructions potentiellement nuisibles susceptibles de modifier le comportement du modèle. Chaque exécution d’assistant et son activité sont associées à l’utilisateur qui l’a déclenchée. Si vous choisissez un réviseur autre que la personne qui exécute l’assistant utilisant l’outil d’utilisation d’ordinateur, il est probable qu’il ne voie pas l’activité, puisqu’il n’a pas lancé l’exécution. Par conséquent, il ne pourra ni vérifier correctement la requête ni y donner suite. Vérifiez également que le destinataire est autorisé et dispose du contexte nécessaire pour gérer ces requêtes. La limite de temps de réponse définit la durée pendant laquelle la requête reste active. Après cette période, la requête expire et l’exécution de l’outil d’utilisation d’ordinateur s’arrête si aucune réponse n’est reçue. En savoir plus dans Supervision humaine.

Informations d’identification stockées

Définissez les informations d’identification utilisées par la fonctionnalité d’utilisation d’ordinateur pour se connecter aux sites web et aux applications. Pendant l’exécution, si une requête de connexion s’affiche, la fonctionnalité d’utilisation d’ordinateur utilise en toute sécurité les informations d’identification que vous avez définies dans cette section pour ce site ou cette application. Les mots de passe sont soit stockés dans le stockage interne de Power Platform (aucune configuration requise), soit dans un Azure Key Vault que vous fournissez. Pour plus d’informations, consultez Créer un coffre de clés à l’aide du portail Azure.

  • Option de stockage interne : en utilisant cette option, vous pouvez configurer les identifiants dans l’outil sans aucune préconfiguration. Power Platform chiffre et stocke les secrets en interne. Pour chaque donnée d’authentification, fournissez les détails suivants :

    • Type : sélectionnez Site web ou application de bureau selon la plateforme sur laquelle vous prévoyez d’utiliser cette donnée d’authentification

    • Nom d’utilisateur : nom d’utilisateur utilisé pour se connecter au site web ou à l’application cible.

    • Mot de passe : la valeur du mot de passe utilisé pour se connecter au site web ou à l’application cible.

      Note

      Les champs de mot de passe sont pris en charge sur tous les sites web et la plupart des applications Windows (WinForms, WPF, UWP, WinUI, Win32), qui couvrent la plupart des scénarios clients. Certains types d’applications, tels que Electron, Java, Unity, les jeux, les interfaces de ligne de commande, Citrix ou d’autres environnements virtualisés, peuvent ne pas être pris en charge.

    • Domaine de connexion (sites web) ou nom de l’application de bureau (applications de bureau) :

      • Sites web : entrez l’adresse du site web principal (par exemple, exemple.com). Toutes les pages de ce site web sont incluses automatiquement. Vous pouvez également utiliser des caractères génériques (*) pour les sous-domaines. Exemples : www.contoso.com, *.contoso.com, contoso.com
      • Applications de bureau : entrez le nom du produit d’application ou le nom du processus. Pour le trouver, appuyez sur Ctrl+Maj+Échap pour ouvrir le Gestionnaire des tâches. Vérifiez ensuite l’onglet Processus. Exemples : Microsoft Edge, msedge, Notepad.

  • Option Azure Key Vault : en utilisant cette option, vous pouvez configurer vos identifiants dans l’outil en entrant d’abord l’identifiant d’abonnement, le nom du groupe de ressources et le nom du coffre de clés. Vous pouvez trouver toutes ces informations sur la page Vue d’ensemble de votre coffre de clés.

    • Pour utiliser des secrets Azure Key Vault avec Power Platform :

      • L’abonnement Azure qui dispose du coffre doit avoir le « fournisseur de ressources PowerPlatform »  inscrit.
      • L’utilisateur qui crée la variable d’environnement doit disposer des autorisations d’accès appropriées à la ressource Azure Key Vault.

    • Si ce n’est pas déjà fait, suivez les étapes dans Configurer Azure Key Vault, puis fournissez les détails suivants :

      • Nom d’utilisateur : nom d’utilisateur utilisé pour se connecter au site web ou à l’application cible.

      • Nom du secret Azure : nom du secret dans le coffre de clés qui stocke le mot de passe du site web ou de l’application

      • Domaine de connexion (sites web) ou nom de l’application de bureau (applications de bureau) :

        • Sites web : entrez l’adresse du site web principal (par exemple, exemple.com). Toutes les pages de ce site web sont incluses automatiquement. Vous pouvez également utiliser des caractères génériques (*) pour les sous-domaines. Exemples : www.contoso.com, *.contoso.com, contoso.com
        • Applications de bureau : entrez le nom du produit d’application ou le nom du processus. Pour le trouver, appuyez sur Ctrl+Maj+Échap pour ouvrir le Gestionnaire des tâches. Vérifiez ensuite l’onglet Processus. Exemples : Microsoft Edge, msedge, Notepad.

Contrôle d’accès

Par défaut, l’utilisation d’ordinateur peut fonctionner sur n’importe quel site web ou application. Si vous souhaitez restreindre cet accès, activez le contrôle d’accès pour définir les URL et les applications de bureau spécifiques auxquelles l’utilisation d’ordinateur utilise doit se limiter. Vous pouvez configurer à la fois des sites web et des applications :

  • Sites web : entrez l’adresse du site web principal (par exemple, exemple.com). Toutes les pages de ce site web sont incluses automatiquement. Vous pouvez également utiliser des caractères génériques (*) pour les sous-domaines. Exemples : www.contoso.com, *.contoso.com, contoso.com
  • Applications de bureau : entrez le nom du produit d’application ou le nom du processus. Pour le trouver, appuyez sur Ctrl+Maj+Échap pour ouvrir le Gestionnaire des tâches. Vérifiez ensuite l’onglet Processus. Exemples : Microsoft Edge, msedge, Notepad.

Note

Le contrôle d’accès empêche uniquement le modèle d’effectuer des actions sur des sites web ou des applications qui ne figurent pas sur la liste d’autorisation. Il n’empêche pas le modèle de les ouvrir. Par exemple, si seuls microsoft.com et Microsoft Edge figurent sur la liste d’autorisation, le modèle peut néanmoins utiliser la barre de recherche de Microsoft Edge pour ouvrir Bing. Toutefois, une fois Bing ouvert, toute tentative d’interaction échoue, car il ne figure pas dans la liste d’autorisation.

Tester l’outil d’utilisation d’ordinateur

Le test de l’outil d’utilisation d’ordinateur est une étape clé du parcours de création. Après avoir entré un nom, une description et des instructions et enregistré l’outil, sélectionnez Tester pour démarrer l’expérience de test.

Après une courte période de chargement, l’expérience de test s’affiche :

  • Le panneau de gauche affiche vos instructions et un journal étape par étape du raisonnement et des actions de l’outil.
  • Le volet de droite affiche un aperçu des actions sur la machine que vous avez configurée pour l’utilisation d’ordinateur.

Une fois la tâche terminée, le message Test terminé s’affiche. Pendant que le test est en cours, vous pouvez sélectionner Arrêter le test pour arrêter immédiatement toutes les actions sur la machine.

Si le résultat n’est pas celui que vous attendez, accédez à la page de configuration et affinez vos instructions. Ajoutez plus de détails pour améliorer la précision. Consultez Pratiques recommandées pour rédiger des instructions efficaces.

Publier un agent avec l’outil d’utilisation d’ordinateur

Configurez l’outil d’utilisation d’ordinateur, puis publiez votre assistant. Le mode de fonctionnement de votre agent dépend du scénario. Il peut être autonome ou conversationnel :

  • Les agents autonomes s’exécutent automatiquement et effectuent des tâches en arrière-plan.
  • Les assistants conversationnels permettent aux utilisateurs d’interagir via des canaux tels que Microsoft Teams.

L’outil d’utilisation d’ordinateur fonctionne mieux pour les agents autonomes, qui effectuent des tâches en arrière-plan sans interaction de l’utilisateur.

Vous pouvez également utiliser l’utilisation d’ordinateur dans des expériences conversationnelles, mais gardez les points suivants à l’esprit :

  • Si vous sélectionnez Authentification de l’utilisateur comme paramètre d’authentification, chaque utilisateur interagissant avec l’agent dans une conversation a besoin d’informations d’identification valides pour la machine utilisée par l’outil d’utilisation d’ordinateur.
  • Lorsque l’outil s’exécute, il partage des messages de raisonnement et des captures d’écran de l’activité de la machine dans le chat.

Bonnes pratiques

Pour rester productif et en sécurité dans les environnements numériques actuels, suivez les bonnes pratiques relatives à l’outil d’utilisation d’ordinateur, en particulier lors de la rédaction d’instructions claires et de la sécurisation des appareils.

Bonnes pratiques pour la sécurisation des machines

Lors de la configuration des appareils en vue d’exploiter l’outil d’utilisation d’ordinateur, qui permet à l’IA d’exécuter des tâches en langage naturel, tenez compte des recommandations de sécurité suivantes :

Recommandation sur la sécurité Informations supplémentaires
Utiliser des machines dédiées à l’utilisation d’ordinateur Affectez des machines spécifiques et isolées exclusivement pour les tâches impliquant la fonctionnalité d’utilisation d’ordinateur. Cette approche réduit le risque de contamination croisée provenant de logiciels non liés, de logiciels malveillants ou d’accès non autorisés. Elle vous permet de contrôler les configurations, les mises à jour et la surveillance plus efficacement.
Limitez les autorisations au compte d’utilisateur que vous utilisez pour l’outil d’utilisation d’ordinateur Configurez le compte d’utilisateur pour la fonctionnalité d’utilisation d’ordinateur de manière à suivre le principe du moindre privilège, c’est-à-dire n’accorder que les autorisations nécessaires pour exécuter les outils requis.
Limiter l’accès web à une liste d’autorisation de sites web approuvés spécifiques uniquement N’autorisez l’accès web qu’à une liste prédéfinie de domaines vérifiés et approuvés. Par exemple, vous pouvez configurer les paramètres de stratégie Microsoft Edge avec Microsoft Intune qui ciblent les appareils utilisant l’outil d’utilisation d’ordinateur.
Limiter la disponibilité d’applications de bureau spécifiques N’installez et n’autorisez l’exécution que des applications essentielles pour les workflows d’IA prévus. Supprimez ou désactivez l’accès aux logiciels inutiles. Par exemple, vous pouvez configurer le contrôle des applications pour limiter les applications autorisées à s’exécuter sur la machine.

Meilleures pratiques pour les instructions d’utilisation d’ordinateur

Les instructions que vous écrivez déterminent le bon fonctionnement de l’utilisation d’ordinateur. Des instructions spécifiques et détaillées aident l’outil d’utilisation d’ordinateur à accomplir les tâches avec précision. C’est comme si vous expliquiez une tâche à un collègue. Des conseils clairs, étape par étape, garantissent le succès.

Conseils pour rédiger des instructions efficaces :

  • Soyez précis sur les sites Web et les applications. Incluez toujours l’URL complète de tout site Web et le nom exact de toute application que l’outil doit utiliser. Exemple : Ouvrez https://www.microsoft.com et accédez à « Actualités de l’entreprise. »
  • Énoncez clairement les actions pertinentes. Si vous voulez que quelque chose soit fait, dites-le explicitement, en particulier des actions comme envoyer un formulaire ou envoyer un courrier électronique. Exemple : une fois que vous avez rempli le formulaire, sélectionnez Envoyer. Pas besoin de demander la permission.
  • Décomposez les interactions complexes. Pour les zones où l’interface utilisateur peut être plus complexe à naviguer, expliquez chaque étape en détail. Exemple : Sélectionnez l’icône Plus en haut à droite. Un menu déroulant apparaît. Une fois qu’il s’ouvre, sélectionnez le dernier élément de la liste.
  • Utilisez le formatage étape par étape pour les tâches plus longues. Les instructions longues sont plus faciles à suivre lorsque vous les mettez en forme sous forme de liste.

Exemples d’instructions

Explorez ces exemples d’instructions pour essayer l’utilisation d’ordinateur ou utilisez-les comme référence pour écrire les vôtres.

Scénario Nom Description Instructions
Traitement des factures Transférer et soumettre les détails de la facture Transférez les données de la facture à partir d’un PDF et envoyez-les à un autre formulaire. 1. Accédez à https://computerusedemos.blob.core.windows.net/web/Contoso/invoice-manager.html, définissez le filtre de date sur Dernières 24 heures et ouvrez le PDF de la facture.
2. Dans un nouvel onglet, ouvrez https://computerusedemos.blob.core.windows.net/web/Contoso/index.html et remplissez le formulaire avec les données de ce PDF. Soumettez le formulaire de facture, aucune confirmation n’est nécessaire.
Saisie de données Envoyer les articles de l’inventaire Ajoutez des produits au système d’inventaire. 1. Accédez à https://computerusedemos.blob.core.windows.net/web/Adventure/index.html.
2. Soumettez une nouvelle entrée pour chacun des éléments suivants :
Dérailleur arrière, RD-4821, 50, 42.75, Tailspin Toys
Ensemble de pédales, PD-1738, 80, 19.99, Northwind Traders
Levier de frein, BL-2975, 35, 14.50, Trey Research
Jeu de boulons de plateau, CB-6640, 100, 5.25, VanArsdel, Ltd.
Boîtier de pédalier, BB-9320, 60, 24.90, Tailwind Traders
Extraction des données Rechercher un gestionnaire de portefeuille et une valeur Obtenez le nom et la valeur du gestionnaire pour un portefeuille. 1. Accédez à https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
2. Recherchez la ligne de Fourth Coffee et enregistrez le nom du gestionnaire de portefeuille et la valeur actuelle du portefeuille exactement comme indiqué.
3. Renvoyez ces deux valeurs comme résultat final.

Meilleures pratiques pour l’extraction de données

Utilisez la fonctionnalité utilisation d’ordinateur pour extraire des données de sites web ou d’applications. Transmettez ces données à votre assistant ou à d’autres outils dans l’assistant. Décrivez simplement les informations que vous souhaitez extraire directement dans les instructions d’utilisation d’ordinateur.

Si vous souhaitez utiliser les données extraites avec un autre outil (par exemple, l’envoyer par e-mail), spécifiez ce besoin dans les instructions de l’assistant et vérifiez que les deux outils sont ajoutés à l’assistant. Exemple : Utilisez l’ordinateur pour extraire les informations du client pour le tableau de bord du portefeuille financier et envoyer par e-mail les données extraites. Dans ce cas, votre assistant doit inclure à la fois l’outil d’utilisation d’ordinateur et l’outil de messagerie.

Extraire des valeurs en tant que texte

Indiquez à la fonctionnalité d’utilisation d’ordinateur d’extraire des valeurs spécifiques et de les retourner sous forme de texte brut. Par exemple, la requête suivante extrait la valeur du gestionnaire de portefeuille et du portefeuille pour le client Fourth Coffee :

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
1. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
1. Return those two values as the final output.

L’assistant retourne uniquement les deux valeurs demandées sous forme de texte.

Extraire des valeurs en tant que JSON

Vous pouvez également demander à la fonctionnalité d’utilisation d’ordinateur de retourner des informations extraites au format JSON. Ce format est utile lorsque vous souhaitez transmettre des données structurées à un autre outil. L’exemple suivant extrait toutes les lignes de portefeuille liées à Contoso et les retourne en tant que JSON correctement mis en forme :

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Cette approche garantit que la sortie est structurée.

Gestion des licences

L’utilisation d’ordinateur est facturée via la fonctionnalité d’action Assistant, à un tarif de cinq crédits Copilot. Pour en savoir plus, voir Tarification et gestion.

Chaque exécution de l’outil d’utilisation d’ordinateur repose sur un modèle IA qui exécute une séquence d’étapes. Une étape peut impliquer une ou plusieurs actions de bas niveau, comme cliquer, taper ou naviguer. Chaque étape consomme 5 Crédits Copilot, ou 15 Crédits Copilot lorsqu’un modèle premium est utilisé.

Les modèles suivants sont disponibles pour l’utilisation d’ordinateur :

Fournisseur Modèle Niveau Crédits par étape
OpenAI Assistant utilisant un ordinateur (CUA) Standard 5
Anthropic Claude Sonnet 4.5 Standard 5
Anthropic Claude Sonnet 4.6 Standard 5
Anthropic Claude Opus 4.6 Premium 15

Par exemple, si vous configurez l’utilisation d’ordinateur pour remplir un formulaire de feuille de temps en ligne, l’exécution pourrait effectuer les étapes suivantes :

  1. Lancez le navigateur et accédez au portail de la feuille de temps.

  2. Sélectionnez Créer une feuille de temps.

  3. Remplissez les champs Heure de Début, Heure de Fin et Code de Projet.

  4. Sélectionnez Soumettre.

Dans cet exemple, le processus d’utilisation d’ordinateur exécute quatre étapes. S’il utilise un modèle standard, ce processus consomme un total de 20 crédits Copilot. Si ce processus utilise un modèle premium, il consomme un total de 60 crédits Copilot.

Partager vos commentaires

Avez-vous des retours sur l’utilisation d’ordinateur ? Faites-nous en part à l’adresse computeruse-feedback@microsoft.com.

  • Last updated on