Automatiser à l’aide de la souris et du clavier et des actions OCR (recommandé pour l’automatisation dans VDI)

Au cas où un utilisateur ne serait pas en mesure d’accéder aux éléments de l’interface utilisateur des applications Web ou de l’interface utilisateur et ne pourrait donc pas automatiser l’utilisation des actions du navigateur ou de l’interface utilisateur ou des enregistreurs, il est fortement recommandé d’utiliser d’autres méthodes d’automatisation telles que l’utilisation d’images ou souris et clavier.

La méthode de l’image capture des sections de l’écran qui sont ensuite utilisées comme références pour effectuer des clics, envoyer du texte et exécuter des clics de souris. L’automatisation basée sur l’image peut être soit enregistrée par l’enregistreur basé sur l’image, soit développé manuellement. En savoir plus sur l’automatisation de l’utilisation des images dans cette rubrique.

En revanche, pour les cas où une image ne peut pas être utilisée comme point de référence, envisagez d’utiliser les capacités d’OCR pour naviguer dans l’écran. Vous trouverez des informations sur les capacités d’OCR dans la référence des actions respective.

Dans les deux alternatives décrites ci-dessus, la meilleure façon de naviguer consiste à utiliser des clics de souris et des frappes au clavier qui sont expliqués dans la référence des actions.

Avant de créer votre automatisation, veillez à ce que la fenêtre appropriée soit prioritaire et maximisée à l’aide des actions Mettre le focus sur la fenêtre et Définir l’état de la fenêtre.

Si vous devez attendre le chargement de composants spécifiques avant d’exécuter une action, utilisez le groupe d’actions d’attente.

Utilisez l’action Attendre pour attendre un laps de temps défini, l’action Attendre l’image pour attendre qu’une image apparaisse/disparaisse, ou l’action Attendre le texte sur l’écran (OCR) pour attendre qu’un texte apparaisse/disparaisse.

Pour naviguer sur la page Web ou dans l’application et interagir avec ses composants, utilisez les actions de la souris et du clavier.

Par exemple, déployez l’action Envoyer une séquence de touches pour utiliser les raccourcis clavier disponibles, ou les actions Déplacer la souris sur l’image et Déplacer la souris vers le texte à l’écran (OCR) pour déplacer le curseur sur une image ou un texte spécifique, respectivement.

Pour récupérer le texte à l’écran et le stocker dans une variable, déployez soit les actions du presse-papiers, soit l’action Extraire le texte par OCR. Pour stocker un texte dans le presse-papiers, mettez le texte en surbrillance à l’aide de l’action Envoyer une séquence de touches ou l’action Envoyer un clic de souris.

Vous pouvez configurer l’action Envoyer une séquence de touches pour envoyer le raccourci clavier CTRL + A qui sélectionne tout le texte de la page Web ou de l’application.

Note

Vous pourrez trouver plus d’informations concernant l’automatisation avec les raccourcis clavier dans Automatiser les applications à l’aide de raccourcis clavier.

Sinon, vous pouvez utiliser l’action Envoyer un clic de souris pour envoyer un Bouton gauche vers le bas au début du texte que vous souhaitez sélectionner, puis un Bouton gauche vers le haut à la fin.

Après avoir mis en évidence, déployez l’action Envoyer une séquence de touches pour envoyer le raccourci clavier CTRL + C qui stocke le texte sélectionné dans le presse-papiers. Après avoir stocké le texte dans le presse-papiers, utilisez l’action Obtenir le texte du presse-papiers pour stocker le contenu du presse-papiers dans une variable.