Συνήθεις ερωτήσεις για το εργαλείο χρήσης υπολογιστή

Ποιο είναι το εργαλείο χρήσης υπολογιστή

Η χρήση υπολογιστή είναι ένα εργαλείο που μπορείτε να προσθέσετε στους πράκτορες του Copilot Studio που έχουν σχεδιαστεί για την αυτοματοποίηση εργασιών σε τοποθεσίες Web και εφαρμογές. Οι χρήστες παρέχουν περιγραφές εργασιών σε φυσική γλώσσα και το εργαλείο αυτοματοποιεί τα κλικ του ποντικιού και τις ενέργειες πληκτρολογίου ανάλογα. Για παράδειγμα, μπορείτε να καθοδηγήσετε το εργαλείο να ανοίξει ένα PDF και να χρησιμοποιήσει τα περιεχόμενά του για να συμπληρώσει μια φόρμα web. Το εργαλείο ερμηνεύει οπτικά την οθόνη και εκτελεί τα απαραίτητα κλικ και πλήκτρα, προσομοιώνοντας τις ανθρώπινες αλληλεπιδράσεις.

Προειδοποίηση

Η χρήση υπολογιστή είναι ένα ισχυρό εργαλείο που αυτοματοποιεί τις αλληλεπιδράσεις μεταξύ τοποθεσιών Web και εφαρμογών υπολογιστή, αλλά συνοδεύεται επίσης από σημαντικά ζητήματα ασφαλείας. Σε ορισμένες περιπτώσεις, η τεχνητή νοημοσύνη ενδέχεται να προβεί σε ακούσιες ενέργειες λόγω ασαφών οδηγιών ή μη αναμενόμενου περιεχομένου στην οθόνη. Αυτές οι ενέργειες μπορούν να επηρεάσουν την ασφάλεια της συσκευής, των δεδομένων ή των συνδεδεμένων λογαριασμών σας, συμπεριλαμβανομένης της πρόσβασης σε προσωπικά, οικονομικά ή εταιρικά συστήματα.

Τι μπορεί να κάνει το εργαλείο χρήσης του υπολογιστή;

Ο υπολογιστής χρησιμοποιεί δεδομένα σε pixel οθόνης για τη χρήση εργαλείων για την κατανόηση του περιεχομένου στην οθόνη και εκτελεί εργασίες με χρήση κλικ εικονικού ποντικιού και εισόδων πληκτρολογίου. Το εργαλείο μπορεί να διαχειρίζεται ροές εργασιών πολλών βημάτων, να χειρίζεται μη αναμενόμενα σενάρια και να προσαρμόζεται δυναμικά στις αλλαγές οθόνης, επιτρέποντάς του να εκτελεί διάφορες ψηφιακές εργασίες, όπως περιήγηση σε τοποθεσίες Web και συμπλήρωση φορμών χωρίς να απαιτείται εξειδικευμένα API.

Το εργαλείο χρήσης υπολογιστή ακολουθεί έναν επαναλαμβανόμενο βρόχο με βάση τρία βήματα:

• Αντίληψη: Καταγράφει στιγμιότυπα οθόνης για να κατανοήσει οπτικά την τρέχουσα κατάσταση της οθόνης του υπολογιστή.

• Συλλογιστική: Αξιολογεί την τρέχουσα κατάσταση, τις προηγούμενες ενέργειες και τα στιγμιότυπα οθόνης μέσω μιας προσέγγισης αλυσίδας σκέψης, η οποία της επιτρέπει να προσαρμόζει αποτελεσματικά τις ενέργειές της.

• Ενέργεια: Εκτελεί ενέργειες όπως κλικ, πληκτρολόγηση ή κύλιση μέχρι να ολοκληρωθεί η εργασία ή να απαιτεί περαιτέρω εισαγωγή από τον χρήστη.

Ποιες είναι οι προβλεπόμενες χρήσεις του εργαλείου χρήσης του υπολογιστή;

Το εργαλείο χρήσης υπολογιστή προορίζεται για την αυτοματοποίηση των αλληλεπιδράσεων των χρηστών με τοποθεσίες Web και εφαρμογές μέσω ενός εικονικού ποντικιού και πληκτρολογίου, ιδιαίτερα χρήσιμο σε σενάρια όπου τα API δεν είναι διαθέσιμα.

Πώς αξιολογήθηκε το εργαλείο χρήσης υπολογιστή; Ποια μετρικά χρησιμοποιούνται για τη μέτρηση των επιδόσεων;

Το εργαλείο χρήσης υπολογιστή αξιολογήθηκε αυστηρά χρησιμοποιώντας σενάρια από τον πραγματικό κόσμο καθ 'όλη τη διάρκεια των φάσεων σχεδιασμού, ανάπτυξης και ανάπτυξης. Οι μέθοδοι αξιολόγησης περιελάμβαναν έρευνα, μελέτες επιπτώσεων και δοκιμές σε διάφορα σενάρια για τη μέτρηση της ακρίβειας, της εμπιστοσύνης των χρηστών και της χρησιμότητας. Τόσο οι ποιοτικές όσο και οι ποσοτικές μετρήσεις παρακολουθούνται τακτικά για τη διατήρηση υψηλών επιδόσεων και μιας θετικής εμπειρίας χρήστη. Η διαθεσιμότητα του εργαλείου εξασφαλίζεται επίσης με την τήρηση των καθιερωμένων SLA.

Ποιοι είναι οι περιορισμοί του εργαλείου χρήσης υπολογιστή; Πώς μπορούν οι χρήστες να ελαχιστοποιήσουν τις επιπτώσεις των περιορισμών του εργαλείου στον υπολογιστή κατά τη χρήση του συστήματος;

Η χρήση υπολογιστή είναι μια νέα τεχνολογία με γνωστούς κινδύνους ασφαλείας και λειτουργικούς περιορισμούς. Σας δίνουμε τη δυνατότητα να πειραματιστείτε με αυτό. Αυτή η δυνατότητα πρώιμου σταδίου επιτρέπει την αυτοματοποίηση ορισμένων εργασιών που βασίζονται σε υπολογιστή, αν και οι επιδόσεις τους ποικίλλουν σημαντικά ανάλογα με τη περίπτωση χρήσης. Για να την χρησιμοποιείτε αποτελεσματικά και υπεύθυνα, κατανοήστε τους τρέχοντες περιορισμούς της:

Γνωστοί περιορισμοί

• Το ποσοστό επιτυχίας ποικίλλει ανάλογα με την εργασία: Το εργαλείο αποδίδει καλύτερα τις εργασίες που βασίζονται στο web (περίπου 80% επιτυχία), αλλά μειώνεται σημαντικά στις εφαρμογές υπολογιστή (περίπου 35% επιτυχία).
• Μη συμβατή απόδοση: Η ίδια εργασία μπορεί να αποφέρει διαφορετικά αποτελέσματα ανάλογα με τις αλλαγές απεικόνισης ή χρονισμού.
• Δυσκολίες με ορισμένα στοιχεία ελέγχου περιβάλλοντος εργασίας χρήστη: Η χρήση υπολογιστή μπορεί να αντιμετωπίσει δυσκολίες στην αλληλεπίδραση με μη τυπικά ή δυναμικά στοιχεία διασύνδεσης, όπως αναπτυσσόμενες λίστες, επιλογείς ημερομηνίας ή προσαρμοσμένα γραφικά στοιχεία.
• Βρόχοι και καταστάσεις που έχουν κολλήσει: Σε ορισμένες περιπτώσεις, ο παράγοντας εισέρχεται σε έναν βρόχο ή κολλάει όταν η οθόνη δεν ταιριάζει με τις προσδοκίες ή αλλάζει απρόβλεπτα.
• Προκλήσεις με σύνθετες εργασίες: Παρόλο που είναι αποτελεσματικές για απλές ενέργειες, το εργαλείο μπορεί να αντιμετωπίζει δυσκολίες με λεπτομερείς γραφικές διασυνδέσεις ή εργασίες που περιλαμβάνουν περίπλοκο χειρισμό κειμένου.
• Όχι για ευαίσθητες περιπτώσεις ή περιπτώσεις χρήσης υψηλού κινδύνου: Το εργαλείο δεν προορίζεται για:
  • Πρόταση ή βαθμολόγηση σε ευαίσθητους τομείς, όπως οι προσλήψεις, η υγειονομική περίθαλψη ή τα οικονομικά
  • Πραγματοποίηση οικονομικών συναλλαγών
  • Επιβλαβείς ενέργειες, όπως ανεπιθύμητη αλληλογραφία ή παραπληροφόρηση
  • Κοινή χρήση δεδομένων εκτός του οργανισμού σας χωρίς κατάλληλη εξουσιοδότηση

Πώς μπορείτε να ελαχιστοποιήσετε τους περιορισμούς

Για τη βελτίωση της αξιοπιστίας, οι χρήστες θα πρέπει να παρέχουν σαφείς, λεπτομερείς οδηγίες κατά τη ρύθμιση παραμέτρων των εργασιών. Αυτό βοηθά στη μείωση σφαλμάτων και αυξάνει τα ποσοστά επιτυχίας εργασιών.

Ανθρώπινη επίβλεψη για δυνητικά κακόβουλες οδηγίες

Οι πράκτορες χρήσης υπολογιστή ενδέχεται να αντιμετωπίσουν επιβλαβείς ή κακόβουλες οδηγίες, που συχνά αναφέρονται ως επιθέσεις άμεσης έγχυσης, όπου κρυφές εντολές σε στιγμιότυπα οθόνης, ιστοσελίδες ή άλλες εισόδους προσπαθούν να επηρεάσουν ενέργειες με ακούσιους τρόπους. Για να μειώσετε αυτούς τους κινδύνους, λειτουργήστε τη χρήση υπολογιστή σε αξιόπιστα, απομονωμένα περιβάλλοντα και εφαρμόστε ισχυρούς ελέγχους επικύρωσης πριν εκτελέσετε οποιεσδήποτε οδηγίες.

Η ανθρώπινη επίβλεψη προσθέτει περισσότερη ορατότητα και έλεγχο, επιτρέποντας στους εξουσιοδοτημένους αναθεωρητές να επικυρώνουν ενέργειες που έχουν επισημανθεί ως δυνητικά επιβλαβείς ή κακόβουλες. Όταν εντοπίζονται τέτοιοι κίνδυνοι, η χρήση υπολογιστή διακόπτει την εκτέλεση και ειδοποιεί τους αναθεωρητές που έχουν ανατεθεί, οι οποίοι μπορούν να αποφασίσουν εάν θα συνεχίσουν ή θα σταματήσουν την εκτέλεση. Οι έλεγχοι ασφαλείας που εκτελούνται από τον πράκτορα χρήσης υπολογιστή μπορεί να ενεργοποιηθούν από μία απόκριση, είσοδο ή στιγμιότυπο οθόνης ή από πολλά κομμάτια αυτού του περιβάλλοντος. Οι έλεγχοι ασφαλείας έχουν σκοπό να προτρέψουν τον ανθρώπινο έλεγχο πριν από την ανάληψη δυνητικά μη αναστρέψιμων ή μη επιτρεπόμενων ενεργειών από τον πράκτορα χρήσης υπολογιστή, αλλά ο πράκτορας χρήσης υπολογιστή μπορεί να κάνει λάθη κατά την εκτέλεση των ελέγχων. Για παράδειγμα, ο παράγοντας χρήσης υπολογιστή ενδέχεται να μην εντοπίσει ορισμένες ενέργειες ή μπορεί να ζητήσει έλεγχο όπου η ασφάλεια δεν αποτελεί ανησυχία. Οι έλεγχοι ασφαλείας δεν υποκαθιστούν τον υπεύθυνο σχεδιασμό και την καθοδήγηση του πράκτορα.

Αυτή η δυνατότητα προτρέπει τον έλεγχο δυνητικά μη αναστρέψιμων ή μη επιτρεπόμενων ενεργειών, αλλά προς το παρόν δεν υποστηρίζει γενικά αιτήματα επιβεβαίωσης, προτροπές για πληροφορίες που λείπουν ή άλλους τύπους ελέγχων ασφαλείας.

Ποιοι παράγοντες λειτουργίας και ρυθμίσεις επιτρέπουν την αποτελεσματική και υπεύθυνη χρήση του εργαλείου χρήσης του υπολογιστή;

Το εργαλείο χρήσης υπολογιστή αποδίδει καλύτερα όταν παρέχονται σαφείς και λεπτομερείς οδηγίες χρήστη. Οι χρήστες θα πρέπει να παρέχουν ακριβείς συμβουλές σχετικά με τις αλληλεπιδράσεις τοποθεσίας Web ή εφαρμογής για τη βελτίωση της αξιοπιστίας και της ακρίβειας κατά την εκτέλεση της εργασίας. Για πρόσθετη ορατότητα και έλεγχο, ενεργοποιήστε την ανθρώπινη επίβλεψη αναθέτοντας έναν ή περισσότερους εξουσιοδοτημένους αναθεωρητές στη σελίδα διαμόρφωσης εργαλείων. Όταν το μοντέλο εντοπίσει δυνητικά κακόβουλες οδηγίες, αυτοί οι αναθεωρητές λαμβάνουν ειδοποιήσεις για να επικυρώσουν και να αποφασίσουν εάν θα συνεχίσουν ή θα σταματήσουν την εκτέλεση.

Πώς μπορώ να παρέχω σχόλια σχετικά με το εργαλείο χρήσης υπολογιστή;

Έχετε σχόλια σχετικά με το εργαλείο χρήσης υπολογιστή; Ηλεκτρονικό ταχυδρομείο computeruse-feedback@microsoft.com.