Αυτοματοποιήστε τις δοκιμές με αξιολόγηση πρακτόρων

[Αυτό το άρθρο αποτελεί τεκμηρίωση προέκδοσης και ενδέχεται να αλλάξει.]

Καθώς οι πράκτορες τεχνητής νοημοσύνης αναλαμβάνουν κρίσιμους ρόλους στις επιχειρηματικές διαδικασίες, η ανάγκη για αξιόπιστες, επαναλαμβανόμενες δοκιμές καθίσταται απαραίτητη. Η αξιολόγηση εκπροσώπου σάς επιτρέπει να δημιουργείτε δοκιμές που προσομοιώνουν σενάρια πραγματικού κόσμου για τον εκπρόσωπο σας. Αυτά τα τεστ καλύπτουν περισσότερες ερωτήσεις πιο γρήγορα από τις χειροκίνητες, κατά περίπτωση δοκιμές. Στη συνέχεια, μπορείτε να μετρήσετε την ακρίβεια, τη συνάφεια και την ποιότητα των απαντήσεων στις ερωτήσεις που τίθενται στον εκπρόσωπο, με βάση τις πληροφορίες στις οποίες μπορεί να έχει πρόσβαση ο εκπρόσωπος. Χρησιμοποιώντας τα αποτελέσματα από το σύνολο δοκιμής, μπορείτε να βελτιστοποιήσετε τη συμπεριφορά του αντιπροσώπου σας και να επαληθεύσετε ότι ο αντιπρόσωπός σας πληροί τις απαιτήσεις της επιχείρησής σας και της ποιότητας.

Σημαντικό

Αυτό το άρθρο περιέχει τεκμηρίωση προεπισκόπησης του Microsoft Copilot Studio και υπόκειται σε αλλαγές.

Οι δυνατότητες προεπισκόπησης δεν προορίζονται για χρήση παραγωγής και ενδέχεται να έχουν περιορισμένη λειτουργικότητα. Αυτές οι δυνατότητες διατίθενται πριν από μια επίσημη κυκλοφορία, ώστε να αποκτήσετε πρώιμη πρόσβαση και να υποβάλετε σχόλια.

Εάν δημιουργείτε έναν λειτουργικό πράκτορα έτοιμο για παραγωγή, ανατρέξτε στο θέμα Επισκόπηση του Microsoft Copilot Studio.

Γιατί να χρησιμοποιήσετε αυτοματοποιημένες δοκιμές;

Η αξιολόγηση πρακτόρων παρέχει αυτοματοποιημένες, δομημένες δοκιμές. Βοηθά στην έγκαιρη αντιμετώπιση προβλημάτων, μειώνει τον κίνδυνο κακών απαντήσεων και διατηρεί την ποιότητα καθώς εξελίσσεται ο πράκτορας. Αυτή η διαδικασία φέρνει μια αυτοματοποιημένη, επαναλαμβανόμενη μορφή διασφάλισης ποιότητας στις δοκιμές πρακτόρων. Διασφαλίζει ότι ο αντιπρόσωπος πληροί τα πρότυπα ακρίβειας και αξιοπιστίας της επιχείρησής σας και παρέχει διαφάνεια στον τρόπο απόδοσής του. Έχει διαφορετικά πλεονεκτήματα από τη δοκιμή χρησιμοποιώντας τη δοκιμαστική συνομιλία.

Η αξιολόγηση πρακτόρων μετρά την ορθότητα και την απόδοση, όχι την ηθική ή τα προβλήματα ασφάλειας της τεχνητής νοημοσύνης. Ένας πράκτορας μπορεί να περάσει όλα τα τεστ αξιολόγησης, αλλά, για παράδειγμα, να δώσει μια ακατάλληλη απάντηση σε μια ερώτηση. Οι πελάτες θα πρέπει να εξακολουθούν να χρησιμοποιούν υπεύθυνες κριτικές τεχνητής νοημοσύνης και φίλτρα ασφάλειας περιεχομένου. Οι αξιολογήσεις δεν αντικαθιστούν αυτές τις κριτικές και τα φίλτρα.

Πώς λειτουργεί η αξιολόγηση πρακτόρων

Το Copilot Studio χρησιμοποιεί μια δοκιμαστική περίπτωση για κάθε αξιολόγηση εκπροσώπου. Μια δοκιμαστική περίπτωση είναι ένα μεμονωμένο μήνυμα ή ερώτηση που προσομοιώνει αυτό που θα ρωτούσε ένας χρήστης τον αντιπρόσωπό σας. Μια δοκιμαστική περίπτωση μπορεί επίσης να περιλαμβάνει την απάντηση με την οποία περιμένετε να απαντήσει ο αντιπρόσωπός σας. Για παράδειγμα:

• Η ερώτηση: Ποιο είναι το ωράριο λειτουργίας σας;

• Η αναμενόμενη ανταπόκριση: Είμαστε ανοιχτά από τις 9 το πρωί έως τις 5 το απόγευμα από Δευτέρα έως Παρασκευή.

Χρησιμοποιώντας την αξιολόγηση παράγοντα, μπορείτε να δημιουργήσετε, να εισαγάγετε ή να γράψετε με μη αυτόματο τρόπο μια ομάδα δοκιμαστικών περιπτώσεων. Αυτή η ομάδα δοκιμαστικών περιπτώσεων ονομάζεται σύνολο δοκιμών. Ένα σετ δοκιμών σάς επιτρέπει:

• Εκτελέστε πολλές δοκιμαστικές περιπτώσεις που καλύπτουν ένα ευρύ φάσμα δυνατοτήτων ταυτόχρονα, αντί να κάνετε στον αντιπρόσωπό σας μία ερώτηση τη φορά.

• Αναλύστε την απόδοση του αντιπροσώπου σας με μια εύπεπτη συνολική βαθμολογία και επίσης μεγεθύνετε μεμονωμένες περιπτώσεις δοκιμών.

• Δοκιμάστε τις αλλαγές στους εκπροσώπους σας χρησιμοποιώντας το ίδιο σύνολο δοκιμών, ώστε να έχετε ένα αντικειμενικό πρότυπο για τη μέτρηση και τη σύγκριση των αλλαγών στην απόδοση.

• Δημιουργήστε γρήγορα νέα σύνολα δοκιμών ή τροποποιήστε τα υπάρχοντα για να καλύψετε τις μεταβαλλόμενες δυνατότητες ή απαιτήσεις των πρακτόρων.

Το σετ δοκιμής περιλαμβάνει επίσης τις μεθόδους δοκιμής που θέλετε να χρησιμοποιήσετε. Μπορείτε να μετρήσετε την απόδοση του αντιπροσώπου σας με βάση:

• Ακριβής αντιστοίχιση ή αντιστοίχιση λέξεων-κλειδιών: Πόσο πολύ ταιριάζει η απάντηση του εκπροσώπου σας σε μια ερώτηση με την αναμενόμενη απάντησή σας.

• Σημασιολογική ομοιότητα: Πόσο πολύ ταιριάζει η απάντηση του αντιπροσώπου σας με την ιδέα ή την πρόθεση της αναμενόμενης απάντησής σας.

• Ποιότητα: Πόσο καλά αποδίδουν οι απαντήσεις του αντιπροσώπου σας χρησιμοποιώντας μια αξιολόγηση που βασίζεται σε LLM.

Μπορείτε επίσης να επιλέξετε ένα προφίλ χρήστη που θα ενεργεί ως χρήστης που στέλνει τις ερωτήσεις. Ο εκπρόσωπος μπορεί να ρυθμιστεί ώστε να ανταποκρίνεται σε διαφορετικούς χρήστες με διαφορετικούς τρόπους ή να επιτρέπει την πρόσβαση σε πόρους με διαφορετικούς τρόπους.

Όταν επιλέγετε ένα σύνολο δοκιμών και εκτελείτε μια αξιολόγηση εκπροσώπου, το Copilot Studio στέλνει τις ερωτήσεις στις δοκιμαστικές περιπτώσεις, καταγράφει τις απαντήσεις του εκπροσώπου, συγκρίνει αυτές τις απαντήσεις με τις αναμενόμενες απαντήσεις ή ένα πρότυπο ποιότητας και εκχωρεί μια βαθμολογία σε κάθε δοκιμαστική περίπτωση. Μπορείτε επίσης να δείτε τις λεπτομέρειες, τη μεταγραφή και τον χάρτη δραστηριότητας για κάθε δοκιμαστική περίπτωση και ποιους πόρους χρησιμοποίησε ο αντιπρόσωπός σας για τη δημιουργία της απόκρισης.

Δοκιμή συνομιλίας έναντι αξιολόγησης πράκτορα

Κάθε μέθοδος δοκιμής σάς δίνει διαφορετικές πληροφορίες για τις ιδιότητες και τη συμπεριφορά του αντιπροσώπου σας:

Δοκιμαστική συνομιλία:

• Λαμβάνει και απαντά σε μία ερώτηση κάθε φορά. Είναι δύσκολο να επαναλάβετε τις ίδιες δοκιμές πολλές φορές.

• Σας επιτρέπει να δοκιμάσετε μια πλήρη περίοδο λειτουργίας που περιέχει πολλά μηνύματα.

• Σας επιτρέπει να αλληλεπιδράτε με το copilot σας ως χρήστη χρησιμοποιώντας μια διεπαφή συνομιλίας.

Αξιολόγηση πράκτορα:

• Μπορεί να δημιουργήσει και να εκτελέσει πολλές δοκιμαστικές περιπτώσεις ταυτόχρονα. Μπορείτε να επαναλάβετε τις δοκιμές χρησιμοποιώντας το ίδιο σύνολο δοκιμών.

• Μπορεί να δοκιμάσει μόνο μία ερώτηση και μία απάντηση ανά δοκιμαστική περίπτωση. Δεν δοκιμάζει μια πλήρη συνεδρία συνομιλίας.

• Επιλέξτε διαφορετικά προφίλ χρηστών για να προσομοιώσετε διαφορετικούς χρήστες χωρίς να χρειάζεται να ολοκληρώσετε μόνοι σας τις αλληλεπιδράσεις.

Όταν δοκιμάζετε ένα copilot, χρησιμοποιήστε τόσο τη δοκιμαστική συνομιλία όσο και την αξιολόγηση copilot για μια πλήρη εικόνα του copilot σας.