Εξετάστε τη λίστα ελέγχου αξιολόγησης αντιπροσώπου

Η αξιολόγηση του πράκτορα θα πρέπει να είναι μια επαναληπτική διαδικασία που ξεκινά από τη φάση οραματισμού και σχεδιασμού του πράκτορα και συνεχίζεται μέσω της ανάπτυξης του πράκτορα και της ανίχνευσης παλινδρόμησης. Αυτό το πρότυπο παρέχει τα βασικά στοιχεία για τη δημιουργία συνόλων δοκιμών αξιολόγησης και τον τρόπο υλοποίησης και επανάληψης μέσω μιας δομής τεσσάρων σταδίων σε όλο τον κύκλο ζωής ενός πράκτορα.

Συμβουλή

Κατεβάστε το επεξεργάσιμο πρότυπο λίστας ελέγχου.

Στάδιο 1: Δημιουργία σετ δοκιμών βασικής αξιολόγησης

Στόχος: Δημιουργήστε και εκτελέστε ένα σύνολο δοκιμών βασικής αξιολόγησης που αξιολογεί τα βασικά σενάρια του πράκτορα.

Ένα σύνολο δοκιμών αξιολόγησης είναι μια ομάδα δοκιμαστικών περιπτώσεων. Μια δοκιμαστική περίπτωση είναι ένα μεμονωμένο ζεύγος προτροπής και απόκρισης για την αξιολόγηση της απάντησης ενός πράκτορα σε μια συγκεκριμένη ερώτηση. Περιλαμβάνει μια προτροπή δοκιμής και μια προαιρετική αναμενόμενη απόκριση (ισχυρισμός) που εκδηλώνεται απευθείας από την απαίτηση εντολής πράκτορα. Μια δοκιμαστική περίπτωση θα πρέπει επίσης να προσδιορίζει τα κριτήρια αποδοχής και τη μέθοδο δοκιμής για την αξιολόγηση της ποιότητας.

Σενάριο παράγοντα1 Προτροπή δοκιμής
(Δείγμα ερώτησης προτροπής στον πράκτορα)		 Αναμενόμενη απάντηση Κριτήρια αποδοχής2
(Καθορίστε πώς μοιάζει μια επιτυχημένη απάντηση: Τι περνάει και τι όχι)
Ο εκπρόσωπος θα πρέπει να απαντήσει στο περιεχόμενο πολιτικής με βάση το άρθρο γνώσεων πολιτικής. «Πόσες ημέρες αναρρωτικής άδειας παίρνει ένας εργαζόμενος;» «30 μέρες. <παραπομπή>" Η απάντηση πρέπει να περιέχει το ακριβές κείμενο από τις γνώσεις πολιτικής και την αντιστοίχιση κειμένου. Η απάντηση πρέπει να περιλαμβάνει παραπομπή.
Ο πράκτορας δεν πρέπει να απαντά σε ερωτήσεις πέρα από το άρθρο γνώσεων πολιτικής. Άμεσες απαντήσεις στην ανθρώπινη υποστήριξη HR. «Πόσες ημέρες αναρρωτικής άδειας παίρνει ένας εργαζόμενος;» «Το έγγραφο πολιτικής δεν προσδιορίζει τις ημέρες αναρρωτικής άδειας. Συμβουλευτείτε το HR σχετικά με την πολιτική σας για την αναρρωτική άδεια». Η ανταπόκριση σε απαγορευμένη περίπτωση πρέπει να κατευθύνεται στην ανθρώπινη υποστήριξη ανθρώπινου δυναμικού.

Συμβουλή

1Σενάριο πράκτορα: Ένα βασικό σύνολο δοκιμών θα πρέπει να περιλαμβάνει περιπτώσεις δοκιμών που καλύπτουν τα βασικά σενάρια ή τις περιπτώσεις χρήσης του πράκτορα. Χρησιμοποιήστε το σενάριο εκπροσώπου ως καθοδήγηση και επικεντρωθείτε σε αυτό που προορίζεται να χειριστεί ή να αποφύγει ο εκπρόσωπος. Αυτή η διαδικασία σάς βοηθά να συντάξετε μια στοχευμένη λίστα προτροπών δοκιμής και θα πρέπει να συντονίζεται στενά με την ανάπτυξη οδηγιών πράκτορα. Για να προσδιορίσετε τον σωστό αριθμό δοκιμαστικών περιπτώσεων, ξεκινήστε με μία προτροπή δοκιμής για κάθε βασικό σενάριο. Ξεκινήστε με ένα μικρό σύνολο δοκιμαστικών περιπτώσεων και, στη συνέχεια, επαναλάβετε και βελτιώστε καθώς αποκτάτε πληροφορίες και βελτιώνετε την κάλυψη.

2Κριτήρια αποδοχής: Καθορίστε με σαφήνεια τι συνιστά επιτυχία. Αυτός ο ορισμός μπορεί να είναι δύσκολος στην αρχή, επομένως σκεφτείτε να βελτιώσετε τα κριτήριά σας μέσω της επανάληψης. Εκτελέστε την προτροπή δοκιμής, ελέγξτε την απάντηση και αξιολογήστε την ποιότητά της ρωτώντας: Απαντά στην κύρια ερώτηση; Χρησιμοποιεί τις σωστές πληροφορίες; Είναι κατάλληλος ο τόνος και το ύφος; Σέβεται τα δικαιώματα κοινής χρήσης; Οι γνώσεις σας από αυτές τις ερωτήσεις σας βοηθούν να καθορίσετε κριτήρια αποδοχής και, εάν χρειάζεται, μια αναμενόμενη απάντηση.

Στάδιο 2: Καθορισμός γραμμής βάσης και βελτίωση

Στόχος: Εκτελέστε αξιολογήσεις και καθορίστε βασικές μετρήσεις για συγκριτική αξιολόγηση και βελτίωση.

Μπορείτε να εκτελέσετε αξιολόγηση χειροκίνητα ή να χρησιμοποιήσετε εξειδικευμένα εργαλεία. Για μη αυτόματη αξιολόγηση, στείλτε την προτροπή δοκιμής στον πράκτορα, ελέγξτε την απάντηση, χρησιμοποιήστε την ανθρώπινη κρίση για να προσδιορίσετε εάν πληροί τα κριτήρια αποδοχής και καταγράψτε το αποτέλεσμα. Η Microsoft προσφέρει εργαλεία αξιολόγησης των αντιπροσώπων, συμπεριλαμβανομένης της δυνατότητας αξιολόγησης του παράγοντα Copilot Studio.

Καθορίστε τη γραμμή βάσης

  • Εκτελέστε το βασικό σύνολο δοκιμών κατά του πράκτορα.
  • Καταγράψτε την επιτυχία ή αποτυχία για κάθε δοκιμαστική περίπτωση.
  • Υπολογίστε το συνολικό ποσοστό επιτυχίας: ______%.
  • Καταγράψτε την έκδοση του παράγοντα και την ημερομηνία αναφοράς: ___________.

Ανάλυση και επανάληψη της βασικής αιτίας

Ελέγξτε τα αποτελέσματα της αξιολόγησης για να εντοπίσετε ψευδώς θετικά και αληθινά αρνητικά για περαιτέρω ανάλυση. Ένα ψευδώς θετικό είναι μια απάντηση που χαρακτηρίζεται ως επιτυχής αλλά θα πρέπει να αποτύχει με βάση την ανθρώπινη κρίση. Ένα αληθινό αρνητικό είναι μια απάντηση που προσδιορίζεται σωστά ως αποτυχία. Αξιολογήστε τις αποτυχημένες υποθέσεις από δύο οπτικές γωνίες:

  • Πρόβλημα δοκιμαστικής περίπτωσης: Η προτροπή δοκιμής, η αναμενόμενη απάντηση ή τα κριτήρια αποδοχής προκαλούν την αποτυχία;
  • Πρόβλημα σχεδίασης πράκτορα: Η αποτυχία υποδεικνύει ασαφείς οδηγίες πράκτορα ή ελαττώματα στη γνώση ή τη διαμόρφωση του εργαλείου;

Προσδιορίστε τη βασική αιτία και βελτιώστε είτε βελτιώνοντας τη δοκιμαστική περίπτωση είτε βελτιώνοντας τον σχεδιασμό του παράγοντα.

Συμβουλή

Επιτυχής βαθμολογία αξιολόγησης: Οι πράκτορες μπορούν να παράγουν διαφορετικές απαντήσεις στην ίδια προτροπή λόγω της πιθανολογικής τους φύσης. Αυτή η μεταβλητότητα μπορεί να προκαλέσει την επιτυχία ή την αποτυχία των απαντήσεων με βάση το πόσο αυστηρά είναι τα κριτήρια αποδοχής. Για να διασφαλίσετε αξιόπιστη αξιολόγηση, εκτελέστε κάθε σετ δοκιμής πολλές φορές και υπολογίστε το μέσο ποσοστό επιτυχίας. Στοχεύστε σε ένα ρεαλιστικό ποσοστό επιτυχίας 80-90%, με βάση τις ανάγκες της επιχείρησής σας.

Στάδιο 3: Εφαρμογή συστηματικής επέκτασης

Στόχος: Δημιουργήστε ολοκληρωμένες σουίτες αξιολόγησης σε διαφορετικές κατηγορίες ποιότητας πρακτόρων.

Τα στάδια 1 και 2 καθιέρωσαν το θεμελιώδες σύνολο δοκιμών για τις περιπτώσεις κύριας χρήσης του παράγοντα. Στη συνέχεια, διευρύνετε την αξιολόγησή σας δημιουργώντας σύνολα δοκιμών που αξιολογούν διάφορες κατηγορίες ποιότητας πρακτόρων. Η παρακάτω λίστα προτείνει κατηγορίες που αφορούν διαφορετικές πτυχές της ποιότητας.

Κατηγορία ποιότητας Στόχος
Θεμελιώδης πυρήνας Το σετ "πρέπει να περάσει". Μετράει τη βασική ποιότητα απόκρισης κατά την ανάπτυξη και εκτελεί ανίχνευση παλινδρόμησης κατά τη λειτουργία.
Ευρωστία παράγοντα Η βασική αξία ενός πράκτορα σε σχέση με το παραδοσιακό λογισμικό είναι η στιβαρότητά του στο χειρισμό διαφορετικών περιπτώσεων χρήσης. Αυτή η τιμή μπορεί να περιλαμβάνει:
  • Πώς απαντά ο πράκτορας στην ίδια ερώτηση που διατυπώνεται με διαφορετικούς όρους;
  • Πώς χειρίζεται ο εκπρόσωπος το εμπλουτισμένο περιβάλλον που παρέχεται στην προτροπή;
  • Πώς να μετρήσετε την πολλαπλή πρόθεση σε μία μόνο προτροπή;
  • Μπορεί ο εκπρόσωπος να απαντήσει σωστά σε αιτήματα για συγκεκριμένους χρήστες;
Ο πράκτορας θα πρέπει να χειρίζεται τη διακύμανση της περίπτωσης χρήσης με χάρη και μπορεί να αξιολογηθεί με ειδικές περιπτώσεις δοκιμών.
Δοκιμή αρχιτεκτονικής Αξιολογήστε τη λειτουργική απόδοση του πράκτορα. Οι διαστάσεις μπορεί να περιλαμβάνουν:
  • Κλήση εργαλείου, δράση
  • Ανάκτηση γνώσης και συμπεριφορά παραπομπών
  • Λογική δρομολόγησης
  • Ενσωμάτωση μεταβιβάσεων
Ακραίες περιπτώσεις Πώς πρέπει να χειρίζεται ο παράγοντας την ακραία θήκη με προστατευτικά κιγκλιδώματα.
  • Οριακές συνθήκες
  • Συμπεριφορές που δεν επιτρέπονται και δεν εμπίπτουν στο πεδίο εφαρμογής

Συμβουλή

Αναφορά σκοπού κατηγορίας:

  • Ο πυρήνας αποτυγχάνει: Κάτι είναι χαλασμένο ή δεν λειτουργεί. Διερευνήστε τις πρόσφατες αλλαγές.
  • Η ευρωστία αποτυγχάνει: Ο πράκτορας είναι πολύ αυστηρός. Μπορεί να επικεντρώνεται υπερβολικά σε συγκεκριμένες φράσεις.
  • Η αρχιτεκτονική αποτυγχάνει: Ένα συγκεκριμένο στοιχείο ή ροή εργασίας χρειάζεται εντοπισμό σφαλμάτων.
  • Οι περιπτώσεις άκρων αποτυγχάνουν: Τα προστατευτικά κιγκλιδώματα χρειάζονται βελτίωση. Ενισχύστε τα όρια.  

Στάδιο 4: Καθιέρωση μιας λειτουργίας αξιολόγησης συνεχούς βελτίωσης της ποιότητας

Στόχος: Καθιέρωση συνεχούς παρακολούθησης αξιολόγησης για τη διατήρηση της ποιότητας του αντιπροσώπου κατά τη λειτουργία.

Μόλις αναπτύξετε έναν πράκτορα στην παραγωγή, εισέρχεται σε μια σταθερή φάση. Για να διατηρήσετε την ποιότητα και να εντοπίσετε γρήγορα παλινδρομήσεις ή ζητήματα από αλλαγές προϊόντων (όπως αναβαθμίσεις μοντέλων ή ενημερώσεις συστημάτων γνώσης) ή εξελισσόμενες περιπτώσεις χρήσης, ρυθμίστε μια συνεχή λειτουργία αξιολόγησης. Προγραμματίστε τακτικές αξιολογήσεις ή ενεργοποιήστε τις με βάση συγκεκριμένα συμβάντα για διασφάλιση ποιότητας.

  • Ρυθμίστε έναν τακτικό ρυθμό συντήρησης αξιολόγησης.
  • Προτεινόμενοι ενεργοποιητές αξιολόγησης πλήρους σουίτας:
    • Αλλαγή μοντέλου
    • Σημαντική ενημέρωση διαμόρφωσης γνώσεων
    • Νέες ενσωματώσεις εργαλείων ή συνδέσεων
    • Περιστατικό παραγωγής

Συμβουλή

Δείκτης επιτυχίας: Λειτουργείτε με επιτυχία όταν μπορείτε να απαντήσετε στις ανησυχίες των ενδιαφερομένων με λεπτομέρειες, αντί να πείτε: «Ο πράκτορας φαίνεται εντάξει».

Λέτε: «Η συμμόρφωση με την πολιτική είναι στο 98%, αλλά η Εξατομίκευση έπεσε στο 87%—συγκεκριμένα, δεν εφαρμόζονται πολιτικές που βασίζονται στη θητεία. Εντοπίσαμε τη βασική αιτία και επαναλαμβάνουμε».

  • Last updated on