Επιλέξτε μεθόδους αξιολόγησης

Όταν δημιουργείτε σύνολα δοκιμών, επιλέξτε από διαφορετικές μεθόδους δοκιμής για να αξιολογήσετε τις αποκρίσεις του copilot σας. Κάθε μέθοδος δοκιμής έχει τα δικά της δυνατά σημεία και ταιριάζει σε διαφορετικούς τύπους αξιολογήσεων.

Μέθοδος δοκιμής Μετρήσεις Τύπος συνόλου δοκιμών Βαθμολογία Ρυθμίσεις παραμέτρων
Γενική ποιότητα Πόσο καλές είναι οι απαντήσεις μιας υπόθεσης δοκιμής που βασίζονται σε συγκεκριμένες ιδιότητες Μεμονωμένη απάντηση ή συνομιλία Βαθμολογήθηκε με άριστα 100% Κανένα
Συγκρίνετε το νόημα Πόσο καλά ταιριάζει το νόημα της απάντησης της δοκιμαστικής περίπτωσης με την αναμενόμενη απάντηση Μία απόκριση Βαθμολογήθηκε με άριστα 100% Ελάχιστη απαιτούμενη βαθμολογία, αναμενόμενη απάντηση
Χρήση δυνατοτήτων Εάν η υπόθεση δοκιμής χρησιμοποίησε όλους ή οποιουσδήποτε αναμενόμενους πόρους Μία απόκριση Επιτυχία/αποτυχία Αναμενόμενες δυνατότητες
Αντιστοίχιση λέξεων-κλειδιών Αν η δοκιμαστική περίπτωση χρησιμοποίησε όλες ή οποιαδήποτε από τις αναμενόμενες λέξεις-κλειδιά ή φράσεις Μεμονωμένη απάντηση ή συνομιλία Επιτυχία/αποτυχία Αναμενόμενες λέξεις-κλειδιά ή φράσεις
Ομοιότητα κειμένου Πόσο καλά ταιριάζει το κείμενο της απάντησης της δοκιμαστικής περίπτωσης με την αναμενόμενη απάντηση Μία απόκριση Βαθμολογήθηκε με άριστα 100% Ελάχιστη απαιτούμενη βαθμολογία, αναμενόμενη απάντηση
Ακριβής αντιστοίχιση Εάν η απάντηση της δοκιμαστικής περίπτωσης ταιριάζει ακριβώς με την αναμενόμενη απάντηση Μία απόκριση Επιτυχία/αποτυχία Αναμενόμενη απάντηση
Συνήθεια Εάν η απόκριση της υπόθεσης δοκιμής ικανοποιεί τα καθορισμένα κριτήρια ή τις προσδοκίες σας. Μεμονωμένη απάντηση ή συνομιλία Πέρασμα/Αποτυχία (συμμορφώνεται με τα καθορισμένα κριτήρια ετικέτας) Όνομα, οδηγίες αξιολόγησης, ετικέτες

Προσθήκη μεθόδου δοκιμής

  1. Κατά τη δημιουργία ή την επεξεργασία ενός συνόλου δοκιμής, επιλέξτε Προσθήκη μεθόδου δοκιμής.

  2. Επιλέξτε όλες τις μεθόδους με τις οποίες θέλετε να δοκιμάσετε και, στη συνέχεια, επιλέξτε OK. Μπορείτε να προσθέσετε πολλές μεθόδους.

    1. Ορισμένες μέθοδοι απαιτούν βαθμολογία επιτυχίας. Η βαθμολογία επιτυχίας καθορίζει τι βαθμολογία οδηγεί σε επιτυχία ή αποτυχία. Ορίστε τη βαθμολογία και, στη συνέχεια, επιλέξτε OK.

    2. Ορισμένες μέθοδοι δοκιμής απαιτούν περισσότερα κριτήρια.

  3. Επιλέξτε Αποθήκευση για να αποθηκεύσετε τις αλλαγές σας στο δοκιμαστικό σύνολο.

Επιλέξτε μια υπάρχουσα μέθοδο δοκιμής για να επεξεργαστείτε τα κριτήρια αυτής της μεθόδου ή να διαγράψετε αυτήν τη μέθοδο.

Γενική ποιότητα

Διατίθεται για μεμονωμένα σύνολα δοκιμών απόκρισης και συνομιλίας. Η γενική ποιότητα σάς βοηθά να αποφασίσετε εάν οι απαντήσεις του αντιπροσώπου σας πληρούν τα πρότυπά σας. Χρησιμοποιεί ένα μεγάλο μοντέλο γλώσσας (LLM) για να αξιολογήσει πόσο αποτελεσματικά ένας παράγοντας απαντά σε ερωτήσεις χρηστών.

Η γενική ποιότητα είναι ιδιαίτερα χρήσιμη όταν δεν αναμένεται ακριβής απάντηση. Προσφέρει έναν ευέλικτο και επεκτάσιμο τρόπο αξιολόγησης των απαντήσεων με βάση τα ανακτημένα έγγραφα και τη ροή συνομιλίας.

Χρησιμοποιεί αυτά τα βασικά κριτήρια και εφαρμόζει μια συνεπή προτροπή για να καθοδηγήσει τη βαθμολόγηση:

  • Συνάφεια: Σε ποιο βαθμό η απάντηση του παράγοντα αντιμετωπίζει το ερώτημα. Για παράδειγμα, η απάντηση του παράγοντα παραμένει στο θέμα και απαντά απευθείας στην ερώτηση;

  • Θεμελίωση: Σε ποιο βαθμό η απάντηση του παράγοντα βασίζεται στο παρεχόμενο περιβάλλον. Για παράδειγμα, η απάντηση του παράγοντα αναφέρεται ή βασίζεται στις πληροφορίες που δίνονται στο περιβάλλον, αντί να παρουσιάζει μη σχετιζόμενες ή μη υποστηριζόμενες πληροφορίες;

  • Πληρότητα: Σε ποιο βαθμό η απάντηση του παράγοντα παρέχει όλες τις απαραίτητες πληροφορίες. Για παράδειγμα, η απάντηση του παράγοντα καλύπτει όλες τις πτυχές της ερώτησης και παρέχει επαρκείς λεπτομέρειες;

  • Αποχή: Εάν ο παράγοντας προσπάθησε να απαντήσει στην ερώτηση.

Για να θεωρηθεί υψηλής ποιότητας, μια απάντηση πρέπει να πληροί όλα αυτά τα βασικά κριτήρια. Εάν δεν πληρούται ένα κριτήριο, η απάντηση επισημαίνεται για βελτίωση. Αυτή η μέθοδος βαθμολόγησης εξασφαλίζει ότι μόνο οι απαντήσεις που είναι τόσο ολοκληρωμένες όσο και καλά υποστηριζόμενες λαμβάνουν κορυφαίες βαθμολογίες. Αντίθετα, οι απαντήσεις που είναι ελλιπείς ή δεν διαθέτουν αποδεικτικά στοιχεία λαμβάνουν χαμηλότερες βαθμολογίες.

Κατά την προσθήκη ή την επεξεργασία μεθόδων δοκιμής, επιλέξτε Γενική ποιότητα. Όλα τα σετ δοκιμών ξεκινούν με αυτήν τη μέθοδο από προεπιλογή.

Δεν χρειάζεται να προσθέσετε αναμενόμενες απαντήσεις σε δοκιμαστικές περιπτώσεις για να ολοκληρώσετε μια γενική αξιολόγηση ποιότητας.

Σημείωμα

Η μείωση του αριθμού των προελεύσεων γνώσης για τον παράγοντα δεν εγγυάται τη βελτίωση της γενικής διαβάθμισης της ποιότητας στην αξιολόγηση των αντιπροσώπων. Αυτός ο περιορισμός υπάρχει επειδή οι ανακτημένες γνώσεις (γνώσεις που το μοντέλο θεωρεί σχετικές με μια συγκεκριμένη υπόθεση δοκιμής) μπορεί να είναι πολύ μεγάλες.

Συγκρίνετε το νόημα

Διατίθεται για μεμονωμένα σύνολα δοκιμών απόκρισης. Η σύγκριση της έννοιας αξιολογεί πόσο καλά η απάντηση του παράγοντα αντικατοπτρίζει την προβλεπόμενη έννοια της αναμενόμενης απάντησης. Αντί να εστιάζει στην ακριβή διατύπωση, χρησιμοποιεί ομοιότητα πρόθεσης, που σημαίνει ότι συγκρίνει τις ιδέες και το νόημα πίσω από τις λέξεις, για να κρίνει πόσο στενά ευθυγραμμίζεται η απάντηση με αυτό που περιμένατε.

Όπως και η γενική ποιότητα, η σύγκριση νοήματος είναι ιδιαίτερα χρήσιμη όταν δεν αναμένεται ακριβής απάντηση. Προσφέρει έναν ευέλικτο και επεκτάσιμο τρόπο αξιολόγησης των απαντήσεων με βάση τα ανακτημένα έγγραφα και τη ροή συνομιλίας.

Μπορείτε να ορίσετε ένα όριο βαθμολογίας για να προσδιορίσετε τι αποτελεί μια βαθμολογία που είναι αποδεκτή ως απάντηση. Η προεπιλεγμένη βαθμολογία επιτυχίας είναι 50. Η μέθοδος δοκιμής σύγκριση έννοιας είναι χρήσιμη όταν μια απάντηση μπορεί να διατυπωθεί με διαφορετικούς σωστούς τρόπους, αλλά η συνολική έννοια ή πρόθεση πρέπει ακόμα να προκύψει.

  1. Κατά την προσθήκη ή την επεξεργασία μεθόδων δοκιμής, επιλέξτε Σύγκριση νοήματος.

  2. Ορίστε τη βαθμολογία επιτυχίας για αυτήν τη μέθοδο.

  3. Προσθέστε τις αναμενόμενες απαντήσεις. Οποιαδήποτε υπόθεση δοκιμής χωρίς αναμενόμενες απαντήσεις παράγει ένα Μη έγκυρο αποτέλεσμα για αυτήν τη μέθοδο δοκιμής.

    1. Επιλέξτε μια δοκιμαστική περίπτωση.

    2. Προσθέστε την απάντηση που περιμένετε.

    3. Επιλέξτε Εφαρμογή για να αποθηκεύσετε την αναμενόμενη απάντηση.

    4. Επαναλάβετε για όλες τις δοκιμαστικές περιπτώσεις που θέλετε να δοκιμάσετε χρησιμοποιώντας αυτήν τη μέθοδο.

Χρήση εργαλείου

Διατίθεται για μεμονωμένα σύνολα δοκιμών απόκρισης. Δοκιμές χρήσης δυνατοτήτων εάν ο πράκτορας χρησιμοποίησε συγκεκριμένα εργαλεία ή θέματα για να δημιουργήσει μια απάντηση. Αν το έκανε, περνάει. Αν όχι, αποτυγχάνει.

  1. Κατά την προσθήκη ή επεξεργασία μεθόδων δοκιμής, επιλέξτε Χρήση εργαλείου.

  2. Προσθέστε τα αναμενόμενα εργαλεία ή θέματα. Οποιαδήποτε υπόθεση δοκιμής χωρίς αναμενόμενες απαντήσεις παράγει ένα Μη έγκυρο αποτέλεσμα για αυτήν τη μέθοδο δοκιμής.

    1. Επιλέξτε μια δοκιμαστική περίπτωση. Για να προσθέσετε τα ίδια αναμενόμενα εργαλεία και θέματα για όλες τις υποθέσεις δοκιμής, επιλέξτε το εικονίδιο Επεξεργασία στην επικεφαλίδα στήλης Χρήση εργαλείου.

    2. Στο τμήμα παραθύρου Επεξεργασία υπόθεσης δοκιμής , επιλέξτε τα εργαλεία που περιμένετε να χρησιμοποιήσει ο πράκτοράς σας για τη συγκεκριμένη υπόθεση δοκιμής.

    3. Επιλέξτε OK.

    4. Επιλέξτε Εφαρμογή για να αποθηκεύσετε τις αλλαγές.

    5. Επαναλάβετε για όλες τις υποθέσεις δοκιμής που θέλετε να δοκιμάσετε για χρήση εργαλείων.

Αντιστοίχιση λέξεων-κλειδιών

Διατίθεται για μεμονωμένα σύνολα δοκιμών απόκρισης και συνομιλίας. Η αντιστοίχιση λέξεων-κλειδιών ελέγχει εάν η απάντηση του εκπροσώπου περιέχει ορισμένες ή όλες τις λέξεις ή φράσεις από την αναμενόμενη απόκριση που ορίζετε. Αν συμβεί αυτό, θα περάσει. Αν όχι, αποτυγχάνει.

Μπορείτε να επιλέξετε εάν ένα πάσο απαιτεί οποιαδήποτε από τις λέξεις-κλειδιά ή Όλες . Η επιλογή Any σημαίνει ότι εάν τουλάχιστον μία λέξη ή φράση ταιριάζει, η δοκιμαστική περίπτωση περνάει. Η επιλογή όλων σημαίνει ότι όλες οι αναμενόμενες λέξεις ή φράσεις πρέπει να ταιριάζουν για να περάσει μια δοκιμαστική περίπτωση.

  1. Κατά την προσθήκη ή την επεξεργασία μεθόδων δοκιμής, επιλέξτε Αντιστοίχιση λέξεων-κλειδιών.

  2. Επιλέξτε αν μια δοκιμαστική υπόθεση χρειάζεται Οποιαδήποτε ή Όλες οι λέξεις-κλειδιά για αντιστοίχιση.

  3. Προσθέστε τις αναμενόμενες λέξεις-κλειδιά. Οποιαδήποτε υπόθεση δοκιμής χωρίς αναμενόμενες λέξεις-κλειδιά παράγει μη έγκυρο αποτέλεσμα για αυτήν τη μέθοδο δοκιμής.

    1. Επιλέξτε μια δοκιμαστική περίπτωση.

    2. Στο τμήμα παραθύρου Επεξεργασία υπόθεσης δοκιμής , προσθέστε μια λέξη-κλειδί ή φράση που περιμένετε να έχει η απάντηση της συγκεκριμένης υπόθεσης.

    3. Επιλέξτε + Προσθήκη για να προσθέσετε περισσότερες λέξεις-κλειδιά ή φράσεις. Για να καταργήσετε μια λέξη-κλειδί ή φράση, επιλέξτε το εικονίδιο Διαγραφή .

    4. Επιλέξτε Εφαρμογή για να αποθηκεύσετε τις αναμενόμενες λέξεις-κλειδιά.

    5. Επαναλάβετε για όλες τις δοκιμαστικές περιπτώσεις που θέλετε να ελέγξετε για αντιστοίχιση λέξεων-κλειδιών.

Ομοιότητα κειμένου

Η μέθοδος δοκιμής ομοιότητας κειμένου συγκρίνει την ομοιότητα των αποκρίσεων του παράγοντα με τις αναμενόμενες αποκρίσεις που ορίζετε στο σύνολο δοκιμών. Χρησιμοποιήστε αυτή τη μέθοδο δοκιμής όταν μια σωστή απάντηση χρειάζεται να συμφωνεί με την αναμενόμενη απόκριση ακριβώς, ή σχεδόν ακριβώς, στη δομή διατύπωσης και προτάσεων. Για παράδειγμα, συχνά απαιτείται ακριβής διατύπωση όταν δημιουργείται ένα νομικό έγγραφο. Αυτή η δοκιμή χρησιμοποιείται συνήθως παράλληλα με τη μέθοδο δοκιμής Σύγκριση έννοιας , η οποία εξασφαλίζει ομοιότητα της έννοιας, αλλά δεν εξασφαλίζει ομοιότητα της διατύπωσης. Είναι επίσης διαφορετικό από τη μέθοδο δοκιμής αντιστοίχισης λέξης-κλειδιού , η οποία εξασφαλίζει την παρουσία ορισμένων όρων, αλλά δεν εξασφαλίζει ομοιότητα κατασκευής. Εάν ολόκληρη η απάντηση πρέπει να συμφωνεί απόλυτα με ολόκληρη την αναμενόμενη απάντηση, χρησιμοποιήστε τη μέθοδο δοκιμής Ακριβής αντιστοίχιση .

Ένα μετρικό συνημίτονου ομοιότητας αξιολογεί πόσο παρόμοια είναι η απάντηση του παράγοντα με τη διατύπωση της αναμενόμενης απόκρισης και προσδιορίζει μια βαθμολογία. Η βαθμολογία κυμαίνεται από 0 έως 1, όπου 1 σημαίνει ότι η απάντηση αντιστοιχεί στενά και το 0 σημαίνει ότι δεν το κάνει. Μπορείτε να ορίσετε ένα όριο βαθμολογίας για να προσδιορίσετε τι αποτελεί μια βαθμολογία που είναι αποδεκτή ως απάντηση.

  1. Κατά την προσθήκη ή την επεξεργασία μεθόδων δοκιμής, επιλέξτε Ομοιότητα κειμένου.

  2. Ορίστε τη βαθμολογία επιτυχίας για αυτήν τη μέθοδο.

  3. Προσθέστε τις αναμενόμενες απαντήσεις. Οποιαδήποτε υπόθεση δοκιμής χωρίς αναμενόμενες απαντήσεις παράγει ένα Μη έγκυρο αποτέλεσμα για αυτήν τη μέθοδο δοκιμής.

    1. Επιλέξτε μια δοκιμαστική περίπτωση.

    2. Προσθέστε την απάντηση που περιμένετε.

    3. Επιλέξτε Εφαρμογή για να αποθηκεύσετε την αναμενόμενη απάντηση.

    4. Επαναλάβετε για όλες τις δοκιμαστικές περιπτώσεις που θέλετε να δοκιμάσετε χρησιμοποιώντας αυτήν τη μέθοδο.

Ακριβής αντιστοίχιση

Διατίθεται για μεμονωμένα σύνολα δοκιμών απόκρισης. Η ακριβής αντιστοίχιση ελέγχει εάν η απάντηση του παράγοντα συμφωνεί ακριβώς με την αναμενόμενη απόκριση στη δοκιμή: χαρακτήρας για χαρακτήρα, λέξη προς λέξη. Αν είναι το ίδιο, περνάει. Εάν κάτι διαφέρει, αποτυγχάνει. Η ακριβής αντιστοίχιση είναι χρήσιμη για σύντομες, ακριβείς απαντήσεις όπως αριθμούς, κωδικούς ή σταθερές φράσεις. Δεν ταιριάζει σε απαντήσεις που οι χρήστες μπορούν να διατυπώσουν με πολλούς σωστούς τρόπους.

  1. Κατά την προσθήκη ή την επεξεργασία μεθόδων δοκιμής, επιλέξτε Ακριβής αντιστοίχιση.

  2. Προσθέστε τις αναμενόμενες απαντήσεις. Οποιαδήποτε υπόθεση δοκιμής χωρίς αναμενόμενες απαντήσεις παράγει ένα Μη έγκυρο αποτέλεσμα για αυτήν τη μέθοδο δοκιμής.

    1. Επιλέξτε μια δοκιμαστική περίπτωση.

    2. Προσθέστε την απάντηση που περιμένετε.

    3. Επιλέξτε Εφαρμογή για να αποθηκεύσετε την αναμενόμενη απάντηση.

    4. Επαναλάβετε για όλες τις δοκιμαστικές περιπτώσεις που θέλετε να δοκιμάσετε χρησιμοποιώντας αυτήν τη μέθοδο.

Προσαρμοσμένη

Το Custom είναι μια μέθοδος δοκιμής με δυνατότητα προσαρμογής. Σας επιτρέπει να ελέγχετε και να επισημαίνετε απαντήσεις παράγοντα χρησιμοποιώντας τα δικά σας κριτήρια. Για παράδειγμα, μπορείτε να δημιουργήσετε μια δοκιμή συμμόρφωσης για έναν παράγοντα ανθρώπινου δυναμικού για να επισημάνετε τις απαντήσεις δοκιμής είτε ως συμβατές είτε ως μη συμβατές με την περιγραφή συμμόρφωσης του ανθρώπινου δυναμικού.

Μια προσαρμοσμένη δοκιμή διαθέτει δύο στοιχεία για να ρυθμίσετε τις παραμέτρους:

Οδηγίες αξιολόγησης: Περιγράφει τον στόχο που θέλετε να επιτύχετε με αυτή τη δοκιμή. Τι θέλετε να μάθει το τεστ για τις απαντήσεις του ατζέντης σας;

Οι καλές οδηγίες αξιολόγησης θα πρέπει να:

  • Να είστε προσανατολισμένος στον στόχο.

  • Χρησιμοποιήστε μόνο τους επιτρεπόμενους χαρακτήρες.

  • Χρησιμοποιήστε κουκκίδες και επικεφαλίδες για την οργάνωση.

Για παράδειγμα:

Evaluate the agent's response for HR policy compliance.

What to check:
- Determine whether the answer protects privacy and avoids revealing or requesting sensitive data.
- Avoids discrimination, bias, or inappropriate judgments.
- Provides safe, neutral, HR-aligned guidance.
- Does not give legal advice or make definitive claims.

Ετικέτες: Περιγράφει το αποτέλεσμα που εκχωρείται σε κάθε απάντηση χρησιμοποιώντας την προσαρμοσμένη δοκιμή. Οι ετικέτες έχουν επίσης αναθέσεις επιτυχίας/αποτυχίας, οι οποίες προσμετρούνται στον ρυθμό επιτυχίας του συνόλου δοκιμών για αυτήν τη μέθοδο δοκιμής.

Οι ετικέτες έχουν ένα όνομα και μια περιγραφή. Μια καλή περιγραφή:

  • Είναι περιεκτικό.

  • Περιέχει τα χαρακτηριστικά που αναζητάτε σε αντίστοιχες απαντήσεις.

Μια στρατηγική για τις ετικέτες είναι να έχετε δύο: η μία είναι οι απαντήσεις που πληρούν με επιτυχία τα κριτήρια που αναζητάτε και η άλλη για απαντήσεις που δεν έχουν. Για παράδειγμα, μια προσαρμοσμένη δοκιμή συμμόρφωσης πολιτικής ανθρώπινου δυναμικού μπορεί να έχει συμβατές και μη συμβατές ως ετικέτες.

  1. Κατά την προσθήκη ή επεξεργασία μεθόδων δοκιμής, επιλέξτε Προσαρμογή.

  2. Εισαγάγετε ένα όνομα για αυτή την προσαρμοσμένη δοκιμή.

  3. Προσθέστε οδηγίες αξιολόγησης.

  4. Προσθέστε δύο ή περισσότερες ετικέτες. Κάθε ετικέτα έχει ένα όνομα και μια περιγραφή.

    Για να προσθέσετε περισσότερες ετικέτες, επιλέξτε Προσθήκη ετικέτας.

    Οι τίτλοι ετικέτας μπορούν να χρησιμοποιούν μόνο γράμματα, αριθμούς, διάστημα, ενωτικό -, χαρακτήρα υπογράμμισης _, κάθετο /, και σύμβολο &, σύμβολο συν +, και τελεία ..

  5. Ορίστε το αποτέλεσμα Επιτυχία ή Αποτυχία για κάθε ετικέτα.

  6. Επιλέξτε OK.

  • Last updated on