Σχεδιασμός και δημιουργία δοκιμής απόδοσης συνομιλητικού εκπροσώπου

Οι συνομιλητικοί παράγοντες που έχουν δημιουργηθεί με το Copilot Studio εκτελούνται σε μια πλατφόρμα που κλιμακώνεται αυτόματα για να υποστηρίξει αυξήσεις στη ζήτηση και τον φόρτο. Ωστόσο, οι συνομιλητές χρησιμοποιούν συχνά προσαρμοσμένη λογική ή κλήσεις σε API παρασκηνίου, τα οποία εισάγουν λανθάνοντα χρόνο επειδή η προσαρμοσμένη λογική είναι αναποτελεσματική ή τα υποκείμενα API και τα συστήματα παρασκηνίου δεν κλιμακώνονται σωστά.

Η δοκιμή απόδοσης αξιολογεί την απόδοση και τη σταθερότητα ενός πράκτορα κάτω από διαφορετικά μοτίβα φορτίου. Εντοπίζει πιθανά προβλήματα καθώς αυξάνεται η βάση χρηστών, διασφαλίζοντας ότι ο πράκτορας παραμένει λειτουργικός και ανταποκρίνεται. Εάν δεν δοκιμάσετε τον συνομιλητή σας υπό φορτίο, ενδέχεται να λειτουργήσει καλά κατά την ανάπτυξη και τη δοκιμή, αλλά να αποτύχει στην πραγματική επισκεψιμότητα χρηστών.

Πριν ασχοληθείτε με τις τεχνικές πτυχές της δοκιμής απόδοσης, καθορίστε κριτήρια αποδοχής που αποτυπώνουν την επιθυμητή εμπειρία χρήστη και εντοπίστε περιπτώσεις χρήσης συνομιλίας που δημιουργούν διακριτά μοτίβα φόρτωσης. Αυτό το άρθρο καλύπτει εν συντομία το στάδιο σχεδιασμού της δοκιμής απόδοσης και παρέχει οδηγίες σχετικά με τις τεχνικές ιδιαιτερότητες της δημιουργίας φόρτου για τους συνομιλητές σας.

Προγραμματίστε τη δοκιμή απόδοσης

Ένα σχέδιο δοκιμής απόδοσης θα πρέπει να έχει καθορισμένο στόχο και συγκεκριμένα κριτήρια αποδοχής. Για παράδειγμα, ορισμένες δοκιμές μετρούν την απόδοση ενός συστήματος υπό τυπικό φορτίο, ενώ άλλες δοκιμές δημιουργούν πιο ακραία πίεση που σκόπιμα προκαλεί ένα σύστημα να μην ανταποκρίνεται. Κατά τη μέτρηση της απόδοσης των συνομιλιακών παραγόντων που έχουν δημιουργηθεί με το Copilot Studio, σχεδιάστε δοκιμές για να μετρήσετε είτε τις βασικές επιδόσεις του εκπροσώπου είτε τον αναμενόμενο μεγάλο φόρτο, αλλά μην ρυθμίζετε τις παραμέτρους των δοκιμών για να δημιουργήσετε υπερβολικό άγχος.

Προειδοποίηση

Ο φόρτος που δημιουργείται και υπερβαίνει την αναμενόμενη συμπεριφορά του χρήστη μπορεί να οδηγήσει σε υπερβολική κατανάλωση μηνυμάτων και ανεπιθύμητο περιορισμό των περιβαλλόντων. Για να αποφύγετε τον στραγγαλισμό και την υπερβολική κατανάλωση, βεβαιωθείτε ότι:

• Οι δοκιμές σας μιμούνται τη ρεαλιστική συμπεριφορά των χρηστών.
• Ο μισθωτής και τα περιβάλλοντά σας έχουν εκχωρημένες επαρκείς άδειες χρήσης και πολιτικές χρέωσης.

Κατανόηση της συμπεριφοράς των χρηστών

Ξεκινήστε το σχέδιο δοκιμής αναλύοντας τον τρόπο με τον οποίο αναμένεται να συμπεριφέρονται οι χρήστες σε διαφορετικές περιπτώσεις χρήσης συνομιλίας. Από την άποψη της δοκιμής φόρτου, η συμπεριφορά των χρηστών μπορεί να διαφέρει ανάλογα με τις περιπτώσεις χρήσης όσον αφορά το τι λένε ή ρωτούν οι χρήστες (για παράδειγμα, "Θέλω να κάνω κράτηση πτήσης" ή "Ποια είναι η πολιτική επιστροφών σας;"), τον αριθμό των χρηστών που οδηγεί σε μια συγκεκριμένη περίπτωση χρήσης και τα μοτίβα αφοσίωσης των χρηστών (για παράδειγμα, οι χρήστες συνδέονται ταυτόχρονα το μεσημέρι έναντι μιας σταδιακής συσσώρευσης κατά τη διάρκεια της ημέρας).

Ο παρακάτω πίνακας περιγράφει την αναμενόμενη συμπεριφορά χρήστη για έναν τραπεζικό συνομιλητή.

Περίπτωση χρήσης	Κοινές εκφράσεις χρήστη	Μοτίβο αρραβώνων
Αίτηση δανείου	Χρειάζομαι νέο δάνειο Θα ήθελα να κάνω αίτηση για νέο δάνειο ...	1.000 ταυτόχρονοι χρήστες κατά μέσο όρο κατά τη διάρκεια της ημέρας
Έρευνα υπολοίπου	Ποιο είναι το υπόλοιπο του λογαριασμού μου; Εμφάνιση του υπολοίπου του λογαριασμού μου...	10.000 ταυτόχρονοι χρήστες, όλοι συνδεδεμένοι γύρω στο μεσημέρι
Πρόσθετες περιπτώσεις χρήσης	…	…

Δημιουργία σχεδίου δοκιμής

Αφού ορίσετε τη συμπεριφορά των χρηστών όσον αφορά τις περιπτώσεις χρήσης και τα μοτίβα αφοσίωσης, σκεφτείτε τις ιδιαιτερότητες του σχεδίου δοκιμής απόδοσης. Τουλάχιστον, ένα σχέδιο δοκιμής απόδοσης για έναν συνομιλητή θα πρέπει να καθορίζει έναν στόχο, σενάρια δοκιμής, βασικούς δείκτες απόδοσης, λεπτομερή δεδομένα δοκιμής και κριτήρια επιτυχίας.

Εάν η ομάδα σας έχει ήδη ορίσει σενάρια συνομιλίας για αξιολογήσεις, είτε μέσω της δημιουργίας δοκιμαστικών περιπτώσεων εντός του προϊόντος είτε χρησιμοποιώντας το κιτ Copilot Studio, μπορείτε να χρησιμοποιήσετε ξανά αυτά τα σενάρια για να ξεκινήσετε τη δημιουργία του σχεδίου δοκιμής.

Το παρακάτω παράδειγμα σχεδίου δοκιμής είναι για έναν τραπεζικό συνομιλητή. Το σχέδιο χρησιμοποιεί τις περιπτώσεις χρήσης συνομιλίας που προσδιορίστηκαν προηγουμένως για να ορίσει ένα βασικό σενάριο δοκιμής και ένα σενάριο δοκιμής φορτίου. Η δοκιμή της βασικής γραμμής αξιολογεί την κανονική απόδοση, εντοπίζοντας προβλήματα κατά την τακτική χρήση, ενώ περισσότερο φορτίο μπορεί να αποκαλύψει πώς το σύστημα χειρίζεται τη μέγιστη δραστηριότητα των χρηστών.

Τμήμα	Λεπτομέρειες
Στόχος	Αξιολογήστε την απόδοση του τραπεζικού συνομιλητή υπό συνθήκες βάσης και φόρτου
Εμβέλεια	Στο πεδίο εφαρμογής: Δοκιμές βάσης και φορτίουΕκτός πεδίου εφαρμογής: Ασκήσεις προσομοίωσης ακραίων καταστάσεων
Βασικοί δείκτες απόδοσης (KPIs)	Χρόνος απόκρισης: Χρόνος απάντησης σε ερωτήματα χρηστών Ποσοστό σφάλματος: Ποσοστό αποτυχημένων απαντήσεων
Σενάρια δοκιμής	Βασικές δοκιμές Αίτηση δανείου Φόρτωση χρήστη: 1,000 ταυτόχρονοι χρήστες Διάρκεια: 15 λεπτά. Δοκιμή φορτίου Αίτηση δανείου Φόρτωση χρήστη: 1,000 ταυτόχρονοι χρήστες Διάρκεια: 15 λεπτά. Έρευνα υπολοίπου Φόρτωση χρήστη: 10.000 ταυτόχρονοι χρήστες Διάρκεια: 5 λεπτά
Δεδομένα δοκιμής	Εκφωνήσεις πολλαπλών στροφών αίτησης δανείου Εκφωνήσεις πολλαπλών στροφών έρευνας υπολοίπου
Εργαλεία	Εργαλείο δοκιμής απόδοσης: Apache JMeter Αναφορά: Ενσωματωμένες αναφορές JMeter
Κριτήρια επιτυχίας	Αρχική τιμή: 95% αποκρίσεις κάτω από 2 δευτερόλεπτα. Ποσοστό <σφάλματος 0,5% Φορτίο: 90% αποκρίσεις κάτω από 3 δευτερόλεπτα. Ποσοστό <σφάλματος 1%

Συνεργαστείτε με τεχνικούς και επιχειρηματικούς ενδιαφερόμενους φορείς για να αναπτύξετε ένα σχέδιο δοκιμών που ταιριάζει στις ανάγκες του οργανισμού σας. Συμφωνήστε για τις βασικές παραμέτρους που περιγράφονται στο παράδειγμα. Μάθετε σχετικά με τη χρήση εργαλείων όπως το Apache JMeter για τη δημιουργία δοκιμαστικών σεναρίων στο Δείγμα αναφοράς δοκιμής απόδοσης και οδηγίες.

Προσομοίωση συνομιλιών πολλαπλών στροφών

Τα δεδομένα δοκιμής που καθορίζονται στο σχέδιο υποδηλώνουν ότι η προγραμματισμένη δοκιμή απόδοσης οδηγεί σε συνομιλίες πολλαπλών στροφών. Οι συνομιλίες πολλαπλών στροφών είναι μια σειρά μηνυμάτων εμπρός και πίσω που αποστέλλονται μεταξύ των προσομοιωμένων χρηστών και του πράκτορα συνομιλίας. Οι δοκιμές απόδοσης θα πρέπει να οδηγούν σε συνομιλίες πολλαπλών στροφών, ώστε το φορτίο που δημιουργείται να μοιάζει με την πραγματική συμπεριφορά του χρήστη. Επίσης, ορισμένες μακροχρόνιες ενέργειες ή κλήσεις API επικαλούνται μόνο όταν οι χρήστες κάνουν μια συγκεκριμένη σειρά επιλογών ή στέλνουν ένα συγκεκριμένο μοτίβο μηνυμάτων σε μια συνομιλία.

Στο παρακάτω παράδειγμα, το API υποστήριξης της τράπεζας καλείται μόνο αφού ο χρήστης επιλέξει λογαριασμό ταμιευτηρίου. Ο χρόνος απόκρισης για το πρώτο μήνυμα είναι μικρότερος από ένα δευτερόλεπτο, επειδή εμπλέκεται μόνο η μηχανή αναγνώρισης πρόθεσης του πράκτορα. Το τελευταίο μήνυμα περιμένει μια απάντηση από ένα API υποστήριξης, το οποίο εισάγει επιπλέον καθυστέρηση. Χωρίς την προσομοίωση μιας συνομιλίας πολλαπλών στροφών, δεν θα είχαν προκύψει προβλήματα απόδοσης.

Η προσομοίωση συνομιλιών πολλαπλών στροφών απαιτεί προγραμματισμό τόσο κατά την προετοιμασία των δεδομένων δοκιμής όσο και κατά τη δημιουργία δοκιμαστικών σεναρίων. Συμπεριλάβετε μια σειρά από εκφωνήσεις χρήστη στα δεδομένα δοκιμής που καλούν πλήρεις ροές συνομιλίας, όπως φαίνεται στο παράδειγμα. Βεβαιωθείτε ότι τα δοκιμαστικά σενάρια στέλνουν πολλαπλές εκφράσεις σε μία μόνο συνομιλία.