Επιλογή υπολογιστή φιλοξενίας πράκτορα

Όταν αξιολογείτε την ποιότητα, την αξιοπιστία και το κόστος λειτουργίας, εξετάστε την επιλογή του κεντρικού υπολογιστή παράγοντα, όπως Microsoft 365 Copilot (δηλωτικοί παράγοντες), Copilot Studio (προσαρμοσμένοι παράγοντες) ή Azure. Κρατήστε αυτήν την απόφαση ξεχωριστή από τη μέθοδο σύνταξης του πράκτορα. Το πού εκτελείται ή φιλοξενείται ένας πράκτορας καθορίζει τις δυνατότητες ενορχήστρωσης, την πρόσβαση στο μοντέλο και τις λειτουργικές του δυνατότητες. Αυτές οι δυνατότητες επηρεάζουν άμεσα την ποιότητα, τις επιδόσεις και το κόστος λειτουργίας της λύσης με δυνατότητα κλιμάκωσης.

Αυτό το άρθρο εξηγεί πώς οι πλατφόρμες κεντρικού υπολογιστή εκπροσώπου επηρεάζουν τις δυνατότητες λύσης. Μαθαίνετε πώς διαφορετικές μέθοδοι σύνταξης μπορούν να δημιουργήσουν παράγοντες στην ίδια πλατφόρμα φιλοξενίας, διατηρώντας παράλληλα σταθερή ποιότητα και συμπεριφορά, πώς μια μοναδική μέθοδος σύνταξης μπορεί να δημιουργήσει παράγοντες σε διαφορετικές πλατφόρμες με διαφορετικά αποτελέσματα ποιότητας και συμπεριφοράς, καθώς και πώς ο κεντρικός υπολογιστής διαμορφώνει το προφίλ κόστους της λύσης.

Κόστος ως ζήτημα λειτουργικότητας

Χειρισμός του κόστους ως λειτουργικού χαρακτηριστικού σταθερής κατάστασης και όχι ως εφάπαξ ερώτησης προμήθειας. Δύο λύσεις μπορούν να παράγουν πανομοιότυπες απαντήσεις ενώ διαφέρουν κατά μια τάξη μεγέθους κόστους, επειδή το κόστος καθορίζεται από τον τρόπο εκτέλεσης του παράγοντα, όχι μόνο αυτό που επιστρέφει. Η πλατφόρμα φιλοξενίας επιδιορθώνει σε μεγάλο βαθμό τους μοχλούς που είναι διαθέσιμοι σε εσάς:

• Κατανάλωση token ανά αλληλεπίδραση. Κάθε οδηγία, τμήμα γνώσεων και ορισμός εργαλείου που επεξεργάζεται το μοντέλο σε μια δεδομένη στροφή τιμολογείται σε αυτήν τη σειρά. Το μόνιμο περιβάλλον που φορτώνεται σε κάθε αλληλεπίδραση χρεώνεται σε κάθε αλληλεπίδραση, είτε είναι σχετικό είτε όχι.
• Ο αριθμός των περιστροφών μοντέλου. Ο ενορχηστρωτής αποφασίζει πόσες φορές καλείται το μοντέλο για να ολοκληρώσει μια εργασία. Περισσότεροι βρόχοι κλήσης εργαλείου και περισσότερος επανασχεδασμός σημαίνουν περισσότερη συμπεραίωση.
• Επιλογή μοντέλου. Τα μεγαλύτερα μοντέλα συλλογισμού κοστίζουν περισσότερο ανά διακριτικό και αυξάνουν την καθυστέρηση. Ο κεντρικός υπολογιστής καθορίζει ποια μοντέλα είναι διαθέσιμα και εάν μπορείτε να δρομολογήσετε διαφορετικά βήματα σε διαφορετικά μοντέλα.
• Ντετερμινισμός. Η εργασία που είναι αιτιοκρατική δεν χρειάζεται καθόλου συμπεραίωση μοντέλου. Η μετακίνηση του σε κώδικα ή ενέργειες καταργεί τόσο το κόστος διακριτικού όσο και τη διακύμανση.

Οι ενότητες που ακολουθούν αναλύουν τα στοιχεία ελέγχου που επηρεάζουν περισσότερο το κόστος: την αξιοποίηση ενορχήστρωσης, την επιλογή μοντέλου και τον τρόπο με τον οποίο δημιουργείτε οδηγίες έναντι αιτιοκρατικών ενεργειών.

φιλοξενία Microsoft 365 Copilot

Microsoft 365 Copilot παρέχει ένα διαχειριζόμενο περιβάλλον φιλοξενίας για δηλωτικούς παράγοντες με ενσωματωμένες δυνατότητες διαχείρισης, ασφάλειας και συμμόρφωσης. Αυτή η πλατφόρμα προσφέρει σταθερά χαρακτηριστικά απόδοσης ανεξάρτητα από τη μέθοδο σύνταξης που χρησιμοποιείτε για τη δημιουργία του παράγοντα.

Για παράδειγμα, μπορείτε να συντάξετε δηλωτικούς παράγοντες χρησιμοποιώντας τη δυνατότητα Agent Builder σε Microsoft 365 Copilot, Copilot Studio ή στο Κιτ εργαλείων Microsoft 365 Agents. Ο κεντρικός υπολογιστής εκπροσώπου καθορίζει τις επιλογές ενορχήστρωσης, καταλόγου και μοντέλου γλώσσας που είναι διαθέσιμες στον προγραμματιστή. Αυτές οι επιλογές είναι οι μεγαλύτεροι παράγοντες επιρροής της ποιότητας απόκρισης. Οι πλατφόρμες συγγραφής και δημιουργίας θα πρέπει να είναι το δευτερεύον κριτήριο για μια λύση στη φάση της λειτουργικής σταθερής κατάστασης.

Διαφορετικές πλατφόρμες συγγραφής παρέχουν διαφορετικά επίπεδα επιχειρησιακών δυνατοτήτων που ταιριάζουν σε διαφορετικές οργανωτικές ανάγκες και στάδια κύκλου ζωής ανάπτυξης. Με την προϋπόθεση ότι ο υποκείμενος κεντρικός υπολογιστής του παράγοντα παραμένει Microsoft 365 Copilot (δηλωτικοί παράγοντες), η ποιότητα παραμένει σταθερή καθώς προχωράτε σε διαφορετικούς καμβάδες σύνταξης για να καλύψετε τις λειτουργικές ανάγκες σας.

Ο παρακάτω πίνακας συνοψίζει τις σκέψεις για την πλατφόρμα σύνταξης που θα χρησιμοποιηθεί για δηλωτικούς παράγοντες ως ενδεικτικό παράδειγμα.

Απαίτηση	Δυνατότητα Agent Builder στο Copilot	Copilot Studio	Κωδικός Pro
Κάτοχος λύσης	Άτομο	Ομάδα	Επιχείρηση
Ενημέρωση και συντήρηση	Χωρίς διαχείριση εκδόσεων	Διαχείριση εκδόσεων με κλειδωμένη επεξεργασία	Διαχείριση εκδόσεων με ταυτόχρονη επεξεργασία
Πλαίσιο αξιολόγησης	Πίνακας δοκιμών	Πίνακας δοκιμών και Pro Code	Πλήρως προσαρμόσιμο
CI/CD	Κανένα	Some	Ναι
Παρακολούθηση σε πραγματικό χρόνο	Κανένα	Κανένα	Ναι
Τηλεμετρία	Περιορισμένος	Some	Πλήρως προσαρμόσιμο
Κόστος/απόδοση επένδυσης	Περιλαμβάνεται με Microsoft 365 Copilot	Κυμαίνεται από άδεια έως κατανάλωση	Πλήρως προσαρμόσιμο με βάση τις επιλογές προ-κώδικα
Κόστος κατανάλωσης IQ εργασίας	Το grounding του Work IQ περιλαμβάνεται στην άδεια χρήσης του Microsoft 365 Copilot· οι χρήστες χωρίς άδεια χρήσης χρεώνονται βάσει κατανάλωσης.	Κατανάλωση με βάση τις Copilot πιστώσεις (πληρωμή ανάλογα με τη χρήση ή προπληρωμή)	Βάσει κατανάλωσης σε πιστώσεις Copilot μέσω των API Work IQ· με μετρημένη κατανάλωση και ανώτατο όριο στο κέντρο διαχείρισης Microsoft 365

Για παράδειγμα, όταν ένας παράγοντας αντλεί από το Work IQ για το περιβάλλον, την ανάκτηση ή τις ενέργειες, αυτή η χρήση τιμολογείται μεταβλητά, με την κλιμάκωση του πιστωτικού κόστους να κλιμακώνεται στην πολυπλοκότητα του σεναρίου, όπως το μέγεθος του περιβάλλοντος, το βάθος της λογικής και τον αριθμό των βημάτων.

Σημείωμα

Δεν υπάρχει ξεχωριστή συνδρομή IQ εργασίας, SKU ή άδεια χρήσης ανά χρήστη. Το κόστος της συνομιλίας και των συμφραζομένων ποικίλλει, επομένως δύο παρόμοιοι πράκτορες μπορούν να χρησιμοποιούν πολύ διαφορετικές ποσότητες πιστώσεων, ανάλογα με το πόσα συμφραζόμενα χρησιμοποιούν ως βάση και πόση πολυβηματική συλλογιστική εκτελούν. Χρησιμοποιήστε τον πίνακα εργαλείων διαχείρισης κόστους στην Κέντρο διαχείρισης Microsoft 365 για να παρακολουθείτε τη χρήση πίστωσης και να ορίζετε όρια δαπανών για μισθωτές, ομάδες και χρήστες. Τα μοτίβα βελτιστοποίησης κόστους στη Δημιουργία για βελτιστοποίηση κόστους- ελαχιστοποιώντας το περιβάλλον που είναι πάντα ενεργό και μετακινώντας αιτιοκρατικές εργασίες σε δέσμες ενεργειών και ενέργειες, βοηθούν στον έλεγχο των δαπανών για work IQ.

Λάβετε υπόψη άλλους παράγοντες, όπως η ανάπτυξη προγραμματιστών και τα εργαλεία εντοπισμού σφαλμάτων (δεν εμφανίζονται στον πίνακα). Λάβετε υπόψη ότι αυτοί οι παράγοντες επηρεάζονται σε μεγάλο βαθμό από τη στάση ασφαλείας του οργανισμού σας και την ικανότητά του για μια συγκεκριμένη πλατφόρμα ανάπτυξης.

Προβιβάστε Microsoft 365 Copilot δηλωτικούς παράγοντες που έχουν δημιουργηθεί στο Agent Builder σε έναν δηλωτικό παράγοντα που έχει συνταχθεί με το Κιτ εργαλείων Microsoft 365 Agents. Αυτή η στρατηγική διατηρεί Microsoft 365 Copilot ως ενορχηστρωτής για να εξασφαλίσει συνεπή συμπεριφορά του παράγοντα. Εάν ένας πειραματικός προσαρμοσμένος παράγοντας που έχει δημιουργηθεί στο Copilot Studio πληροί τα κριτήρια αξιολόγησης επαλήθευσης ιδέας και απαιτείται έλεγχος προέλευσης για επιχειρηματικές λειτουργίες, προωθήστε τον παράγοντα σε μια διαχειριζόμενη pipeline στο Power Platform. Αυτή η προσέγγιση εξασφαλίζει ότι ο ενορχηστρωτής του Copilot Studio παραμένει ο κύριος μηχανισμός για τη διατήρηση της συμπεριφοράς του παράγοντα.

Ενορχήστρωση και πλαίσιο παραγόντων

Ο ενορχηστρωτής, ή το πλαίσιο ελέγχου, είναι ο βρόχος εκτέλεσης που σχεδιάζει τα βήματα, επιλέγει και ενεργοποιεί εργαλεία, διαχειρίζεται το παράθυρο συμφραζομένων και αποφασίζει πότε μια εργασία έχει ολοκληρωθεί. Είναι ο μοναδικός μεγαλύτερος παράγοντας τόσο της ποιότητας της απόκρισης όσο και του λειτουργικού κόστους, επειδή ελέγχει πόσες στροφές μοντέλου εμφανίζονται, πόσα περιβάλλοντα συσσωρεύονται σε κάθε στροφή και πώς τα αποτελέσματα των εργαλείων τροφοδοτούνται ξανά στο μοντέλο.

Επειδή η πλατφόρμα φιλοξενίας παρέχει τον ενορχηστρωτή, η επιλογή του παρόχου φιλοξενίας καθορίζει σε μεγάλο βαθμό τα όρια κόστους και καθυστέρησης:

• Microsoft 365 Copilot παρέχει έναν διαχειριζόμενο ενορχηστρωτή. Λαμβάνετε προβλέψιμο κόστος που περιλαμβάνεται με άδεια χρήσης και συνεπή συμπεριφορά, με περιορισμένο έλεγχο του ίδιου του βρόχου.
• Copilot Studio παρέχει διαμορφώσιμη ενορχήστρωση (για παράδειγμα, θέματα και δημιουργία ενορχήστρωσης). Το κόστος κυμαίνεται από άδειες χρήσης έως βάσει κατανάλωσης, ανάλογα με το πόση παραγωγική εργασία αναθέτετε στο μοντέλο.
• Το Azure και ο επαγγελματικός κώδικας σάς δίνουν πλήρη έλεγχο στον βρόχο. Αξιολογήστε το κόστος συντήρησης του κώδικα σε σύγκριση με τη χρήση ενός καλά συντηρημένου πλαισίου ή SDK, όπως το Copilot SDK.

Όταν τον εκθέτει ο κεντρικός υπολογιστής, οι βασικοί μοχλοί ενορχήστρωσης είναι οι εξής:

• Γυρίστε τον προϋπολογισμό. Περιορίστε ή προσαρμόστε τον αριθμό των επαναλήπτων σχεδιασμού και κλήσης εργαλείων που λαμβάνει ο ενορχηστρωτής πριν επιστρέψει.
• Παράλληλες έναντι διαδοχικών κλήσεων εργαλείων. Εκτελέστε ταυτόχρονα κλήσεις ανεξάρτητων εργαλείων για να μειώσετε τον λανθάνοντα χρόνου. Ενοποιήστε τις κλήσεις, όταν είναι δυνατό, για να μειώσετε τις αλληλεπιδράσεις.
• Διαχείριση περιβάλλοντος. Περικόψτε, συνοψίστε ή εφαρμόστε παραθυροποίηση στη συνομιλία, ώστε να αποτρέψετε την ανεξέλεγκτη αύξηση του συμφραζομένου, διατηρώντας το κόστος σε token ανά γύρο σταθερό αντί να αυξάνεται σωρευτικά.
• Προσωρινή αποθήκευση. Επαναχρησιμοποιήστε προθέματα προτροπών που είναι αποθηκευμένες στην κρυφή μνήμη σε διαδοχικές αλληλεπιδράσεις ή περιόδους λειτουργίας για να αποφύγετε την εκ νέου χρέωση για σταθερό περιβάλλον.

Σημείωμα

Ένας πιο ικανός ενορχηστρωτής μπορεί να αυξήσει την ποιότητα και το κόστος ταυτόχρονα. Προσαρμόστε το επίπεδο πολυπλοκότητας της ενορχήστρωσης στο έργο. Ένας απλός παράγοντας αναζήτησης δεν χρειάζεται δημιουργία πολλαπλών βημάτων και η πληρωμή για αυτό διογκώνει το κόστος χωρίς βελτίωση των αποτελεσμάτων.

Επιλογή μοντέλου

Το μοντέλο που επιλέγετε επηρεάζει το κόστος και τον λανθάνοντα χρόνου ανά διακριτικό και είναι σε μεγάλο βαθμό ανεξάρτητο από τη μέθοδο σύνταξης. Τα μεγαλύτερα μοντέλα συλλογισμού παρέχουν αποτελέσματα υψηλότερης ποιότητας σε σύνθετες εργασίες, αλλά κοστίζουν περισσότερο ανά διακριτικό και ανταποκρίνονται πιο αργά. Αντιστοιχίζει το μοντέλο με τη δυσκολία εργασίας αντί να έχει ως προεπιλογή την επιλογή με τη μεγαλύτερη δυνατότητα για κάθε εργασία.

Αρχιτέκτονας δρομολόγησης μοντέλων όταν ο κεντρικός υπολογιστής την υποστηρίζει:

• Επιφυλάξτε τα προηγμένα μοντέλα συλλογισμού για πραγματικά δύσκολα βήματα, όπως αμφίσημο συλλογισμό, σύνθεση ή δημιουργία ανοιχτού τύπου.
• Δρομολογήστε αιτιοκρατικές ή απλές δευτερεύουσες εργασίες όπως η ταξινόμηση, η εξαγωγή, η μορφοποίηση και η δρομολόγηση αποφάσεων σε μικρότερα, φθηνότερα και ταχύτερα μοντέλα.
• Αναμίξτε μοντέλα μέσα σε έναν μόνο παράγοντα όταν ο ενορχηστρωτής υποστηρίζει την επιλογή μοντέλου ανά βήμα, ώστε κάθε βήμα να πληρώνει μόνο για τη δυνατότητα που χρειάζεται.

Η πλατφόρμα φιλοξενίας καθορίζει ποια μοντέλα βρίσκονται στον κατάλογο, εάν μπορείτε να δρομολογήσετε ανά βήμα το μέγιστο παράθυρο περιβάλλοντος (τα μεγαλύτερα παράθυρα επιτρέπουν περισσότερο περιβάλλον αλλά κοστίζουν περισσότερο ανά σειρά) και εάν υπάρχει διαθέσιμη προσωρινή αποθήκευση προτροπών. Επικυρώστε αυτές τις δυνατότητες ως μέρος της απόφασης κεντρικού υπολογιστή, καθώς ρυθμίζουν τα όρια βελτιστοποίησης κόστους σε επίπεδο μοντέλου που μπορείτε να εκτελέσετε αργότερα.

Δημιουργία αρχιτεκτονικής για βελτιστοποίηση κόστους

Εκτός από την επιλογή ενός οικοδεσπότη, ενορχηστρωτή και μοντέλου, ο τρόπος με τον οποίο δομήετε τις οδηγίες και τις ενέργειες ενός παράγοντα έχει άμεση, επαναλαμβανόμενη επίδραση στο κόστος. Δύο βασικές αρχές καθοδηγούν την οικονομικά αποδοτική σχεδίαση:

1. Μην επιβαρύνεστε με το κόστος συμπερασματολογίας του μοντέλου για ντετερμινιστικές εργασίες. Ομαδοποιήστε προσδιοριστικές ενέργειες σε δέσμες ενεργειών, ενέργειες ή συνδέσεις, αντί να τις περιγράφετε ως οδηγίες φυσικής γλώσσας που πρέπει να ερμηνεύει το μοντέλο σε κάθε εκτέλεση. Ο κώδικας εκτελείται μία φορά, φθηνά, με προβλέψιμη έξοδο, χωρίς κόστος διακριτικού και μικρότερη διακύμανση. Η χρήση φυσικής γλώσσας για το ίδιο συμπέρασμα κόστους διαδικασίας κάθε φορά και μπορεί να παράγει μη συνεπή αποτελέσματα.

2. Μην καταβάλλετε κόστος μόνιμου διακριτικού για τις οδηγίες που χρησιμοποιείτε σπάνια. Οι προφορτωμένες οδηγίες επιπέδου παράγοντα τιμολογούνται σε κάθε στροφή κάθε αλληλεπίδρασης, ακόμα και όταν δεν είναι σχετικές με την αίτηση του χρήστη. Η φόρτωση οδηγιών και γνώσεων κατ' απαίτηση, μόνο όταν συμφωνεί η εργασία, σημαίνει ότι πληρώνετε για αυτό το περιβάλλον όταν χρησιμοποιείται πραγματικά, όχι συνεχώς. Αυτό το μοτίβο προοδευτικής αποκάλυψης διατηρεί χαμηλό το βασικό κόστος κάθε αλληλεπίδρασης.

Ο παρακάτω πίνακας συνοψίζει πότε πρέπει να φορτώσετε εκ των προτέρων οδηγίες στον παράγοντα σε σχέση με το πότε πρέπει να προωθήσετε εργασίες σε προσδιοριστικές δέσμες ενεργειών ή πόρους κατ' απαίτηση.

Προφορτώστε οδηγίες σε επίπεδο παράγοντα όταν…	Χρησιμοποιήστε σενάρια εντολών, ενέργειες ή πόρους κατ' απαίτηση όταν…
Η συμπεριφορά εφαρμόζεται σχεδόν σε κάθε αλληλεπίδραση (βασικός ρόλος, τόνος, προστατευτικά ασφαλείας).	Η συμπεριφορά είναι συγκεκριμένη για την εργασία ή μόνο περιστασιακά σχετική.
Οι οδηγίες είναι σύντομες και πάντα σχετικές.	Η καθοδήγηση είναι μεγάλη ή υποστηρίζεται από μεγάλο υλικό αναφοράς ή γνώσης.
Το μοντέλο χρειάζεται πραγματικά να εξηγήσει ή να προσαρμόσει τη συμπεριφορά.	Η ενέργεια είναι αιτιοκρατική, επαναλαμβανόμενη και έχει σαφώς καθορισμένη έξοδο.
Η καθυστέρηση από μια επιπλέον ανάκτηση ή κλήση εργαλείου θα υποβάθμιζε την εμπειρία.	Το κόστος σε διακριτικό για τη μεταφορά του περιβάλλοντος σε κάθε φορά είναι μεγαλύτερο από μια περιστασιακή φόρτωση.

Ένας οικονομικά αποδοτικός παράγοντας διατηρεί τις οδηγίες του πάντα ελάχιστες και εστιάζουν στην ταυτότητα και την ασφάλεια. Χειρίζεται σταθερές διαδικασίες ως δέσμες ενεργειών ή ενέργειες και παρέχει εξειδικευμένες γνώσεις και οδηγίες ειδικά για εργασίες ως κατ' απαίτηση πόροι που φορτώνονται μόνο όταν είναι σχετικό. Αυτή η προσέγγιση μειώνει το κόστος διακριτικού για κάθε αλληλεπίδραση, καθιστά τη συμπεριφορά πιο προβλέψιμη και διατηρεί τη βασική προτροπή μικρότερη και ευκολότερη στη διατήρηση χωρίς επιπτώσεις στην ικανότητα θυσίας.

Επόμενο βήμα

Μάθετε πώς να μετράτε την ποιότητα του εκπροσώπου, να επικυρώνετε την απόδοση σε διάφορα σενάρια και να διασφαλίζετε την επιχειρησιακή ετοιμότητα πριν από την ανάπτυξη, χρησιμοποιώντας πλαίσια αξιολόγησης.

Πλαίσια αξιολόγησης