Σημείωμα
Η πρόσβαση σε αυτήν τη σελίδα απαιτεί εξουσιοδότηση. Μπορείτε να δοκιμάσετε να εισέλθετε ή να αλλάξετε καταλόγους.
Η πρόσβαση σε αυτήν τη σελίδα απαιτεί εξουσιοδότηση. Μπορείτε να δοκιμάσετε να αλλάξετε καταλόγους.
Τι είναι η σημείωση διαφάνειας;
Ένα σύστημα τεχνητής νοημοσύνης περιλαμβάνει όχι μόνο την τεχνολογία αλλά και τους ανθρώπους που τη χρησιμοποιούν, τους ανθρώπους που επηρεάζονται από αυτήν και το περιβάλλον στο οποίο αναπτύσσεται. Η δημιουργία ενός συστήματος που είναι κατάλληλο για τον επιδιωκόμενο σκοπό του απαιτεί κατανόηση του τρόπου λειτουργίας της τεχνολογίας, ποιες είναι οι δυνατότητες και οι περιορισμοί της και πώς να επιτευχθεί η καλύτερη απόδοση. Οι σημειώσεις διαφάνειας της Microsoft σάς βοηθούν να κατανοήσετε πώς λειτουργεί η τεχνολογία AI, τις επιλογές που μπορούν να κάνουν οι κάτοχοι συστημάτων που επηρεάζουν την απόδοση και τη συμπεριφορά του συστήματος και τη σημασία του να σκεφτόμαστε ολόκληρο το σύστημα, συμπεριλαμβανομένης της τεχνολογίας, των ανθρώπων και του περιβάλλοντος. Χρησιμοποιήστε σημειώσεις διαφάνειας κατά την ανάπτυξη ή την ανάπτυξη του δικού σας συστήματος ή μοιραστείτε τις με τα άτομα που χρησιμοποιούν ή επηρεάζονται από το σύστημά σας.
Οι σημειώσεις διαφάνειας της Microsoft αποτελούν μέρος μιας ευρύτερης προσπάθειας της Microsoft να εφαρμόσει τις Αρχές AI στην πράξη. Για περισσότερες πληροφορίες, ανατρέξτε στις αρχές AI της Microsoft.
Τα βασικά στοιχεία του πράκτορα επιχειρήσεων Real-Time Intelligence
Introduction
Ο πράκτορας επιχειρήσεων Real-Time Intelligence είναι μια πλατφόρμα για τη δημιουργία πρακτόρων που παρακολουθούν ροές δεδομένων, εντοπίζουν ανωμαλίες ή συνθήκες και προτείνουν ενέργειες που βασίζονται σε γεγονότα του πραγματικού κόσμου. Αυτοί οι πράκτορες αυτοματοποιούν τις εργασίες, παρέχουν πληροφορίες και υποστηρίζουν την έγκαιρη λήψη αποφάσεων. Ρυθμίζοντας τους επιχειρηματικούς στόχους, τις προελεύσεις γνώσης, τις ενέργειες και τις οδηγίες, ο εκπρόσωπος δημιουργεί ένα σχέδιο για την παρακολούθηση στόχων, την παρακολούθηση δεδομένων και την εφαρμογή κανόνων για τον εντοπισμό συνθηκών. Ο πράκτορας ειδοποιεί τους χρήστες με προτεινόμενες ενέργειες εάν προκύψουν κατάλληλες συνθήκες.
Βασικοί όροι
Προέλευση γνωσιακής βάσης: Μια σύνδεση βάσης δεδομένων που μπορεί να χρησιμοποιήσει ο εκπρόσωπος για να βρει και να παρακολουθήσει δεδομένα.
Εργαλείο: Μια ενσωματωμένη λειτουργία που επιτρέπει στον πράκτορα να εκτελεί εργασίες, όπως η δημιουργία δομημένων ερωτημάτων από φυσική γλώσσα, η εκτέλεση ανίχνευσης ανωμαλιών και η αποστολή μηνυμάτων Microsoft Teams ή email.
Νήμα: Μια περίοδος λειτουργίας συνομιλίας μεταξύ ενός εκπροσώπου και ενός χρήστη. Τα νήματα αποθηκεύουν μηνύματα και χειρίζονται αυτόματα την περικοπή για να χωρέσουν το περιεχόμενο στο περιβάλλον ενός μοντέλου.
Εγχειρίδιο τακτικής και στρατηγικής: Η εσωτερική αναπαράσταση του πράκτορα για τις οντότητες, τα δεδομένα, τους κανόνες και τις πιθανές ενέργειες που αποτελούν το εγχειρίδιο λειτουργίας του.
Οντότητα: Ένα αντικείμενο στην επιχείρησή σας που παρακολουθεί ο εκπρόσωπος. Για παράδειγμα, σε μια επιχείρηση ενοικίασης ποδηλάτων, τα ποδήλατα και οι σταθμοί σύνδεσης μπορεί να είναι σχετικές οντότητες. Στη διαχείριση του αεροδρομίου, οι γραμμές check-in, τα σημεία ελέγχου ασφαλείας και οι επιβάτες είναι σχετικές οντότητες.
Instances: Συγκεκριμένες εμφανίσεις μιας οντότητας, όπως
Bike 0451ήFlight MS1234.Κανόνες: Συνθήκες ή μοτίβα σε δεδομένα που παρακολουθεί ο πράκτορας πριν κάνει συστάσεις.
Αυτόνομοι κανόνες: Κανόνες που σχετίζονται με ενέργειες που επιτρέπεται να κάνει ο πράκτορας χωρίς προηγούμενη ανθρώπινη επιβεβαίωση.
Δυνατότητες
Συμπεριφορά συστήματος
Όταν δημιουργείτε έναν παράγοντα λειτουργιών, ρυθμίζετε τις παραμέτρους των ακόλουθων ρυθμίσεων: επιχειρηματικοί στόχοι, προελεύσεις γνωσιακής βάσης, πιθανές ενέργειες και οδηγίες. Με αυτές τις εισόδους, ο πράκτορας χρησιμοποιεί μεγάλα γλωσσικά μοντέλα (LLM) για να δημιουργήσει ένα εγχειρίδιο με οντότητες, αντιστοιχισμένα δεδομένα και κανόνες για παρακολούθηση. Μπορείτε να βελτιώσετε το μοντέλο προσαρμόζοντας στόχους και οδηγίες. Όταν ενεργοποιείτε τον εκπρόσωπο, ο εκπρόσωπος παρακολουθεί δεδομένα στο παρασκήνιο. Όταν οι συνθήκες ταιριάζουν με τους κανόνες, αναλύει τα δεδομένα, προσδιορίζει την αιτία και προτείνει ενέργειες για την επίτευξη επιχειρηματικών στόχων.
Ο εκπρόσωπος σάς ειδοποιεί μέσω του Teams με ειδοποιήσεις φυσικής γλώσσας, κρατώντας σας ενήμερους για αρχικές συστάσεις. Μπορείτε να εγκρίνετε, να απορρίψετε ή να κάνετε τον κανόνα αυτόνομο, επιτρέποντας στον πράκτορα να ενεργήσει χωρίς περαιτέρω επιβεβαίωση.
Επειδή ο πράκτορας χρησιμοποιεί LLM για να δημιουργήσει το εγχειρίδιο τακτικής και στρατηγικής του πράκτορα και να προτείνει ενέργειες, θα πρέπει:
Εξετάστε προσεκτικά το μοντέλο συμπεριφοράς πριν ξεκινήσετε τον παράγοντα.
Παρακολουθήστε στενά τις συστάσεις του πράκτορα και επιβεβαιώστε το σκεπτικό που χρησιμοποιεί για να κάνει συστάσεις πριν ενεργήσετε.
Ελέγξτε προσεκτικά τυχόν αυτόνομους κανόνες που δημιουργείτε με τον πράκτορα. Αυτοί οι κανόνες οδηγούν αυτόματα σε ενέργειες.
Περιπτώσεις χρήσης
Προβλεπόμενες χρήσεις
Μπορείτε να χρησιμοποιήσετε πράκτορες λειτουργιών σε διάφορα σενάρια. Οι προβλεπόμενες χρήσεις του συστήματος περιλαμβάνουν:
Διαχείριση ενοικίασης ποδηλάτων: Μπορείτε να διαμορφώσετε τον πράκτορα λειτουργιών ώστε να παρακολουθεί συνεχώς τη διαθεσιμότητα του ποδηλάτου σε διάφορους σταθμούς χρησιμοποιώντας δεδομένα σε πραγματικό χρόνο. Θέστε έναν στόχο για να διασφαλίσετε τη διαθεσιμότητα των ποδηλάτων, ώστε να βρει τα σωστά ερωτήματα για να παρακολουθήσει αυτήν την τιμή για κάθε σταθμό σύνδεσης.
Βελτιστοποίηση ανεμογεννητριών: Ο πράκτορας παρακολουθεί δεδομένα που προέρχονται από αιολικά πάρκα, παρακολουθώντας μετρήσεις όπως η ισχύς εξόδου και η κατεύθυνση και η γωνία των πτερυγίων. Αναζητά ανωμαλίες ή πτώσεις στην ισχύ εξόδου και συνιστά προσαρμογές στις παραμέτρους λειτουργίας.
Εξισορρόπηση αποθέματος αποθήκης: Ο πράκτορας παρακολουθεί τα επίπεδα αποθεμάτων σε πολλές αποθήκες σε πραγματικό χρόνο. Θέστε έναν στόχο για τη διατήρηση της βέλτιστης κατανομής των αποθεμάτων και την αποφυγή αποθεμάτων ή υπερβολικών αποθεμάτων.
Παρακολούθηση εξόδων: Δώστε στον πράκτορα πρόσβαση σε δεδομένα σχετικά με αιτήματα εξόδων και αναφορές. Ζητήστε του να επισημάνει δαπάνες που δεν συμμορφώνονται με κοινούς κανόνες και να εντοπίσει ανωμαλίες σε μακροπρόθεσμα μοτίβα για κάθε εργαζόμενο ή κέντρο κόστους.
Αυτοματοποίηση απόκρισης σε περιστατικά: Ο πράκτορας παρακολουθεί τα αρχεία καταγραφής υποδομής IT και την τηλεμετρία για ενδείξεις υποβάθμισης της υπηρεσίας ή ανωμαλίες ασφαλείας. Στόχος του είναι να μειώσει τον μέσο χρόνο ανίχνευσης (MTTD) και τον μέσο χρόνο επίλυσης (MTTR).
Ζητήματα κατά την επιλογή άλλων υποθέσεων χρήσης
Σας ενθαρρύνουμε να εφαρμόσετε πράκτορες λειτουργιών στις καινοτόμες λύσεις ή εφαρμογές σας. Ωστόσο, λάβετε υπόψη τους ακόλουθους παράγοντες για να διασφαλίσετε ότι ο παράγοντας είναι κατάλληλος για τη συγκεκριμένη περίπτωση χρήσης σας:
Αποφύγετε σενάρια όπου η χρήση ή η κακή χρήση του συστήματος θα μπορούσε να οδηγήσει σε σημαντικό σωματικό ή ψυχολογικό τραυματισμό ενός ατόμου. Για παράδειγμα, σενάρια που διαγιγνώσκουν ασθενείς ή συνταγογραφούν φάρμακα έχουν τη δυνατότητα να προκαλέσουν σημαντική βλάβη.
Αποφύγετε σενάρια όπου η χρήση ή η κακή χρήση του συστήματος θα μπορούσε να έχει επακόλουθο αντίκτυπο στις ευκαιρίες ζωής ή στο νομικό καθεστώς. Παραδείγματα περιλαμβάνουν σενάρια όπου το σύστημα ή ο πράκτορας τεχνητής νοημοσύνης θα μπορούσε να επηρεάσει το νομικό καθεστώς, τα νομικά δικαιώματα ή την πρόσβασή του σε πίστωση, εκπαίδευση, απασχόληση, υγειονομική περίθαλψη, στέγαση, ασφάλιση, παροχές κοινωνικής πρόνοιας, υπηρεσίες, ευκαιρίες ή τους όρους υπό τους οποίους παρέχονται.
Αποφύγετε σενάρια υψηλού κινδύνου που θα μπορούσαν να οδηγήσουν σε βλάβη. Το μοντέλο που χρησιμοποιείται σε έναν πράκτορα μπορεί να αντικατοπτρίζει ορισμένες κοινωνικές απόψεις, προκαταλήψεις και άλλο ανεπιθύμητο περιεχόμενο που υπάρχει στα δεδομένα εκπαίδευσης ή στα παραδείγματα που παρέχονται στην προτροπή. Ως αποτέλεσμα, προειδοποιούμε να μην χρησιμοποιείτε πράκτορες σε σενάρια υψηλού κινδύνου όπου η άδικη, αναξιόπιστη ή προσβλητική συμπεριφορά μπορεί να είναι δαπανηρή ή να οδηγήσει σε βλάβη.
Εξετάστε προσεκτικά περιπτώσεις χρήσης σε έναν τομέα ή κλάδο υψηλού κινδύνου όπου οι ενέργειες των πρακτόρων είναι μη αναστρέψιμες ή εξαιρετικά επακόλουθες. Τέτοιοι κλάδοι περιλαμβάνουν, ενδεικτικά, την υγειονομική περίθαλψη, την ιατρική, τα χρηματοοικονομικά ή τους νομικούς τομείς.
Νομικά και ρυθμιστικά ζητήματα. Οι οργανισμοί πρέπει να αξιολογούν πιθανές συγκεκριμένες νομικές και κανονιστικές υποχρεώσεις όταν χρησιμοποιούν οποιεσδήποτε υπηρεσίες και λύσεις τεχνητής νοημοσύνης, οι οποίες ενδέχεται να μην είναι κατάλληλες για χρήση σε κάθε κλάδο ή σενάριο. Οι περιορισμοί μπορεί να διαφέρουν ανάλογα με τις περιφερειακές ή τοπικές κανονιστικές απαιτήσεις. Επιπλέον, οι υπηρεσίες ή οι λύσεις τεχνητής νοημοσύνης δεν έχουν σχεδιαστεί για και ενδέχεται να μην χρησιμοποιούνται με τρόπους που απαγορεύονται στους ισχύοντες όρους παροχής υπηρεσιών και στους σχετικούς κώδικες δεοντολογίας.
Περιορισμοί
Τεχνικοί περιορισμοί, παράγοντες λειτουργίας και περιοχές
Παρά την εντατική εκπαίδευση από το OpenAI και την εφαρμογή υπεύθυνων ελέγχων τεχνητής νοημοσύνης από τη Microsoft, οι υπηρεσίες τεχνητής νοημοσύνης είναι λανθασμένες και πιθανολογικές. Αυτός ο περιορισμός καθιστά δύσκολο τον πλήρη αποκλεισμό όλου του ακατάλληλου περιεχομένου, οδηγώντας σε πιθανές προκαταλήψεις, στερεότυπα ή αβάσιμο περιεχόμενο που δημιουργείται από AI. Για περισσότερες πληροφορίες σχετικά με τους γνωστούς περιορισμούς του περιεχομένου που δημιουργείται από AI, ανατρέξτε στο θέμα Σημείωση διαφάνειας για το Azure OpenAI, το οποίο περιλαμβάνει αναφορές στα LLM πίσω από πράκτορες λειτουργιών.
Μπορείτε να δώσετε στους πράκτορες επιχειρήσεων ένα ευρύ φάσμα οδηγιών και στόχων. Η πιθανολογική φύση των μοντέλων συμπεριφοράς LLM σημαίνει ότι ενδέχεται να μην μπορείτε να ευθυγραμμίσετε τους πράκτορες με τις απαιτήσεις σας. Η περιγραφή του μοντέλου συμπεριφοράς του πράκτορα δημιουργείται επίσης με χρήση AI, επομένως ενδέχεται να μην είναι πλήρως ακριβής.
Για να χρησιμοποιήσετε αποτελεσματικά τους πράκτορες λειτουργιών, χρειάζεστε εκπαίδευση για να αλληλεπιδράσετε αποτελεσματικά και να επωφεληθείτε από την υπηρεσία.
Τα προηγμένα μοντέλα τεχνητής νοημοσύνης απαιτούν σημαντικούς υπολογιστικούς πόρους, οι οποίοι μπορούν να επηρεάσουν την απόδοση, ειδικά σε περιβάλλοντα με περιορισμένους πόρους. Ενδέχεται να αντιμετωπίσετε προβλήματα καθυστέρησης ή απόδοσης κατά τις ώρες αιχμής χρήσης.
Επειδή οι πράκτορες συνδυάζουν LLM με εξωτερικά συστήματα, μπορεί να δυσκολευτείτε να καταλάβετε γιατί επέλεξε ορισμένα εργαλεία ή συνδυασμούς εργαλείων για να απαντήσει σε ένα ερώτημα. Αυτή η πρόκληση περιπλέκει την εμπιστοσύνη και την επαλήθευση των αποτελεσμάτων ή των ενεργειών του πράκτορα.
Οι οργανισμοί πρέπει να λαμβάνουν υπόψη τις ιδιαίτερες νομικές υποχρεώσεις και τις υποχρεώσεις συμμόρφωσής τους όταν χρησιμοποιούν πράκτορες λειτουργίας, ειδικά σε ρυθμιζόμενες βιομηχανίες. Η Microsoft εξετάζει τις κανονιστικές απαιτήσεις που ισχύουν για τη Microsoft ως πάροχο της τεχνολογίας και τις αντιμετωπίζει εντός του προϊόντος μέσω μιας διαδικασίας συνεχούς βελτίωσης.
Μέσω της εμπειρίας χρήστη εκπροσώπου, μπορείτε να διακόψετε ή να τερματίσετε γρήγορα τον εκπρόσωπο ανά πάσα στιγμή. Αυτή η ενέργεια σταματά την παρακολούθηση τυχόν νέων δεδομένων και τυχόν νέων ενεργειών που μπορεί να προτείνει ή να κάνει ο πράκτορας. Οι ενέργειες που κάλεσε ο εκπρόσωπος σε άλλα συστήματα (για παράδειγμα, η έναρξη μιας ροής εργασιών Power Automate) ενδέχεται να μην σταματήσουν αμέσως. Ο εκπρόσωπος εκκινεί αυτές τις ενέργειες ως ανεξάρτητες διαδικασίες που πρέπει να διαχειριστείτε σε αυτές τις άλλες εμπειρίες προϊόντος.
Τα μηνύματα μεταξύ του εκπροσώπου και του χρήστη παραδίδονται μέσω του Teams. Όταν στέλνετε μηνύματα στον εκπρόσωπο, η υπηρεσία Azure Bot επεξεργάζεται τα μηνύματα. Η χρήση της υπηρεσίας Azure AI Bot έχει έναν τεχνικό περιορισμό ότι κάθε bot μπορεί να έχει μόνο ένα καθολικό τελικό σημείο. Για τα bot πρώτου μέρους του Teams, οι αιτήσεις αποστέλλονται στο καθολικό τελικό σημείο και, στη συνέχεια, αναδρομολογούνται σε ένα περιφερειακό τελικό σημείο κοντά στον χρήστη. Οι πράκτορες επιχειρήσεων χρησιμοποιούν ένα τελικό σημείο που βρίσκεται στην ΕΕ, πράγμα που σημαίνει ότι τα δεδομένα χρήστη σας μπορούν να μετακινηθούν εκτός της γεωγραφικής σας περιοχής για επεξεργασία.
Επιδόσεις συστήματος
Στα συστήματα τεχνητής νοημοσύνης, η απόδοση συνδέεται συχνά με την ακρίβεια (πόσο συχνά το σύστημα παρέχει σωστά αποτελέσματα). Για τους πράκτορες λειτουργιών, οι επιδόσεις είναι πιο ευέλικτες, επειδή οι χρήστες ενδέχεται να ερμηνεύουν διαφορετικά τις εξόδους. Τα σφάλματα συνήθως προκύπτουν όταν ο εκπρόσωπος παρανοεί τους στόχους, τα δεδομένα ή τις βασικές οντότητες στην επιχειρηματική διαδικασία. Όταν ο πράκτορας κάνει συστάσεις, οι χρήστες θα πρέπει να εξετάζουν προσεκτικά το περιβάλλον που παρέχεται πριν εγκρίνουν ενέργειες.
Βέλτιστες πρακτικές για τη βελτίωση των επιδόσεων του συστήματος
Για να επιτύχετε τα καλύτερα αποτελέσματα με τους πράκτορες λειτουργιών, εστιάστε στη δημιουργία λεπτομερών, καλά δομημένων προτροπών. Οι στόχοι και οι οδηγίες που παρέχετε βοηθούν τον εκπρόσωπο να προσδιορίσει τα σωστά σημεία δεδομένων και τους κανόνες για την παρακολούθηση των αλλαγών με την πάροδο του χρόνου. Βελτιώστε την ακρίβεια ορίζοντας ρητά τις τιμές δεδομένων και τις συνθήκες που πρέπει να παρακολουθεί ο πράκτορας. Περιγράψτε με σαφήνεια πώς οι ενέργειες επηρεάζουν τα αποτελέσματα και πώς αναμένεται να αλλάξουν οι παρακολουθούμενες αξίες.
Τα δεδομένα υψηλής ποιότητας είναι εξίσου σημαντικά. Βεβαιωθείτε ότι οι δομές δεδομένων είναι καλά οργανωμένες, με ουσιαστικά ονόματα στηλών αντί για κωδικοποιημένες τιμές. Ισοπέδωση δεδομένων ένθετων συμβάντων, όπου είναι δυνατό. Αυτή η δομή διευκολύνει τον πράκτορα να εντοπίσει και να παρακολουθήσει αποτελεσματικά τις σχετικές πληροφορίες.
Αξιολόγηση επιχειρησιακών πρακτόρων
Μέθοδοι αξιολόγησης
Η πλατφόρμα operations agent χρησιμοποιεί μια αυστηρή διαδικασία πολλαπλών σταδίων για την αξιολόγηση της ακρίβειας, της ασφάλειας και της συνεχούς βελτίωσης. Στον πυρήνα του βρίσκεται ένας κύκλος τριών σταδίων: το ίχνος>,η> επανάληψη,η αξιολόγηση. Αυτός ο κύκλος ξεκινά με την εφαρμογή τηλεμετρίας για την παρακολούθηση των διαδικασιών λήψης αποφάσεων του πράκτορα, συμπεριλαμβανομένου του σχεδιασμού, του σχηματισμού οντολογιών, της γείωσης δεδομένων, της δημιουργίας κανόνων και της εκτέλεσης. Τα σύνολα δεδομένων αξιολόγησης προέρχονται από πραγματικές περιπτώσεις χρήσης και συνθετικά δεδομένα που εισάγουν μεταβλητότητα. Μετράτε μετρήσεις όπως η ακρίβεια, η σύγκλιση, τα ποσοστά αποτυχίας και η ασφάλεια σε όλο τον κύκλο ζωής του αντιπροσώπου, από την ανάπτυξη έως την παραγωγή.
Το περιβάλλον αξιολόγησης αντικατοπτρίζει τις συνθήκες παραγωγής και δίνει έμφαση στον διαχωρισμό μεταξύ των αγωγών ανάπτυξης και αξιολόγησης για την αποφυγή μεροληψίας. Επιμελείστε με μη αυτόματο τρόπο τα αρχικά σύνολα δεδομένων και ορίζετε εκ των προτέρων τις αναμενόμενες οντολογίες και εξόδους. Αργότερα, κλιμακώνετε αυτά τα σύνολα δεδομένων χρησιμοποιώντας συνθετική παραγωγή. Τα σύνολα δεδομένων επικεντρώνονται σε επιχειρησιακούς στόχους που σχετίζονται με την παρακολούθηση των επιχειρήσεων και τη λήψη αποφάσεων. Αν και αντιπροσωπεύουν σενάρια πραγματικού κόσμου, δεν περιλαμβάνουν ακόμη ευρύτερους πληθυσμούς χρηστών ή δυναμικές διαμορφώσεις στόχων. Αυτή η προσέγγιση διατηρεί τις αξιολογήσεις εστιασμένες, αναπαραγώγιμες και ευθυγραμμισμένες με τις αρχές της υπεύθυνης τεχνητής νοημοσύνης.
Αποτελέσματα αξιολόγησης
Οι διαδικασίες αξιολόγησής μας χρησιμοποιούν μια μεθοδολογίααξιολόγησης δομημένης>>. Ενσωματώνουμε αξιολογήσεις σε κάθε στάδιο των βρόχων λήψης αποφάσεων του πράκτορα. Αυτές οι αξιολογήσεις επιβεβαίωσαν ότι ο πράκτορας παράγει με συνέπεια ακριβείς οντολογίες, δημιουργεί έγκυρα και σχετικά ερωτήματα και επιλέγει κατάλληλες ενέργειες που ευθυγραμμίζονται με τους στόχους των χρηστών. Αυτά τα αποτελέσματα υποστηρίζουν την ευθυγράμμιση του συστήματος με τους στόχους λογοδοσίας, ιδίως όσον αφορά τη διασφάλιση της αναμενόμενης απόδοσης σε πραγματικά επιχειρησιακά πλαίσια.
Τα σύνολα δεδομένων εκπαίδευσης και δοκιμών που χρησιμοποιήθηκαν στην αξιολόγηση επιμελήθηκαν προσεκτικά ώστε να αντικατοπτρίζουν ένα ευρύ φάσμα επιχειρησιακών σεναρίων. Κατασκευάσατε με μη αυτόματο τρόπο αρχικά σύνολα δεδομένων από πραγματικές περιπτώσεις χρήσης, με σαφώς καθορισμένα αναμενόμενα αποτελέσματα, συμπεριλαμβανομένων οντολογιών και αποτελεσμάτων ερωτημάτων. Αργότερα, επεκτείνατε αυτά τα σύνολα δεδομένων χρησιμοποιώντας συνθετική παραγωγή για να αυξήσετε τη μεταβλητότητα και την κάλυψη. Σχεδιάσατε τα σύνολα δεδομένων ώστε να αντιπροσωπεύουν τους τύπους στόχων και περιβαλλόντων δεδομένων που αναμένεται να συναντήσει ο εκπρόσωπος, συμπεριλαμβανομένων των παραλλαγών στην πολυπλοκότητα του σχήματος, τη διαθεσιμότητα δεδομένων και την πρόθεση του χρήστη. Αυτή η προσέγγιση εξασφάλισε ότι η αξιολόγηση κατέγραψε ένα αντιπροσωπευτικό φάσμα επιχειρησιακών παραγόντων και ρυθμίσεων, υποστηρίζοντας την υπεύθυνη ανάπτυξη και εγκατάσταση του συστήματος.
Τα αποτελέσματα της αξιολόγησης επηρέασαν αρκετούς βασικούς περιορισμούς σχεδιασμού στο σύστημα. Για παράδειγμα, εισαγάγαμε όρια στο μέγιστο μέγεθος ερωτήματος και στην ελάχιστη πολυπλοκότητα οντολογίας για να διασφαλίσουμε συνεπή απόδοση και να μειώσουμε τα ποσοστά αποτυχίας. Ενώ τα αποτελέσματα είναι ευρέως εφαρμόσιμα σε πολλά σενάρια επιχειρησιακής παρακολούθησης και υποστήριξης αποφάσεων, η αρχική αξιολόγηση δεν περιελάμβανε ορισμένους τομείς, όπως η δυναμική αναδιαμόρφωση στόχων και η συνεργασία πολλών πρακτόρων. Αυτοί οι τομείς αντιπροσωπεύουν ευκαιρίες για μελλοντικές δοκιμές και ανάπτυξη.
Αξιολόγηση και ενσωμάτωση πρακτόρων λειτουργιών για τη χρήση σας
Η συμπεριφορά ενός εκπροσώπου διαμορφώνεται από τις οδηγίες, τους στόχους, τα δεδομένα και τις ενέργειες που παρέχετε. Οι ακριβείς προτροπές και τα καθαρά, καλά οργανωμένα δεδομένα με διαισθητικά ονόματα στηλών βελτιώνουν την ακρίβεια και μειώνουν τα σφάλματα.
Αφού ρυθμίσετε τις παραμέτρους του εκπροσώπου, επικυρώστε τα μοντέλα συμπεριφοράς και τους κανόνες του εκπροσώπου εξετάζοντας τα ερωτήματα KQL για να διασφαλίσετε την ευθυγράμμιση με τις επιχειρηματικές διαδικασίες. Ενώ οι συνθήκες που βασίζονται σε κανόνες ενεργοποιούν τον πράκτορα, οι συστάσεις του που δημιουργούνται από το LLM ενδέχεται να περιέχουν ανακρίβειες, επομένως ελέγχετε πάντα τα αποτελέσματα πριν ενεργήσετε.
Οι πράκτορες υψηλής απόκρισης μπορεί να οδηγήσουν σε υπερβολικές ειδοποιήσεις ή υπερβολική χρήση αυτοματοποιημένων ενεργειών, προκαλώντας δυνητικά αστάθεια του συστήματος. Για τον μετριασμό των κινδύνων, προσαρμόστε τους κανόνες, πραγματοποιήστε τακτικούς ελέγχους, προσομοιώστε ακραίες περιπτώσεις και σχεδιάστε διεπαφές που προάγουν τη διαφάνεια. Για παράδειγμα, δείξτε βαθμολογίες εμπιστοσύνης και σαφείς εξηγήσεις για συστάσεις.