Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Note
Questo articolo descrive le caratteristiche utilizzate negli agenti o nei flussi di agenti alimentati dall'imbracatura standard.
[Questo articolo è una documentazione preliminare soggetta a modifiche].
Usa metriche personalizzate per misurare risultati specifici per il tuo agente e per la tua situazione aziendale. Descrivi ciò che vuoi misurare in linguaggio naturale e Copilot Studio genera la configurazione delle metriche e la valutazione in base alle sessioni di conversazione del tuo agente.
Puoi creare fino a tre metriche personalizzate per un agente. Le metriche personalizzate supportano agenti conversazionali che utilizzano orchestrazione classica o generativa. Essi non supportano agenti autonomi o flussi di agenti.
Importante
Questo articolo contiene la documentazione sull'anteprima di Microsoft Copilot Studio ed è pertanto soggetto a modifiche.
Le funzionalità di anteprima non sono destinate all'uso in produzione e potrebbero avere funzionalità limitate. Queste funzionalità sono disponibili prima di una versione ufficiale in modo che sia possibile ottenere l'accesso iniziale e inviare commenti.
Se stai creando un agente destinato alla produzione, vedi Panoramica di Microsoft Copilot Studio.
Prerequisites
Prima di creare una metrica personalizzata:
- Configura e pubblica il tuo agente.
- Assicurati che il tuo agente abbia sessioni di conversazione disponibili su Monitor. Un'anteprima significativa potrebbe non essere disponibile quando l'agente ha dati di sessione insufficienti.
- Definisci una metrica che può essere valutata dai messaggi scambiati durante una sessione. Le metriche personalizzate non verificano i risultati che avvengono al di fuori della conversazione, come una transazione completata successivamente in un sistema esterno.
Serve il ruolo di sicurezza Bot Transcript Viewer per aprire i messaggi di sessione usati nell'anteprima e i risultati calcolati. Scopri di più in Condividi le analisi di un agente.
Tipi di metriche personalizzate
Copilot Studio determina il tipo di metrica dalla tua descrizione. Ogni metrica personalizzata produce un risultato per ogni sessione applicabile.
| Tipo di metrica | Description |
|---|---|
| Classificazione binaria | Raggruppa le sessioni in un risultato definito e nella categoria Altro predefinita. |
| Classificazione multiclasse | Raggruppa le sessioni in categorie generate. Una metrica può avere fino a 10 categorie. Le sessioni che non corrispondono a una categoria generata sono raggruppate sotto Altro. |
| Punteggio numerico | Assegna un punteggio numerico a ogni sessione applicabile e calcola il punteggio medio. Un risultato nullo significa che la sessione non ha dati per la metrica; non rappresenta un punteggio zero. |
Partiamo da un esempio
Copilot Studio fornisce esempi che puoi usare come punto di partenza. Quando selezioni un esempio, cambia la sua descrizione per farla corrispondere ai segnali e ai risultati nelle conversazioni del tuo agente.
| Example | Tipo di metrica | Misura |
|---|---|---|
| Completamento necessario | Classificazione binaria | Determina se la conversazione genera un'azione successiva, come un richiamo, un appuntamento, un'indagine o un'escalation. |
| Tipo di risultato aziendale | Classificazione multiclasse | Raggruppa l'esito finale significativo come Azione Completata, Follow-up Richiesto, Informazioni Fornite o Nessun Esito Commerciale. |
| Punteggio di qualità del lead | Punteggio numerico | Assegna un punteggio da 1 a 3 in base al bisogno, all'adattamento, all'urgenza e all'intento del cliente. Le sessioni senza contesto aziendale o commerciale rilevante non restituiscono dati. |
Creare una metrica personalizzata
Nella pagina Monitor del tuo agente, seleziona Metriche personalizzate sopra la scheda Riassunto .
In Crea una metrica personalizzata, inizia con un esempio fornito o crea una metrica da zero.
Scopri di più in Iniziare con un esempio.
Descrivi cosa vuoi misurare attraverso le conversazioni del tuo agente.
Definisci un risultato specifico e osservabile. Ad esempio, descrivi i segnali che indicano se una conversazione richiede un follow-up invece di inserire un obiettivo generale come "misurare il successo".
Selezionare Avanti.
Copilot Studio utilizza la tua descrizione, le informazioni sugli agenti e le sessioni di esempio per:
- Verifica se la metrica può essere calcolata dai dati di sessione disponibili.
- Genera un titolo della metrica.
- Determina se la metrica è una classificazione binaria, multiclasse o un punteggio numerico.
- Genera categorie e i relativi criteri per le metriche per la classificazione.
- Genera i criteri di punteggio per una metrica numerica.
- Genera un prompt di calcolo in sola lettura.
- Seleziona una visualizzazione compatibile.
Se la metrica non è supportata, Copilot Studio spiega il motivo e fornisce indicazioni per perfezionarne la descrizione. La tua descrizione originale rimane disponibile per la modifica.
Anteprima e rivedi la metrica generata. Per saperne di più, consulta Anteprima di una metrica personalizzata.
Selezionare Salva metrica.
La metrica personalizzata appare nella sezione Metriche Personalizzate della pagina Monitor . Copilot Studio calcola la metrica per le sessioni applicabili relative ai sette giorni precedenti. Dopo il calcolo iniziale, Copilot Studio calcola la metrica quotidianamente per le nuove sessioni.
Anteprima di una metrica personalizzata
Preview utilizza un esempio delle sessioni del tuo agente per aiutarti a valutare la metrica prima di salvarla. L'esempio può includere sessioni di più giorni, così puoi rivedere risultati aggregati e tendenze. I risultati delle anteprime non rappresentano i calcoli per tutte le sessioni.
In Crea una metrica personalizzata, seleziona Avanti per validare e generare la metrica.
Rivedi il risultato aggregato e la visualizzazione generata in Anteprima.
Seleziona Risultati per rivedere le sessioni rappresentative, il risultato assegnato a ciascuna sessione e il ragionamento generato dall'IA per quel risultato.
Seleziona una sessione per rivedere i suoi messaggi.
Note
Serve il ruolo di sicurezza Bot Transcript Viewer per esaminare i messaggi della sessione.
Seleziona Prompt per rivedere come Copilot Studio interpreta la descrizione della tua metrica e ne calcola i risultati.
Il prompt di calcolo generato è in sola lettura.
Se i risultati non corrispondono alla tua intenzione, torna alla descrizione della metrica, affinala e visualizza di nuovo la metrica.
Quando l'anteprima produce i risultati attesi, seleziona Salva metrica.
Importante
La configurazione, le classificazioni, i punteggi e il ragionamento generati dall'IA possono essere imprecisi. Rivedi i risultati e le motivazioni dell'anteprima prima di salvare una metrica. Considera una metrica personalizzata come un'analisi dei dati della conversazione, non come una registrazione autorevole di un risultato che avviene al di fuori della conversazione.
Comprendere i calcoli delle metriche personalizzate
Anteprima e metriche salvate utilizzano i dati della sessione in modo diverso:
| Calcolo | Dati di sessione utilizzati |
|---|---|
| Anteprima | Un campione di sessioni storiche utilizzate per validare e testare la metrica. |
| Calcolo iniziale salvato | Tutte le sessioni applicabili dei sette giorni precedenti. |
| Calcolo giornaliero | Tutte le nuove sessioni applicabili disponibili per il calcolo giornaliero. |
Le metriche personalizzate valutano i messaggi di conversazione durante una sessione, inclusi i contenuti inviati nei messaggi Adaptive Card. Non valutano i dettagli delle invocazioni degli strumenti o le informazioni memorizzate in sistemi esterni.
La visualizzazione dipende dal tipo di metrica. Le metriche di classificazione mostrano la distribuzione delle sessioni tra le categorie. Le metriche numeriche mostrano il punteggio medio per le sessioni applicabili. I risultati calcolati mostrano anche il numero di sessioni utilizzate e la tendenza della metrica.
Modificare una metrica personalizzata
Importante
Salvare le modifiche ricrea la metrica personalizzata ed elimina la sua cronologia di calcoli precedenti. Copilot Studio poi ricalcola la metrica per le sessioni applicabili dei sette giorni precedenti.
Nella pagina Monitor del tuo agente, seleziona i tre punti (...) sulla metrica personalizzata che vuoi modificare, e poi seleziona Modifica.
Aggiorna la descrizione della metrica.
Seleziona Avanti per rigenerare e visualizzare l'anteprima della metrica.
Rivedi la configurazione generata, i risultati, il ragionamento e il prompt di calcolo.
Selezionare Salva metrica.
Modifica una metrica creata in precedenza
Quando modifichi una metrica che hai creato nella precedente esperienza di metriche personalizzate, Copilot Studio consolida la descrizione originale, i nomi delle categorie e i criteri delle categorie nel campo di descrizione della metrica. Esamina la descrizione consolidata per assicurarti che preservi l'intento della metrica.
Il salvataggio della metrica modificata la ricrea utilizzando la nuova esperienza delle metriche personalizzate ed elimina la precedente cronologia dei calcoli.
Eliminare una metrica personalizzata
Nella pagina Monitor del tuo agente, seleziona i tre punti (...) sulla metrica personalizzata che vuoi eliminare, poi seleziona Elimina.
Nella finestra di dialogo di conferma selezionare Elimina.
Limiti
- Puoi creare fino a tre metriche personalizzate per un agente.
- Le metriche personalizzate supportano agenti conversazionali che utilizzano orchestrazione classica o generativa. Gli agenti autonomi e i flussi di agenti non sono supportati.
- Una metrica personalizzata produce un risultato per ogni sessione applicabile.
- Le metriche numeriche supportano il punteggio con aggregazione media. Non estraggono né aggregano importi delle transazioni o altri valori numerici arbitrari.
- Le metriche personalizzate utilizzano i messaggi di conversazione, inclusi i contenuti dei messaggi di Adaptive Card. I dettagli delle invocazioni degli strumenti e i dati provenienti da sistemi esterni non sono inclusi.
- L'anteprima utilizza sessioni di esempio. I calcoli salvati utilizzano tutte le sessioni disponibili per il periodo di calcolo.
- Una metrica potrebbe non produrre risultati significativi quando la sua descrizione è vaga o quando le sessioni disponibili non contengono le informazioni necessarie per calcolarla.
- Le singole classificazioni, i punteggi e il ragionamento possono essere imprecisi. Esamina i risultati nell'aggregazione e perfeziona la descrizione della metrica quando l'anteprima non corrisponde alla misurazione prevista.
- Se apporti modifiche sostanziali alle istruzioni o alla configurazione del tuo agente, rivedi le sue metriche personalizzate per assicurarti che continuino a misurare il risultato desiderato.