Monitorare l'efficacia degli agenti conversazionali

Note

Questo articolo descrive le caratteristiche utilizzate negli agenti o nei flussi di agenti alimentati dall'imbracatura standard.

Usa la pagina Monitor in Copilot Studio per valutare l'efficacia del tuo agente conversazionale durante le sessioni di Analytics. Identifica dove le conversazioni hanno successo o si rompono, esamina i feedback degli utenti e trova opportunità per migliorare le risposte e l'uso degli strumenti.

Esaminare le aree seguenti:

• Le aree Riepilogo, Panoramica e Risparmi mostrano le principali intuizioni, gli indicatori chiave di performance (KPI) e i risparmi di tempo e costi stimati.
• La sezione Metriche personalizzate (anteprima) ti permette di definire metriche specifiche per l'azienda per i casi d'uso del tuo agente.
• La sezione Efficacia consente di valutare la qualità delle esperienze utente mostrando dove le conversazioni hanno esito positivo, dove si suddivideno e come gli utenti sentono i risultati.
• La sezione Usa consente di migliorare le prestazioni operative mostrando in che modo l'agente risponde alle domande, il modo in cui gli strumenti e le fonti di conoscenze supportano in modo affidabile tali risposte e dove gli aggiornamenti mirati possono aumentare la copertura e la coerenza.

È possibile visualizzare l'analisi degli eventi che si sono verificati negli ultimi 360 giorni.

Metriche personalizzate (anteprima)

[Questa sezione fa parte della documentazione non definitiva, pertanto è soggetta a modifiche.]

La sezione Metriche personalizzate consente di definire fino a tre metriche specifiche dell'azienda nel linguaggio naturale e di tenere traccia della frequenza con cui ogni risultato viene visualizzato nelle sessioni campionate. Usare queste metriche per integrare le informazioni dettagliate di analisi standard con indicatori che riflettono gli obiettivi e l'uso aziendale dell'agente.

Importante

Questo articolo contiene la documentazione sull'anteprima di Microsoft Copilot Studio ed è pertanto soggetto a modifiche.

Le funzionalità di anteprima non sono destinate all'uso in produzione e potrebbero avere funzionalità limitate. Queste funzionalità sono disponibili prima di una versione ufficiale in modo che sia possibile ottenere l'accesso iniziale e inviare commenti.

Se stai creando un agente destinato alla produzione, vedi Panoramica di Microsoft Copilot Studio.

Gli utenti con il privilegio Bot Transcript Viewer possono esaminare nel dettaglio un elenco delle sessioni dei clienti filtrate in base al segmento selezionato del grafico a ciambella. Seleziona una singola sessione per vedere il ragionamento dietro la metrica e accedi alla sua trascrizione.

Scopri di più su come creare, testare e perfezionare metriche in Monitora il tuo agente con metriche personalizzate (anteprima).

Efficacia

La sezione Efficacia mostra il feedback degli utenti raccolto da reazioni, risposte dell'agente, risultati del sondaggio e punteggio del sentiment per una sessione. L'efficacia è suddivisa tra molte sottosezioni:

• Risultati della conversazione: conoscere il risultato finale di una conversazione consente di iniziare a identificare dove l'agente ha esito positivo e dove ha bisogno di miglioramento.
• Reazioni: Le risposte degli utenti, inclusi i feedback con pollice in su/pollice in giù e i commenti degli utenti relativi a specifiche risposte dell'agente.
• Soddisfazione dei clienti: visualizzazione del punteggio di soddisfazione dei clienti (CSAT).
• Sentiment (anteprima): analisi del sentiment basata su intelligenza artificiale per l'intera sessione.
• Agenti: Visualizza le metriche del volume di chiamate, le percentuali di successo e lo stato attuale degli agenti secondari e connessi.

Il sistema memorizza i dati di feedback nella conversation transcript table in Dataverse.

Risultati conversazione

La sezione Risultati conversazione mostra un grafico che tiene traccia del tipo di risultato per ogni sessione tra l'agente e gli utenti.

Il grafico mostra un istogramma impilato o un grafico ad area impilata dei risultati delle sessioni. Risolto, Inoltrato in escalation, Abbandonato e Senza interazione hanno ciascuno un colore corrispondente nella leggenda. L'asse y indica il numero di sessioni.

Per visualizzare le metriche di un esito in un giorno specifico, usa la legenda del grafico per identificare l'esito, poi passa il mouse sul segmento di quel giorno.

Per scaricare i dati sugli esiti delle conversazioni, apri il menu del grafico e seleziona Scarica CSV.

Note

Se rimuovi eventuali risultati dal grafico durante il download, i loro dati non compaiono nel CSV.

Per aprire un pannello laterale con informazioni dettagliate sui risultati della conversazione, seleziona Visualizza dettagli nel grafico. Il pannello laterale Risultati della conversazione include:

• Una ripartizione del grafico a torta degli esiti della sessione, che indica la ponderazione relativa (espressa come percentuale) degli esiti Risolto, Escalato e Abbandonato.
• Grafico a barre in pila che mostra il peso relativo, espresso in percentuale, dei motivi dei risultati Risolto confermato e Risolto implicito che descrivono tutti i risultati delle sessioni risolte.
• Grafico a barre impilate che mostra il peso relativo (espresso come percentuale) dei motivi di risultato Previsto dal sistema, Non previsto dal sistema e Richiesto dall'utente che descrivono tutti i risultati delle sessioni escalate.
• Argomenti principali che hanno portato a ogni risultato.

Note

Per visualizzare una descrizione comando con informazioni sul conteggio non elaborato, passa il puntatore del mouse su uno dei segmenti del grafico a torta o del grafico a barre in pila.

Una sessione rientra in uno dei due stati seguenti:

• Non impegnata: una sessione inizia quando un utente interagisce con il tuo agente o l'agente invia un messaggio proattivo all'utente. La sessione inizia in uno stato non impegnato.

• Attivato: l'utente interagisce attivamente con l'agente. Esiste una differenza nel comportamento in base alla modalità di orchestrazione dell'agente.

  • Orchestrazione classica: una sessione viene attivata quando viene attivato uno degli argomenti seguenti:

    • Argomento personalizzato attivato direttamente dall'utente
    • Portare l'argomento in primo piano
    • Argomento di riserva
    • Argomento per migliorare la conversazione

  • Orchestrazione di intelligenza artificiale generativa: una sessione viene attivata quando un utente attiva direttamente un piano e include uno degli elementi seguenti:

    • Argomento non di sistema
    • Portare l'argomento in primo piano
    • Argomento di riserva
    • Fonte di conoscenza
    • Uno strumento

Una sessione impegnata ha uno dei seguenti risultati:

Categoria di risultati	Risultato	Description
Risolto		Una sessione si conclude con successo. Esistono due tipi di sessioni risolte: risolte confermate e risolte implicite.
	Confermato risolto	Una sessione viene considerata Confermata risolta quando l'argomento Fine della conversazione viene attivato e l'utente conferma il successo dell'interazione.
	Risolta implicita	Una sessione è Risolta implicita quando la sessione viene considerata completata senza conferma dell'utente ma basandosi sulla logica dell'agente. Lo stato Risolto implicito dipende dal fatto che l'agente usi l'orchestrazione di AI classica o generativa: - Orchestrazione classica: una sessione viene considerata Risolta implicita quando viene attivato l'argomento Fine conversazione e l'utente consente al timeout della sessione senza fornire una conferma. - Orchestrazione dell'IA generativa: una sessione viene considerata Risolta implicita quando una sessione è inattiva e non sono presenti piani attivi rimanenti. Un piano attivo è un piano in attesa dell'input di un utente.
Riassegnato		Una sessione termina ma viene considerata Escalated quando viene attivato l'argomento Escalate o viene eseguito un nodo Trasferisci ad agente (la sessione di analisi corrente termina, indipendentemente dal fatto che la conversazione venga trasferita a un agente dal vivo o meno). Esistono tre tipi di sessioni riassegnate: Previsto dal sistema, Non previsto dal sistema e Richiesto dall'utente.
	Sistema previsto	Una sessione viene scalata automaticamente in seguito a un insieme di regole aziendali automatiche impostate da un creatore. L'escalation è un esito atteso della conversazione e non è qualcosa che necessita di indagine o cambiamento. Esempio: un utente vuole trasferire più di $25.000 a terze parti. Questo valore supera una soglia prevista da una regola aziendale e la sessione viene automaticamente rialzata di conseguenza.
	Non previsto dal sistema	Un'escalation avviene automaticamente quando una sessione supera una o più soglie stabilite da un creatore. Di solito, questo risultato indica che l'utente è bloccato nella conversazione e ha bisogno di assistenza. Esempio: una sessione viene scalata dopo tre fallimenti nell'eseguire un'attività specifica.
	Richiesto dall'utente	Si procede con l'escalation di una sessione perché è stata fatta una richiesta esplicita dell'utente durante la conversazione. Esempio: un utente immette Transfer me to an agent.
Abbandonato		Una sessione termina e viene considerata Abbandonata quando una sessione attiva va in timeout dopo 30 minuti e non ha raggiunto uno stato risolto o di escalation.

È anche possibile impostare il risultato per gli strumenti con il conversationOutcome parametro usando l'editor del codice dello strumento. Ad esempio conversationOutcome: ResolvedConfirmed per successo confermato o conversationOutcome: ResolvedImplied per successo implicito.

Reazioni

La sezione Reazioni mostra il feedback degli utenti raccolti dalle reazioni alle risposte dell'agente. Il grafico conta il numero di volte in cui gli utenti hanno selezionato i pulsanti Mi piace (positivi) o Non mi piace (negativi) disponibili per ogni risposta ricevuta dall'agente.

Note

• Gli agenti pubblicati sul canale Microsoft Copilot richiedono il consenso degli amministratori nel interfaccia di amministrazione di Microsoft 365 per condividere feedback degli utenti, inclusi reazioni e commenti. Puoi visualizzare questo feedback sulla pagina Monitor . Scopri di più nelle impostazioni dell'Agente nel interfaccia di amministrazione di Microsoft 365.
• Le reazioni dal canale Microsoft Copilot non vengono aggregate né conteggiate nella colonna Reazioni nelle sezioni Temi e Uso della fonte della conoscenza.
• Per visualizzare i commenti è necessario avere il ruolo di sicurezza Visualizzatore Trascrizione Bot.

La funzione Reazioni è attivata di default per tutti i canali tranne che per il canale Microsoft Copilot. Se lo desideri, puoi disattivare questa funzione. Puoi anche aggiungere o modificare una dichiarazione di non responsabilità per gli utenti su come viene utilizzato il loro feedback:

1. Apri l'agente, vai nelle Impostazioni e trova la sezione Feedback degli utenti.

2. Attivare o disattivare Raccogli reazioni utente ai messaggi dell'agente.

3. Aggiungi o modifica una dichiarazione di non responsabilità in modo che gli utenti sappiano come viene utilizzato il loro feedback. Puoi anche fornire informazioni sulla privacy e suggerimenti.

Gli utenti con il privilegio Bot Transcript Viewer possono eseguire il drill-down delle risposte dell'agente per le singole reazioni e filtrare in base ai commenti dell'utente.

Vedere le tendenze di reazione nel tempo

Selezionare Visualizza dettagli nel riquadro Reazioni per aprire il pannello Laterale Reazioni . Il pannello mostra la tendenza delle reazioni positive e negative (da Thumbs up e Thumbs down) nel tempo.

Soddisfazione del cliente

La sezione Soddisfazione del cliente mostra informazioni sulla soddisfazione degli utenti in base ai risultati del sondaggio utente:

• Punteggio di soddisfazione: un punteggio di 5 calcolato dai punteggi di soddisfazione media dei clienti (CSAT) per le sessioni in cui gli utenti hanno risposto alle richieste di fine sessione per eseguire un sondaggio.

  Note

  I punteggi di 1 e 2 vengono mappati su Insoddisfatto, un punteggio di 3 è considerato neutro e i punteggi di 4 e 5 vengono mappati su Soddisfatto.

• Soddisfazione per sessione: Un grafico a barre sovrapposte che visualizza il peso relativo per ciascuna delle categorie di punteggio del sondaggio, cioè Dissatisfied, Neutral, e Satisfied. Passa il mouse su ogni segmento del grafico per vedere la dimensione del campione e il valore numerico del peso di ogni categoria di punteggio. Per gli utenti con il privilegio Bot Transcript Viewer, è possibile eseguire il drill-down a un elenco di sessioni cliente filtrate in base alla parte del segmento di barre selezionato.

Selezionare Visualizza dettagli per visualizzare la tendenza del punteggio di soddisfazione nel periodo di tempo selezionato.

Sentiment (anteprima)

[Questa sezione fa parte della documentazione non definitiva, pertanto è soggetta a modifiche.]

L'analisi del sentiment usa l'intelligenza artificiale per analizzare i messaggi utente da un campione di sessioni per valutare un sentiment utente complessivo per l'agente. Il valore numerico rappresenta la percentuale di sessioni con un sentimento negativo degli utenti.

Importante

Questo articolo contiene la documentazione sull'anteprima di Microsoft Copilot Studio ed è pertanto soggetto a modifiche.

Le funzionalità di anteprima non sono destinate all'uso in produzione e potrebbero avere funzionalità limitate. Queste funzionalità sono disponibili prima di una versione ufficiale in modo che sia possibile ottenere l'accesso iniziale e inviare commenti.

Se stai creando un agente destinato alla produzione, vedi Panoramica di Microsoft Copilot Studio.

Selezionare Visualizza dettagli per visualizzare i dati del sentiment per il peso relativo di ognuna delle categorie di sentiment (ad esempio Positive, Neutrale Negative).

È possibile attivare e disattivare l'analisi del sentiment per l'agente in Impostazioni. Quando l'analisi del sentiment è disattivata, il sentiment dell'utente non viene analizzato durante le sessioni.

1. Passare a Impostazioni e selezionare Avanzate.

2. Attiva o disattiva l'analisi del sentiment.

   

Agents

L'elenco Agenti visualizza metriche di volume, prestazione e stato di alto livello per gli agenti connessi e gli agenti figlio dell'agente principale. L'elenco identifica il tipo di relazione che l'agente elencato deve avere all'agente principale nella colonna Tipo. Se un agente è un agente figlio, il tipo è Child. Gli agenti connessi hanno un tipo elencato che riflette la posizione in cui sono stati creati( ad esempio, Copilot Studio, Azure AI Foundry). La metrica Chiamate per ogni agente elencato descrive il volume di chiamate dall'agente principale all'agente connesso o figlio. La Percentuale di successo riflette la percentuale di chiamate (come % di tutte le chiamate) completate correttamente. Lo stato indica il singolo stato amministrativo per ogni agente connesso e figlio.

Per impostazione predefinita, l'elenco Agenti mostra i primi cinque agenti collegati e secondari del tuo agente principale, classificati dal numero totale di domande più alto al più basso. Se sono presenti più di cinque agenti, seleziona Visualizza tutto per visualizzare tutti gli agenti.

Note

Il pulsante Visualizza tutto è visibile solo se sono presenti più di cinque agenti connessi o subordinati dell'agente principale.

Utilizza

La sezione Usa consente di comprendere come gli utenti interagiscono con l'agente e dove migliorare l'affidabilità delle risposte. L'uso viene suddiviso in più sottosezioni:

• Temi: i temi consentono di ottenere informazioni dettagliate sull'analisi raggruppando le domande degli utenti nelle categorie suggerite dall'intelligenza artificiale.
• Tasso e qualità delle risposte generate: Individua quando il tuo agente ha difficoltà a rispondere alle domande e come utilizza le fonti di conoscenza per migliorare il tasso e la qualità delle risposte.
• Uso degli strumenti: imparare con quale frequenza vengono usati gli strumenti e la frequenza con cui hanno successo può aiutare a capire se questi strumenti sono utili e di successo per gli utenti.
• Utilizzo delle fonti di conoscenza: sapere con quale frequenza vengono utilizzate le singole fonti di conoscenza e con quale frequenza restituiscono errori aiuta a migliorare la qualità e la copertura delle risposte dell'agente.

Tasso di risposta generato e qualità

Con le risposte generative, il tuo agente può utilizzare l'IA per generare risposte alle domande degli utenti utilizzando le fonti di conoscenza e le istruzioni che fornisci. Tuttavia, l'agente potrebbe non essere in grado di rispondere a tutte le query utente. La sezione Percentuale di risposte generate e qualità tiene traccia, organizza e analizza le query senza risposta e la qualità delle risposte per fornire indicazioni per migliorare le prestazioni di risposta dell'agente.

La frequenza delle risposte mostra il numero di domande risposte e senza risposta entro il periodo di tempo selezionato e la variazione percentuale nel tempo.

La qualità delle risposte misura la qualità delle risposte usando l'intelligenza artificiale. Copilot Studio analizza un esempio di domande con risposta per verificarne completezza, rilevanza e fondatezza. Se una risposta rispetta uno standard stabilito, Copilot Studio la etichetta come di qualità Buona. Le risposte che non rispettano questo standard sono etichettate Scarsa qualità. Per le risposte scarse, Copilot Studio assegna una ragione per la valutazione di qualità e mostra la percentuale di risposte assegnate a ciascuna categoria.

Passa il puntatore del mouse su qualsiasi segmento di una barra nel grafico per visualizzare il peso relativo di un singolo motivo per un'etichetta Buono o Scarso. La descrizione comando indica anche il numero di risposte campionate per arrivare al valore della percentuale calcolata.

Nella legenda sotto il grafico passa il puntatore del mouse su uno dei motivi dell'etichetta di qualità per evidenziare tale motivo nel grafico.

Selezionare un segmento del grafico a barre per aprire una pagina di domande utente filtrate sulla qualità della risposta. Seleziona Visualizza domande per visualizzare un elenco non filtrato di tutte le domande entro il periodo di tempo configurato.

Utilizzo degli strumenti

La sezione Utilizzo degli strumenti mostra un grafico e metriche che tracciano con quale frequenza i tuoi strumenti si avviano nel tempo e con quale frequenza il tuo agente li utilizza con successo. Mostra anche gli indicatori di tendenza per la frequenza con cui l'agente usa ciascuno strumento e la percentuale di strumenti chiamati usati correttamente.

Il grafico mostra i cinque strumenti principali utilizzati nell'intervallo di date definito nella parte superiore della pagina Monitor.

Nella legenda sotto il grafico, passa il mouse su uno qualsiasi degli strumenti per evidenziare quello strumento nel grafico.

Per aprire un pannello laterale con un elenco di tutti gli strumenti usati nel periodo di tempo specificato, insieme agli indicatori di tendenza, selezionare Visualizza dettagli nel grafico. Nel pannello Utilizzo strumento puoi visualizzare i calcoli della percentuale di domande usate per ciascuno strumento. Se l'agente dispone di agenti figlio, puoi scegliere di visualizzare i calcoli sia per l'agente principale che per gli agenti figlio (Tutti), solo Agente principale o solo Agente figlio.

Uso delle origini della conoscenza

La sezione Uso dell'origine conoscenze fornisce informazioni dettagliate sul modo in cui l'agente usa le relative origini conoscenze e sulla frequenza con cui tali origini restituiscono errori. Scopri di più su Knowledge source use.