Ottimizzare un agente non finisce al lancio. Copilot Studio fornisce analisi approfondite che ti aiutano a capire come gli utenti interagiscono con il tuo agente, dove le conversazioni hanno successo o si rompono, e quanto bene l'agente utilizza i suoi strumenti e conoscenze. Questo articolo fornisce una checklist strutturata e le migliori pratiche per aiutarti a valutare e migliorare continuamente il tuo agente.
Verifica la tua preparazione per il miglioramento e l'analisi
Usa queste domande durante le revisioni regolari, come le cerimonie di sprint, le ottimizzazioni mensili o la preparazione pre-rilascio.
Temi e modelli di intento dell'utente
| Fatto? |
Task |
| ✓ |
State rivedendo i temi per identificare gruppi di domande degli utenti e intenti emergenti? |
| ✓ |
Stai aggiungendo temi ricorrenti al tuo arretrato per i miglioramenti futuri? |
Risultati conversazione
| Fatto? |
Task |
| ✓ |
Analizzi conversazioni risolte, escalate, abbandonate e non coinvolte per trovare aree di miglioramento? |
| ✓ |
Ti assicuri che le conversazioni finiscano con l'argomento Fine della Conversazione affinché i risultati vengano catturati correttamente? |
| ✓ |
State indagando sui picchi nelle sessioni abbandonate per identificare risposte poco chiare o logiche mancanti? |
| ✓ |
Stai convalidando che i percorsi di escalation si attivano solo quando è appropriato? |
Tasso di risposta generato e qualità
| Fatto? |
Task |
| ✓ |
Rivedi il tasso di risposta generato per identificare lacune di conoscenza o coperture mancanti? |
| ✓ |
Controlli metriche di qualità delle risposte come completezza, solidità e rilevanza? |
| ✓ |
Indaghi sulle risposte di scarsa qualità e affronti le ragioni segnalate nelle analisi? |
| Fatto? |
Task |
| ✓ |
Monitorate con quale frequenza vengono invocati strumenti e azioni e se hanno successo o falliscono? |
| ✓ |
Identifichi strumenti poco utilizzati o soggetti a errori e decidi se ottimizzarli o rimuoverli? |
| ✓ |
Confermi che gli strumenti usati nell'orchestrazione generativa funzionano in modo affidabile? |
| Fatto? |
Task |
| ✓ |
Rivedi l'uso e i tassi di errore di tutte le fonti di conoscenza? |
| ✓ |
Dai priorità agli aggiornamenti per fonti di conoscenza con alti tassi di errore o risultati incoerenti? |
| ✓ |
Verifichi che le fonti di conoscenza corrette supportino gli scenari per cui sono destinate? |
Soddisfazione e feedback degli utenti
| Fatto? |
Task |
| ✓ |
Raccogliete il feedback degli utenti tramite pollice in su/giù e sondaggi CSAT? |
| ✓ |
Stai analizzando le tendenze dei feedback per rilevare risposte poco chiare o flussi di conversazione deboli? |
| ✓ |
Stai aggiungendo modelli di interazione a bassa soddisfazione al tuo arretrato per il redesign? |
Chiamate delle migliori pratiche
-
Considera l'analisi come un ciclo di miglioramento iterativo: Usa l'analisi per guidare cambiamenti incrementali. Usa temi, risposte incomplete e schemi di fallimento per informare la pianificazione dello sprint e dare priorità agli arretrati degli elementi.
-
Concentrati sulla qualità dei risultati, non solo sul volume: un sistema sano massimizza le conversazioni risolte e minimizza escalation e abbandoni. Usa i rapporti di risultato come indicatore avanzato di chiarezza ed efficacia.
-
Rafforzare proattivamente le fonti di conoscenza: un alto tasso di errore o risposte di bassa qualità spesso indicano fonti di conoscenza poco chiare, obsolete o disadattate. Aggiorna e ristruttura spesso queste fonti per una migliore radicazione.
-
Ottimizzare gli strumenti per stabilità e successo: chiamate di strumenti inaffidabili degradano la fiducia. Monitorare i tassi di successo e le azioni di rifattorizzazione che falliscono frequentemente o restituiscono dati incoerenti.
-
Usa i temi per identificare nuove opportunità: i temi mettono in evidenza intenti emergenti. Usali per informare nuovi argomenti, fonti di conoscenza o esigenze di integrazione.
-
Assicurati che le conversazioni finiscano in modo pulito: Usa sempre l'argomento Fine Conversazione per catturare risoluzione e CSAT. Senza questo argomento, le analisi diventano incomplete e fuorvianti.
-
Valutazione separata degli agenti autonomi e degli agenti iniziati dall'utente: gli agenti autonomi si basano fortemente su trigger e catene di strumenti. Rivedere i risultati delle run e i trigger separatamente dai flussi iniziati dall'utente.
-
Monitorare il sentiment nel tempo: un feedback isolato è utile, ma le tendenze di sentiment su più settimane rivelano problemi sistemici. Indaga sui cali persistenti all'inizio.