Creare un singolo set di test di risposta

Una singola valutazione della risposta testa l'agente su una domanda non connessa alla volta, anziché una conversazione completa. Ad esempio, una singola valutazione della risposta per un agente del servizio clienti chiede Cosa sono le ore lavorative?, registra la risposta dell'agente a tale domanda, quindi inizia con una nuova domanda, come trovo la cronologia degli ordini?

Le valutazioni a risposta singola sono valide per quando si vuole testare l'agente su come risponde a domande specifiche, sulle funzionalità chiamate e sull'esatta formulazione usata nelle risposte. È anche possibile eseguire una valutazione conversazionale, che consente di valutare il comportamento dell'agente in un'interazione più lunga.

Le valutazioni usano set di test. Un set di test per le valutazioni con risposta singola è costituito da un gruppo di fino a 100 test case. Quando si esegue una valutazione dell'agente, si seleziona un set di test e Copilot Studio esegue ogni caso di test in tale set con l'agente.

Puoi creare casi di test all'interno di un set di test manualmente, importarli usando un foglio di calcolo o usare l'IA per generare messaggi basati sul design e sulle risorse del tuo agente. Puoi quindi scegliere come misurare la qualità delle risposte del tuo agente per ogni caso di test all'interno di un set di test.

Per maggiori informazioni su come funziona la valutazione degli agenti, vedi Informazioni sulla valutazione degli agenti.

Per imparare come modificare un set di test esistente, vedi Modifica i dettagli di un set di test.

Importante

I risultati dei test sono disponibili in Copilot Studio per 89 giorni. Per salvare i risultati dei test per un periodo più lungo, esporta i risultati in un file CSV.

Creare un nuovo set di test

1. Vai alla pagina Valutazione del tuo agente.

   

2. Selezionare Nuova valutazione e quindi Singola risposta.

   

3. Scegliere il metodo da usare per creare il set di test. Un set di test può avere fino a 100 casi di test.

   • Set di domande rapide per fare in modo che Copilot Studio crei automaticamente casi di test in base alla descrizione, alle istruzioni e alle funzionalità dell'agente. Questa opzione genera 10 domande per eseguire valutazioni piccole e veloci o per iniziare a costruire un set di test più grande.
   • Set di domande completo per consentire a Copilot Studio di generare casi di test utilizzando una fonte di conoscenza o argomenti e selezionare il numero di domande da generare.
   • Usa la conversazione della chat di test per compilare automaticamente il set di test con le domande che hai fornito nella chat. Questo metodo utilizza domande dall'ultima chat del test. Puoi anche iniziare una valutazione dalla chat di prova usando il pulsante di valutazione .
   • Importa i casi di test da un file trascinando il file nell'area designata, selezionando Sfoglia per caricare un file, oppure selezionando una delle altre opzioni di caricamento.
   • Oppure, scrivi tu stesso alcune domande per creare manualmente un set di test. Segui i passaggi per modificare un set di test per aggiungere e modificare casi di test.
   • Usa i dati di produzione basati sui temi delle analisi del tuo agente.

4. In Nome immetti un nome per il set di test.

5. Modifica o aggiungi i metodi di prova che vuoi utilizzare:

   • Aggiungi un nuovo metodo:
     1. Seleziona Aggiungi metodo di test.
     2. Seleziona tutti i metodi con cui vuoi testare, poi seleziona OK.
     3. Alcuni metodi richiedono un punteggio minimo richiesto. Il punteggio di superamento determina quale punteggio comporta il superamento o il fallimento. Imposta il punteggio, poi seleziona OK.
     4. Alcuni metodi richiedono di aggiungere risposte attese o parole chiave per ciascuno dei tuoi casi di test. Per ulteriori informazioni, vedi Scegli i metodi di valutazione
   • Seleziona un metodo di test esistente da modificare o eliminare.

   Metodo di test	Misure	Tipo di set di test	Punteggio	Configurations
   Qualità generale	Qual è la qualità delle risposte di un test case in base a qualità specifiche	Risposta singola o conversazione	Valutato su una scala del 100%	None
   Confronta il significato	Quanto bene corrisponde il significato della risposta del caso di prova a quella attesa	Risposta singola	Valutato su una scala del 100%	Punteggio di superamento, risposta prevista
   Utilizzo delle capacità	Indica se il test case ha usato tutte le risorse previste o qualunque delle risorse previste.	Risposta singola	Superato/non superato	Capacità attese
   Corrispondenza delle parole chiave	Se il caso di prova utilizzasse tutte o una delle parole chiave o frasi attese	Risposta singola o conversazione	Superato/non superato	Parole chiave o frasi attese
   Somiglianza del testo	Quanto corrisponde il testo della risposta del caso di prova con la risposta attesa	Risposta singola	Valutato su una scala del 100%	Punteggio di superamento, risposta prevista
   Corrispondenza esatta	Se la risposta del caso di prova corrisponde esattamente a quella attesa	Risposta singola	Superato/non superato	Risposta attesa

6. Modifica i dettagli dei casi di test. Tutti i metodi di test, ad eccezione della qualità generale, richiedono risposte o parole chiave previste. Per altre informazioni sulla modifica dei test case, vedere Modificare un set di test.

7. Seleziona profilo utente, poi seleziona o aggiungi l'account che vuoi usare per questo set di test, oppure continua senza autenticazione. La valutazione utilizza questo account per connettersi a fonti di conoscenza e strumenti durante i test. Se per la valutazione è selezionato un account diverso rispetto all'account con l'autenticazione del connettore, gli agenti che usano connettori o strumenti avranno esito negativo. Per informazioni sull'aggiunta e gestione dei profili utente, vedi Gestisci profili e connessioni utente.

   Annotazioni

   Il test automatizzato utilizza l'autenticazione dell'account di test selezionato. Se il tuo agente ha fonti di conoscenza o connessioni che richiedono un'autenticazione specifica, seleziona l'account appropriato per il test.

   Quando Copilot Studio genera test case, usa le credenziali di autenticazione di un account connesso per accedere alle informazioni e agli strumenti dell'agente. I casi di test generati o i risultati possono includere informazioni sensibili a cui l'account connesso ha accesso, e queste informazioni sono visibili a tutti i creatori che possono accedere al set di test.

8. Seleziona Salva per aggiornare il set di test senza eseguire i casi di test oppure Valuta per eseguire immediatamente il set di test.

Limitazione della generazione dei casi di test

La generazione dei casi di test fallisce se una o più domande violano le impostazioni di moderazione dei contenuti del tuo agente. Le possibili cause includono:

• Le istruzioni o gli argomenti dell'agente portano il modello a generare contenuti che il sistema segnala.
• La fonte di conoscenza collegata include contenuti sensibili o limitati.
• Le impostazioni di moderazione dei contenuti dell'agente sono eccessivamente rigide.

Per risolvere il problema, prova diverse azioni, come modificare le fonti di conoscenza, aggiornare le istruzioni o modificare le impostazioni di moderazione.

Un set di test può contenere fino a 100 casi di test.

Genera un set di test a partire da conoscenze o argomenti

Puoi testare il tuo agente generando domande usando le informazioni e le fonti di conversazione che il tuo agente possiede già. Questo metodo di test è utile per verificare come l'agente utilizza una fonte di conoscenza o argomenti che possiede, ma non è utile per identificare lacune informative.

Puoi generare casi di test utilizzando queste fonti di conoscenza:

• Testo

• Microsoft Word

• Microsoft Excel

È possibile usare file fino a 5 MB per generare domande di test.

Per generare un set di test:

1. Nella nuova valutazione, seleziona Set completo di domande.

2. Seleziona Conoscenza o Argomenti.

   • La conoscenza funziona meglio per gli agenti che utilizzano orchestrazione generativa. Questo metodo crea domande usando una delle origini di conoscenza di uno dei tuoi agenti.
   • Topics funziona meglio per agenti che utilizzano l'orchestrazione classica. Questo metodo genera domande utilizzando gli argomenti del tuo agente.

3. Per Informazioni selezionare l'origine delle informazioni da usare per generare domande.

   

4. Per Conoscenza e Argomenti, seleziona e trascina il cursore per scegliere il numero di domande da generare.

   

5. Selezionare Genera.

6. In Nome immetti un nome per il set di test.

7. 1. Modifica o aggiungi i metodi di prova che vuoi utilizzare:
   • Aggiungi un nuovo metodo:
     1. Seleziona Aggiungi metodo di test.
     2. Seleziona tutti i metodi con cui vuoi testare, poi seleziona OK. Puoi aggiungere più metodi.
     3. Per alcuni metodi, imposta un punteggio di superamento, poi seleziona OK. Il punteggio di superamento determina quale punteggio comporta il superamento o il fallimento.
     4. Alcuni metodi richiedono di aggiungere risposte attese o parole chiave per ciascuno dei tuoi casi di test. Per ulteriori informazioni, vedi Scegli i metodi di valutazione
   • Seleziona un metodo di test esistente da modificare o eliminare.

8. Modifica i dettagli dei casi di test. Tutti i casi di test che utilizzano metodi, eccetto la qualità generale, richiedono risposte attese. Per maggiori informazioni sull'editing, vedi Modifica un set di test.

9. Seleziona Salva per aggiornare il set di test senza eseguire i casi di test oppure Valuta per eseguire immediatamente il set di test.

Crea un file di set di test da importare

Anziché creare i test case direttamente in Copilot Studio, è possibile creare un file di foglio di calcolo con tutti i test case e importarli per creare il set di test. Puoi comporre ogni domanda di test, determinare il metodo di test da usare e indicare le risposte previste per ogni domanda. Al termine della creazione del file, salvarlo come file .csv o .txt e importarlo in Copilot Studio.

Importante

• Il file può contenere fino a 100 domande.
• Ogni domanda può contenere fino a 1.000 caratteri, inclusi gli spazi.
• Il file deve avere valori delimitati da virgole (CSV) o formato di testo.

Per creare il file di importazione:

1. Aprire un'applicazione foglio di calcolo , ad esempio Microsoft Excel. È possibile scaricare un modello CSV in Origine dati dopo aver selezionato Nuova valutazione.

2. Aggiungi le intestazioni seguenti, in questo ordine, nella prima riga:

   • Domanda
   • Risposta prevista
   • Metodo di test

3. Immetti le domande di test nella colonna Domanda. Ogni domanda può essere di 1.000 caratteri o meno, inclusi gli spazi.

4. Inserisci uno dei seguenti metodi di prova per ogni domanda nella colonna Metodo di test :

   • Qualità generale
   • Confronta il significato
   • Similarity
   • Corrispondenza esatta
   • Corrispondenza delle parole chiave

5. Immetti le risposte previste per ogni domanda nella colonna Risposta prevista . Le risposte previste sono facoltative per l'importazione di un set di test. Tuttavia, sono necessarie risposte previste per eseguire corrispondenze, somiglianze e confrontare test case significativi.

6. Salva il file con estensione .csv o .txt.

7. Importa il file seguendo i passaggi in Crea un nuovo set di test.

Crea un set di test basato su un tema

Crea un set di test con domande tratte da conversazioni con utenti reali. Questo metodo utilizza temi (anteprima), presenti nelle analisi del tuo agente.

I temi sono raggruppamenti di domande ricavate dal pool di domande dell'utente che attivano risposte generative. Quando crei un set di test usando un tema, generi i casi di test a partire dalle domande poste dagli utenti relative a quel tema.

Usa questi set di test per effettuare valutazioni focalizzate su un'area o un argomento dell'ambito del tuo agente. Ad esempio, se hai un agente del servizio clienti, puoi monitorare la qualità delle risposte per domande su fatturazione e pagamenti separatamente da altri casi d'uso come la risoluzione dei problemi.

Annotazioni

Prima di creare set di test a partire dai temi, è necessario accedere ai temi nell'analisi. Rivedi i prerequisiti per i temi (anteprima).

1. Nella pagina Analytics del tuo agente, vai all'elenco Temi .

2. Passa il mouse su un tema, poi seleziona Valuta.

   

   Puoi anche selezionare Vedere tutti per vedere altri temi, poi selezionare Valuta.

3. Selezionare Crea e apri.

4. Modifica i dettagli dei set di test e dei casi. Tutti i casi di test che utilizzano metodi, eccetto la qualità generale, richiedono risposte attese. Per maggiori informazioni sull'editing, vedi Modifica un set di test.

5. Seleziona Salva per aggiornare il set di test senza eseguire i casi di test oppure Valuta per eseguire immediatamente il set di test.