Crea o modifica un set di test per valutare il tuo agente

[Questo articolo fa parte della documentazione non definitiva, pertanto è soggetto a modifiche.]

Un set di test è composto da un gruppo fino a 100 casi di test. Quando esegui una valutazione dell'agente, selezioni un set di test e Copilot Studio esegue ogni caso di test in quel set contro il tuo agente.

Puoi creare casi di test all'interno di un set di test manualmente, importarli usando un foglio di calcolo o usare l'IA per generare messaggi basati sul design e sulle risorse del tuo agente. Puoi quindi scegliere come misurare la qualità delle risposte del tuo agente per ogni caso di test all'interno di un set di test.

Per maggiori informazioni su come funziona la valutazione degli agenti, vedi Informazioni sulla valutazione degli agenti.

Per imparare come modificare un set di test esistente, vedi Modifica i dettagli di un set di test.

Importante

I risultati dei test sono disponibili presso Copilot Studio per 89 giorni. Per salvare i risultati dei test per un periodo più lungo, esporta i risultati in un file CSV.

Creare un nuovo set di test

1. Vai alla pagina Valutazione del tuo agente.

1. Seleziona Nuova valutazione.

   

2. Nella pagina Nuova valutazione , scegli il metodo che vuoi usare per creare il tuo set di test. Un set di test può avere fino a 100 casi di test.

   • Domanda veloce impostata per permettere a Copilot Studio di creare automaticamente casi di test basati sulla descrizione, le istruzioni e le capacità del tuo agente. Questa opzione genera 10 domande per eseguire valutazioni piccole e veloci o per iniziare a costruire un set di test più grande.
   • Domanda completa impostata da Copilot Studio a generare casi di test utilizzando le fonti di conoscenza o gli argomenti del tuo agente e scegliere il numero di domande da generare.
   • Usa la conversazione della chat di test per compilare automaticamente il set di test con le domande che hai fornito nella chat. Questo metodo utilizza domande dall'ultima chat del test. Puoi anche iniziare una valutazione dalla chat di prova usando il pulsante di valutazione .
   • Importa i casi di test da un file trascinando il file nell'area designata, selezionando Sfoglia per caricare un file, oppure selezionando una delle altre opzioni di caricamento.
   • Oppure, scrivi tu stesso alcune domande per creare manualmente un set di test. Segui i passaggi per modificare un set di test per aggiungere e modificare casi di test.
   • Usa i dati di produzione basati sui temi delle analisi del tuo agente.

3. Modifica i dettagli dei casi di test. Tutti i casi di test che utilizzano metodi, eccetto la qualità generale, richiedono risposte attese. Per maggiori informazioni sull'editing, vedi Modifica un set di test.

4. In Nome immetti un nome per il set di test.

5. Modifica o aggiungi i metodi di prova che vuoi utilizzare:

   • Aggiungi un nuovo metodo:
     1. Seleziona Aggiungi metodo di test.
     2. Seleziona tutti i metodi con cui vuoi testare, poi seleziona OK. Puoi aggiungere più metodi.
     3. Per alcuni metodi, imposta un punteggio di superamento, poi seleziona OK. Il punteggio di passaggio determina quale punteggio porta a un passaggio o a un fallimento.
     4. Alcuni metodi richiedono di aggiungere risposte attese o parole chiave per ciascuno dei tuoi casi di test. Per ulteriori informazioni, vedi Metodi di valutazione Scegli.
   • Seleziona un metodo di test esistente da modificare o eliminare.

   Metodo di test	Misure	Punteggio	Configurations
   Qualità generale	Quanto è valida la risposta del caso di prova basata su qualità specifiche	Segnato su 100%	None
   Confronta il significato	Quanto bene corrisponde il significato della risposta del caso di prova a quella attesa	Segnato su 100%	Punteggio di superamento, risposta attesa
   Utilizzo delle capacità	Se il caso di test utilizzava le risorse attese	Passata/fallita	Capacità attese
   Corrispondenza delle parole chiave	Se il caso di prova utilizzasse tutte o una delle parole chiave o frasi attese	Passata/fallita	Parole chiave o frasi attese
   Somiglianza del testo	Quanto corrisponde il testo della risposta del caso di prova con la risposta attesa	Segnato su 100%	Punteggio di superamento, risposta attesa
   Corrispondenza esatta	Se la risposta del caso di prova corrisponde esattamente a quella attesa	Passata/fallita	Risposta attesa

6. Seleziona profilo utente, poi seleziona o aggiungi l'account che vuoi usare per questo set di test, oppure continua senza autenticazione. La valutazione utilizza questo account per connettersi a fonti di conoscenza e strumenti durante i test. Per informazioni sull'aggiunta e gestione dei profili utente, vedi Gestisci profili e connessioni utente.

   Annotazioni

   Il test automatizzato utilizza l'autenticazione dell'account di test selezionato. Se il tuo agente ha fonti di conoscenza o connessioni che richiedono un'autenticazione specifica, seleziona l'account appropriato per il test. Quando Copilot Studio genera casi di test, utilizza le credenziali di autenticazione di un account connesso per accedere alle fonti di conoscenza e agli strumenti del tuo agente. I casi di test generati o i risultati possono includere informazioni sensibili a cui l'account connesso ha accesso, e queste informazioni sono visibili a tutti i creatori che possono accedere al set di test.

7. Seleziona Salva per aggiornare il set di test senza eseguire i casi di test oppure Valuta per eseguire immediatamente il set di test.

Limitazione della generazione dei casi di test

La generazione dei casi di test fallisce se una o più domande violano le impostazioni di moderazione dei contenuti del tuo agente. Le possibili cause includono:

• Le istruzioni o gli argomenti dell'agente portano il modello a generare contenuti che il sistema segnala.
• La fonte di conoscenza collegata include contenuti sensibili o limitati.
• Le impostazioni di moderazione dei contenuti dell'agente sono eccessivamente rigide.

Per risolvere il problema, prova diverse azioni, come modificare le fonti di conoscenza, aggiornare le istruzioni o modificare le impostazioni di moderazione.

Un set di test può contenere fino a 100 casi di test.

Genera un set di test a partire da conoscenze o argomenti

Puoi testare il tuo agente generando domande usando le informazioni e le fonti di conversazione che il tuo agente possiede già. Questo metodo di test è utile per testare come il tuo agente utilizza le conoscenze e gli argomenti già presenti, ma non è adatto per testare lacune di informazione.

Puoi generare casi di test utilizzando queste fonti di conoscenza:

• Testo

• Microsoft Word

• Microsoft Excel

Puoi usare file fino a 293 KB per generare domande di test.

Per generare un set di test:

1. Nella nuova valutazione, seleziona Set completo di domande.

2. Seleziona Conoscenza o Argomenti.

   • La conoscenza funziona meglio per gli agenti che utilizzano orchestrazione generativa. Questo metodo genera domande utilizzando una selezione delle fonti di conoscenza del tuo agente.
   • Topics funziona meglio per agenti che usano orchestrazione classica. Questo metodo genera domande utilizzando gli argomenti del tuo agente.

3. Per la Conoscenza, seleziona le fonti di conoscenza che vuoi includere nella generazione delle domande.

1. Per Conoscenza e Argomenti, seleziona e trascina il cursore per scegliere il numero di domande da generare.

1. Selezionare Genera.

2. In Nome immetti un nome per il set di test.

3. 1. Modifica o aggiungi i metodi di prova che vuoi utilizzare:
   • Aggiungi un nuovo metodo:
     1. Seleziona Aggiungi metodo di test.
     2. Seleziona tutti i metodi con cui vuoi testare, poi seleziona OK. Puoi aggiungere più metodi.
     3. Per alcuni metodi, imposta un punteggio di superamento, poi seleziona OK. Il punteggio di passaggio determina quale punteggio porta a un passaggio o a un fallimento.
     4. Alcuni metodi richiedono di aggiungere risposte attese o parole chiave per ciascuno dei tuoi casi di test. Per ulteriori informazioni, vedi Metodi di valutazione Choose
   • Seleziona un metodo di test esistente da modificare o eliminare.

4. Modifica i dettagli dei casi di test. Tutti i casi di test che utilizzano metodi, eccetto la qualità generale, richiedono risposte attese. Per maggiori informazioni sull'editing, vedi Modifica un set di test.

5. Seleziona Salva per aggiornare il set di test senza eseguire i casi di test oppure Valuta per eseguire immediatamente il set di test.

Crea un file di set di test da importare

Anziché creare i test case direttamente in Copilot Studio, puoi creare un file di foglio di calcolo con tutti i test case e importarli per creare il set di test. Puoi comporre ogni domanda di test, determinare il metodo di test da usare e indicare le risposte previste per ogni domanda. Al termine della creazione del file, salvarlo come .csv o .txt file e importarlo in Copilot Studio.

Importante

• Il file può contenere fino a 100 domande.
• Ogni domanda può contenere fino a 1.000 caratteri, inclusi gli spazi.
• Il file deve avere valori delimitati da virgole (CSV) o formato di testo.

Per creare il file di importazione:

1. Apri un'applicazione di foglio di calcolo ( ad esempio, Microsoft Excel).

2. Aggiungi le intestazioni seguenti, in questo ordine, nella prima riga:

   • Domanda
   • Risposta prevista
   • Metodo di test

3. Immetti le domande di test nella colonna Domanda. Ogni domanda può essere di 1.000 caratteri o meno, inclusi gli spazi.

4. Inserisci uno dei seguenti metodi di prova per ogni domanda nella colonna Metodo di test :

   • Qualità generale
   • Confrontare il significato
   • Similarity
   • Corrispondenza esatta
   • Corrispondenza delle parole chiave

5. Immetti le risposte previste per ogni domanda nella colonna Risposta prevista . Le risposte previste sono facoltative per l'importazione di un set di test. Tuttavia, sono necessarie risposte previste per eseguire corrispondenze, somiglianze e confrontare test case significativi.

6. Salva il file con estensione .csv o .txt.

7. Importa il file seguendo i passaggi in Crea un nuovo set di test.

Crea un set di test basato su un tema

Crea un set di test con domande tratte da conversazioni con utenti reali. Questo metodo utilizza temi (anteprima), presenti nelle analisi del tuo agente.

I temi sono raggruppamenti di domande ricavate dal pool di domande dell'utente che attivano risposte generative. Quando crei un set di test usando un tema, generi i casi di test a partire dalle domande poste dagli utenti relative a quel tema.

Usa questi set di test per effettuare valutazioni focalizzate su un'area o un argomento dell'ambito del tuo agente. Ad esempio, se hai un agente del servizio clienti, puoi monitorare la qualità delle risposte per domande su fatturazione e pagamenti separatamente da altri casi d'uso come la risoluzione dei problemi.

Annotazioni

Prima di creare set di test a partire dai temi, è necessario accedere ai temi nell'analisi. Rivedi i prerequisiti per i temi (anteprima).

1. Nella pagina Analytics del tuo agente, vai all'elenco Temi .

2. Passa il mouse su un tema, poi seleziona Valuta.

   

   Puoi anche selezionare Vedere tutti per vedere altri temi, poi selezionare Valuta.

3. Selezionare Crea e apri.

4. Modifica i dettagli dei set di test e dei casi. Tutti i casi di test che utilizzano metodi, eccetto la qualità generale, richiedono risposte attese. Per maggiori informazioni sull'editing, vedi Modifica un set di test.

5. Seleziona Salva per aggiornare il set di test senza eseguire i casi di test oppure Valuta per eseguire immediatamente il set di test.