Crea o modifica un set di test per valutare il tuo agente

[Questo articolo fa parte della documentazione non definitiva, pertanto è soggetto a modifiche.]

Un set di test è composto da un gruppo fino a 100 casi di test. Quando esegui una valutazione dell'agente, selezioni un set di test e Copilot Studio esegue ogni caso di test in quel set contro il tuo agente.

Puoi creare casi di test all'interno di un set di test manualmente, importarli usando un foglio di calcolo o usare l'IA per generare messaggi basati sul design e sulle risorse del tuo agente. Puoi quindi scegliere come misurare la qualità delle risposte del tuo agente per ogni caso di test all'interno di un set di test.

Per maggiori informazioni su come funziona la valutazione degli agenti, vedi Informazioni sulla valutazione degli agenti.

Importante

I risultati dei test sono disponibili presso Copilot Studio per 89 giorni. Per salvare i risultati dei test per un periodo più lungo, esporta i risultati in un file CSV.

Creare un nuovo set di test

1. Vai alla pagina Valutazione del tuo agente.

2. Seleziona Nuovo set di test.

   

3. Nella pagina Nuovo set di test , scegli il metodo che vuoi usare per creare il tuo set di test. Un set di test può avere fino a 100 casi di test.

   • Domanda veloce impostata per permettere a Copilot Studio di creare automaticamente casi di test basati sulla descrizione, le istruzioni e le capacità del tuo agente. Questa opzione genera 10 domande per eseguire valutazioni piccole e veloci o per iniziare a costruire un set di test più grande.
   • Domanda completa impostata per permettere a Copilot Studio di generare casi di test utilizzando le fonti di conoscenza o gli argomenti del tuo agente.
   • Usa la conversazione della chat di test per compilare automaticamente il set di test con le domande che hai fornito nella chat. Questo metodo utilizza domande dall'ultima chat del test. Puoi anche iniziare una valutazione dalla chat di prova usando il pulsante di valutazione .
   • Importa i casi di test da un file trascinando il file nell'area designata, selezionando Sfoglia per caricare un file, oppure selezionando una delle altre opzioni di caricamento.
   • Oppure, scrivi tu stesso alcune domande per creare manualmente un set di test. Segui i passaggi per modificare un set di test per aggiungere e modificare casi di test.

4. Modifica i dettagli dei casi di test. Tutti i casi di test che utilizzano metodi, eccetto la qualità generale, richiedono risposte attese. Per maggiori informazioni sull'editing, vedi Modifica un set di test.

5. In Nome immetti un nome per il set di test.

6. Seleziona profilo utente, poi seleziona o aggiungi l'account che vuoi usare per questo set di test, oppure continua senza autenticazione. La valutazione utilizza questo account per connettersi a fonti di conoscenza e strumenti durante i test. Per informazioni sull'aggiunta e gestione dei profili utente, vedi Gestisci profili e connessioni utente.

Annotazioni

Il test automatizzato utilizza l'autenticazione dell'account di test selezionato. Se il tuo agente ha fonti di conoscenza o connessioni che richiedono un'autenticazione specifica, seleziona l'account appropriato per il test.

1. Seleziona Salva per aggiornare il set di test senza eseguire i casi di test oppure Valuta per eseguire immediatamente il set di test.

Limitazione della generazione dei casi di test

La generazione dei casi di test può fallire se una o più domande violano le impostazioni di moderazione dei contenuti del tuo agente. I motivi includono:

• Le istruzioni o gli argomenti dell'agente portano il modello a generare contenuti segnalati.
• La fonte di conoscenza collegata include contenuti sensibili o limitati.
• Le impostazioni di moderazione dei contenuti dell'agente sono eccessivamente rigide.

Per risolvere il problema, prova diverse azioni, come modificare le fonti di conoscenza, aggiornare le istruzioni o modificare le impostazioni di moderazione.

Un set di test può contenere fino a 100 casi di test.

Genera un set di test a partire da conoscenze o argomenti

Puoi testare il tuo agente generando domande usando le informazioni e le fonti di conversazione che il tuo agente possiede già. Questo metodo di test è utile per testare come il tuo agente utilizza le conoscenze e gli argomenti già presenti, ma non è adatto per testare lacune di informazione.

Puoi generare casi di test utilizzando queste fonti di conoscenza:

• Testo
• Microsoft Word
• Microsoft Excel

Puoi usare file fino a 293 KB per generare domande di test.

Per generare un set di test:

1. Nel nuovo set di test, seleziona Insieme completo di domande.

2. Seleziona Conoscenza o Argomenti.

   • La conoscenza funziona meglio per gli agenti che utilizzano orchestrazione generativa. Questo metodo genera domande utilizzando una selezione delle fonti di conoscenza del tuo agente.
   • Topics funziona meglio per agenti che usano orchestrazione classica. Questo metodo genera domande utilizzando gli argomenti del tuo agente.

3. Per la Conoscenza, seleziona le fonti di conoscenza che vuoi includere nella generazione delle domande.

1. Per Conoscenza e Argomenti, seleziona e trascina il cursore per scegliere il numero di domande da generare.

1. Selezionare Genera.

2. Modifica i dettagli dei casi di test. Tutti i casi di test che utilizzano metodi, eccetto la qualità generale, richiedono risposte attese. Per maggiori informazioni sull'editing, vedi Modifica un set di test.

3. Seleziona Gestisci profilo per selezionare o collegare l'account che desideri utilizzare per questo set di test. Puoi anche continuare senza aggiungere un account per l'autenticazione.

Annotazioni

Il test automatizzato utilizza l'autenticazione dell'account di test selezionato. Se il tuo agente ha fonti di conoscenza o connessioni che richiedono un'autenticazione specifica, seleziona l'account appropriato per il test.

Quando Copilot Studio genera casi di test, utilizza le credenziali di autenticazione di un account connesso per accedere alle fonti di conoscenza e agli strumenti del tuo agente. I casi di test generati o i risultati possono includere informazioni sensibili a cui l'account connesso ha accesso, e queste informazioni sono visibili a tutti i creatori che possono accedere al set di test.

1. Seleziona Salva per aggiornare il set di test senza eseguire i casi di test oppure Valuta per eseguire immediatamente il set di test.

Crea un file di set di test da importare

Anziché creare i test case direttamente in Copilot Studio, puoi creare un file di foglio di calcolo con tutti i test case e importarli per creare il set di test. Puoi comporre ogni domanda di test, determinare il metodo di test da usare e indicare le risposte previste per ogni domanda. Al termine della creazione del file, salvarlo come .csv o .txt file e importarlo in Copilot Studio.

Importante

• Il file può contenere fino a 100 domande.
• Ogni domanda può contenere fino a 1.000 caratteri, inclusi gli spazi.
• Il file deve avere valori delimitati da virgole (CSV) o formato di testo.

Per creare il file di importazione:

1. Apri un'applicazione di foglio di calcolo ( ad esempio, Microsoft Excel).

2. Aggiungi le intestazioni seguenti, in questo ordine, nella prima riga:

   • Domanda
   • Risposta prevista
   • Metodo di test

3. Immetti le domande di test nella colonna Domanda. Ogni domanda può essere di 1.000 caratteri o meno, inclusi gli spazi.

4. Inserisci uno dei seguenti metodi di prova per ogni domanda nella colonna Metodo di test :

   • Qualità generale
   • Confrontare il significato
   • Similarity
   • Corrispondenza esatta
   • Corrispondenza delle parole chiave

5. Immetti le risposte previste per ogni domanda nella colonna Risposta prevista . Le risposte previste sono facoltative per l'importazione di un set di test. Tuttavia, sono necessarie risposte previste per eseguire corrispondenze, somiglianze e confrontare test case significativi.

6. Salva il file con estensione .csv o .txt.

7. Importa il file seguendo i passaggi in Crea un nuovo set di test.