Creare set di test per le valutazioni

[Questo articolo fa parte della documentazione non definitiva, pertanto è soggetto a modifiche.]

In Copilot Studio puoi creare un set di test di casi di test per valutare le prestazioni dei tuoi agenti. I test case consentono di simulare scenari reali per l'agente, in modo da poter misurare l'accuratezza, la pertinenza e la qualità delle risposte alle domande poste dall'agente, in base alle informazioni a cui l'agente può accedere. Utilizzando i risultati del set di test, puoi ottimizzare il comportamento del tuo agente e verificare che soddisfi i requisiti di business e qualità.

Importante

Questo articolo contiene la documentazione sull'anteprima di Microsoft Copilot Studio ed è pertanto soggetto a modifiche.

Le funzionalità di anteprima non sono progettate per l'uso in produzione e possono avere funzionalità limitate. Queste funzionalità sono disponibili prima di una versione ufficiale in modo che sia possibile ottenere l'accesso iniziale e inviare commenti.

Se stai creando un agente destinato alla produzione, vedi Panoramica di Microsoft Copilot Studio.

Le valutazioni funzionano inviando messaggi all'agente, registrando le risposte e confrontando queste risposte con quelle attese o con uno standard di qualità. Più messaggi, usati come casi di prova, possono darti un'idea migliore di come il tuo agente gestisce vari casi d'uso.

Puoi creare casi di test manualmente, importarli usando un foglio di calcolo o usare l'IA per generare messaggi basati sul design e sulle conoscenze del tuo agente. Puoi quindi scegliere come misurare la qualità delle risposte del tuo agente per ogni caso di test all'interno di un set di test. Per maggiori informazioni sulla creazione di casi di test, vedi Crea un set di test.

Importante

I risultati dei test sono disponibili presso Copilot Studio per 89 giorni. Per salvare i risultati dei test per un periodo più lungo, esporta i risultati in un file CSV.

Creare un nuovo set di test

1. Vai alla pagina Valutazione del tuo agente.

2. Seleziona Nuovo set di test.

   

3. Nella pagina Nuovo set di test scegli il metodo da usare per creare il set di prova:

   • Domanda veloce impostata per permettere a Copilot Studio di creare automaticamente casi di test basati sulla descrizione, le istruzioni e le capacità del tuo agente. Questa opzione genera 10 domande per eseguire valutazioni piccole e veloci o per iniziare a costruire un set di test più grande.
   • Domanda completa impostata per permettere a Copilot Studio di generare casi di test utilizzando le fonti di conoscenza o gli argomenti del tuo agente.
   • Usa la conversazione della chat di test per compilare automaticamente il set di test con le domande che hai fornito nella chat. Questo metodo utilizza domande dall'ultima chat del test. Puoi anche iniziare una valutazione dalla chat di prova usando il pulsante di valutazione .
   • Importa i casi di test da un file trascinando il file nell'area designata, selezionando Sfoglia per caricare un file, oppure selezionando una delle altre opzioni di caricamento.
   • Oppure, scrivi tu stesso alcune domande per creare manualmente un set di test. Segui i passaggi per modificare un set di test per aggiungere e modificare casi di test.

4. Modifica i dettagli dei casi di test. Tutti i casi di test che utilizzano metodi tranne la qualità generale richiedono risposte attese. Per maggiori informazioni sull'editing, vedi Modifica un set di test.

5. In Nome immetti un nome per il set di test.

6. Seleziona profilo utente, poi seleziona o aggiungi l'account che vuoi usare per questo set di test, oppure continua senza autenticazione. La valutazione utilizza questo account per connettersi a fonti di conoscenza e strumenti durante i test. Per informazioni sull'aggiunta e gestione dei profili utente, vedi Gestisci profili e connessioni utente.

Annotazioni

Il test automatizzato utilizza l'autenticazione dell'account di test selezionato. Se il tuo agente ha fonti di conoscenza o connessioni che richiedono un'autenticazione specifica, seleziona l'account appropriato per il test.

1. Seleziona Salva per aggiornare il set di test senza eseguire i casi di test oppure Valuta per eseguire immediatamente il set di test.

Limitazione della generazione dei casi di test

Quando generi un gruppo di casi di test, la generazione può fallire perché una o più domande violano le impostazioni di moderazione dei contenuti del tuo agente. I motivi includono:

• Le istruzioni o gli argomenti dell'agente portano il modello a generare contenuti segnalati
• La fonte di conoscenza collegata include contenuti sensibili o limitati
• Le impostazioni di moderazione dei contenuti dell'agente sono eccessivamente rigide

Potresti dover provare diverse azioni per risolvere il problema, come modificare le fonti di conoscenza, aggiornare le istruzioni o modificare le impostazioni di moderazione.

Genera un set di test a partire da conoscenze o argomenti

Puoi testare il tuo agente generando domande usando le informazioni e le fonti di conversazione che il tuo agente possiede già. Questo metodo di test è utile per testare come il tuo agente utilizza le conoscenze e gli argomenti già presenti, ma non è adatto per testare lacune informative.

Puoi generare casi di test utilizzando queste fonti di conoscenza:

• Testo
• Microsoft Word
• Microsoft Excel

Puoi usare file fino a 293 KB per generare domande di test.

Per generare un set di test:

1. Nella pagina del nuovo set di test , scegli il set completo di domande.

2. Seleziona Conoscenza o Argomenti.

   • La conoscenza funziona meglio per gli agenti che utilizzano orchestrazione generativa. Questo metodo genera domande utilizzando una selezione delle fonti di conoscenza del tuo agente.
   • Topics funziona meglio per agenti che usano orchestrazione classica. Questo metodo genera domande utilizzando gli argomenti del tuo agente.

3. Per la Conoscenza, seleziona le fonti di conoscenza che vuoi includere nella generazione delle domande.

1. Per Conoscenza e Argomenti, seleziona e trascina il cursore per scegliere il numero di domande da generare.

1. Selezionare Genera.

2. Modifica i dettagli dei casi di test. Tutti i casi di test che utilizzano metodi tranne la qualità generale richiedono risposte attese. Per maggiori informazioni sull'editing, vedi Modifica un set di test.

3. Seleziona Gestisci profilo per selezionare o collegare l'account che desideri utilizzare per questo set di test. Puoi anche continuare senza aggiungere un account per l'autenticazione.

Annotazioni

Il test automatizzato utilizza l'autenticazione dell'account di test selezionato. Se il tuo agente ha fonti di conoscenza o connessioni che richiedono un'autenticazione specifica, seleziona l'account appropriato per il test.

Quando Copilot Studio genera casi di test, utilizza le credenziali di autenticazione di un account connesso per accedere alle fonti di conoscenza e agli strumenti del tuo agente. I casi di test generati o i risultati possono includere informazioni sensibili a cui l'account connesso ha accesso, e queste informazioni sono visibili a tutti i creatori che possono accedere al set di test.

1. Seleziona Salva per aggiornare il set di test senza eseguire i casi di test oppure Valuta per eseguire immediatamente il set di test.

Crea un file di set di test da importare

Anziché creare i test case direttamente in Copilot Studio, puoi creare un file di foglio di calcolo con tutti i test case e importarli per creare il set di test. Puoi comporre ogni domanda di test, determinare il metodo di test da usare e indicare le risposte previste per ogni domanda. Al termine della creazione del file, salvarlo come .csv o .txt file e importarlo in Copilot Studio.

Importante

• Il file può contenere fino a 100 domande.
• Ogni domanda può contenere fino a 1.000 caratteri, inclusi gli spazi.
• Il file deve avere valori delimitati da virgole (CSV) o formato di testo.

Per creare il file di importazione:

1. Apri un'applicazione di foglio di calcolo ( ad esempio, Microsoft Excel).

2. Aggiungi le intestazioni seguenti, in questo ordine, nella prima riga:

   • Domanda
   • Risposta prevista
   • Metodo di test

3. Immetti le domande di test nella colonna Domanda. Ogni domanda può essere di 1.000 caratteri o meno, inclusi gli spazi.

4. Immetti uno dei metodi di test seguenti per ogni domanda nella colonna Metodo test :

   • Qualità generale
   • Confrontare il significato
   • Similarity
   • Corrispondenza esatta
   • Corrispondenza parziale

5. Immetti le risposte previste per ogni domanda nella colonna Risposta prevista . Le risposte previste sono facoltative per l'importazione di un set di test. Tuttavia, sono necessarie risposte previste per eseguire corrispondenze, somiglianze e confrontare test case significativi.

6. Salva il file con estensione .csv o .txt.

7. Importa il file seguendo i passaggi in Crea un nuovo set di test.