Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
L'interfaccia della riga di comando di Microsoft 365 Copilot Evaluations (@microsoft/m365-copilot-evalprecedentemente denominata Agent Evaluations CLI), consente di testare, misurare e migliorare la qualità degli agenti con valutazioni strutturate e report dei risultati. L'anteprima CLI v2 supporta anche la valutazione delle risposte di Microsoft 365 Copilot che usano plug-in.
Importante
Per gli agenti dichiarativi distribuiti, iniziare con Work IQ Dev Tools per un flusso di lavoro guidato. Work IQ Dev Tools gestisce la versione compatibile dell'interfaccia della riga di comando di Microsoft 365 Copilot Evaluations e la espone tramite wiqd agent eval. Utilizzare la guida CLI autonoma in questa sezione quando è necessario il controllo dei comandi di livello inferiore o la gestione di un flusso di lavoro esistente runevals .
Scegliere una versione CLI
Il nome e runevals il comando del pacchetto npm rimangono invariati.
| Versione | Tag npm | Ambito di valutazione |
|---|---|---|
| V1 | latest |
Agenti distribuiti. La guida introduttiva illustra questa versione. |
| Anteprima V2 | preview |
Agenti distribuiti e risposte di Microsoft 365 Copilot che usano plug-in. Obbligatorio per gli analizzatori di chiamate agli strumenti con schema v2. |
Nell'anteprima v2, un'esecuzione senza un ID agente configurato valuta la chat di Microsoft 365 Copilot invece di selezionare un agente. Per le esecuzioni di plug-in, effettuare prima il provisioning e abilitare il plug-in in Copilot, quindi rimuovere M365_AGENT_ID e legacy AGENT_ID dalla shell e dai file di ambiente caricati. Questa configurazione valuta l'esperienza Copilot, non un endpoint del plug-in in isolamento.
Per l'installazione di anteprima e gli esempi di set di dati di chiamata di strumenti, vedere Analizzatori di chiamata di strumenti.
Cosa è possibile fare
Lo strumento di valutazione offre le funzionalità seguenti:
- Eseguire valutazioni batch e interattive.
- Assegnare automaticamente un punteggio alle risposte usando la valutazione cloud di Microsoft Foundry e le metriche predefinite.
- Esegui il test usando set di dati JSON, prompt inline o input interattivo.
- Genera report nei formati HTML, JSON o CSV.
Metriche di valutazione
Gli analizzatori delle risposte assegnano un punteggio alla qualità delle risposte. Gli analizzatori delle chiamate allo strumento esaminano la diagnostica di runtime anziché il testo della risposta.
| Valutatore | Type | Scale | Soglia predefinita | Predefinito |
|---|---|---|---|---|
| Rilevanza | Basato su LLM | 1-5 | 3 | Sì |
| Coerenza | Basato su LLM | 1-5 | 3 | Sì |
| Radicamento | Basato su LLM | 1-5 | 3 | No |
| Somiglianza | Basato su LLM | 1-5 | 3 | No |
| RetrievalQuery | Non LLM | Pass/fail | N/D | No |
| RetrievalResult | Non LLM | Proporzionale | 1,0 | No |
| ToolCallSelection (anteprima V2) | Non LLM | Esito positivo/negativo/errore | 1.0, fisso | No |
| ToolCallExecution (anteprima V2) | Non LLM | Esito positivo/negativo/errore | 1.0, fisso | No |
| Citazioni | In base al conteggio | >= 0 | 1 | No |
| ExactMatch | Corrispondenza stringa | Valore booleano | N/D | No |
| PartialMatch | Corrispondenza stringa | 0.0-1.0 | 0,5 | No |
Per informazioni dettagliate su ogni analizzatore, incluse le opzioni di configurazione e i set di dati di esempio, vedere Informazioni di riferimento sui valutatori.
Come funziona il flusso di lavoro di valutazione
Le valutazioni seguono un flusso di lavoro coerente:
- Installare e configurare l'interfaccia della riga di comando.
- Fornire la configurazione dell'ambiente e le credenziali.
- Creare un set di dati di richieste di test.
- Eseguire valutazioni sull'agente.
- Rivedi i risultati e fai iterazione.
Variabili di ambiente necessarie
Lo strumento di valutazione usa le variabili di ambiente per autenticarsi e connettersi al tenant e al progetto di Microsoft Foundry. Le impostazioni seguenti descrivono il flusso di lavoro di valutazione dell'agente v1. Le esecuzioni che usano solo analizzatori deterministici, inclusi gli analizzatori delle chiamate agli strumenti nell'anteprima v2, non richiedono la configurazione del punteggio di Microsoft Foundry.
| Variabile | Descrizione | Impostazione predefinita |
|---|---|---|
TENANT_ID |
ID tenant di Microsoft Entra in cui è distribuito l'agente. | Nessuno |
AZURE_AI_PROJECT_ENDPOINT |
Endpoint del progetto Microsoft Foundry usato per la valutazione cloud. Obbligatorio per il giudice LLM di Microsoft Foundry, non per i valutatori deterministici. | Nessuno |
AZURE_AI_MODEL_NAME |
Nome della distribuzione del modello nel progetto Microsoft Foundry. | gpt-5-mini |
M365_TITLE_ID (Facoltativo) |
ID titolo usato per rilevare automaticamente l'ID agente di Microsoft 365 per la valutazione. | Nessuno |
M365_AGENT_ID (Facoltativo) |
ID agente esplicito per la valutazione. | Rilevato automaticamente da M365_TITLE_ID |
Questi valori abilitano l'autenticazione e consentono allo strumento di eseguire il punteggio di valutazione basato su LLM usando Microsoft Foundry. Per informazioni dettagliate su come ottenere questi valori, vedere Ottenere valori per le variabili di ambiente.
Contenuti correlati
- Controllare l'integrazione e la qualità durante lo sviluppo del plug-in
- Guida introduttiva: Usare l'interfaccia della riga di comando delle valutazioni di Microsoft 365 Copilot
- Schema del set di dati e progettazione del test
- Informazioni di riferimento sui valutatori
- Analizzatori delle chiamate agli strumenti (anteprima V2)
- Riferimento CLI
- Risoluzione dei problemi e supporto