Informazioni di riferimento sui valutatori per le valutazioni di Microsoft 365 Copilot CLI

L'interfaccia della riga di comando delle valutazioni di Microsoft 365 Copilot include analizzatori che valutano le risposte e ispezionano il comportamento di runtime. Ogni valutatore misura un diverso aspetto della qualità, dalla rilevanza semantica all'esecuzione delle chiamate agli strumenti. Questo articolo descrive il comportamento di assegnazione dei punteggi, le opzioni di configurazione e l'uso nei set di dati di test.

Per informazioni su come configurare gli analizzatori nei set di dati, vedere Configurare gli analizzatori.

Puoi trovare lo schema del set di dati di valutazione in formato schema JSON su GitHub.

Nota

Gli analizzatori delle chiamate allo strumento richiedono CLI v2 (preview) e schema v2. Non sono disponibili nell'interfaccia della riga di comando v1 (latest). Gli altri esempi in questo articolo usano lo schema v1.

Riepilogo dell'analizzatore

Nella tabella seguente sono riepilogati tutti i valutatori disponibili.

Valutatore Type Scale Soglia predefinita Abilitato per impostazione predefinita Campi obbligatori
Pertinenza Basato su LLM 1-5 3 Sì prompt
Coerenza Basato su LLM 1-5 3 Sì prompt
Radicamento Basato su LLM 1-5 3 No prompt
Somiglianza Basato su LLM 1-5 3 No prompt, expected_response
RetrievalQuery Non LLM Pass/fail N/D No prompt, configurazione dell'analizzatore
RetrievalResult Non LLM Proporzionale 1,0 No prompt, configurazione dell'analizzatore
ToolCallSelection (anteprima V2) Non LLM Esito positivo/negativo/errore 1.0, fisso No prompt, calls[].tool, telemetria con funzione selezionata
ToolCallExecution (anteprima V2) Non LLM Esito positivo/negativo/errore 1.0, fisso No prompt, calls[].tool, telemetria di esecuzione con esiti HTTP
Citazioni In base al conteggio >= 0 1 No prompt
PartialMatch Corrispondenza stringa 0.0-1.0 0,5 No prompt, expected_response
ExactMatch Corrispondenza stringa booleano N/D No prompt, expected_response

Analizzatori basati su LLM

Gli analizzatori basati su LLM usano un modello OpenAI di Azure nel progetto Microsoft Foundry (configurato tramite le variabili di ambiente) per valutare la qualità della risposta dell'agente. Questi analizzatori sono basati su Azure AI Evaluation SDK. I punteggi vanno da 1 a 5 su una scala Likert, dove valori più alti indicano una qualità migliore. Per impostazione predefinita, è richiesto un punteggio di 3 o superiore per superarlo. Puoi modificare il punteggio richiesto nella configurazione del test.

Rilevanza

L'analizzatore di pertinenza valuta il livello di risposta dell'agente alla query dell'utente. Valuta se la risposta risponde direttamente e completamente alla domanda posta.

  • Abilitato per impostazione predefinita: Sì
  • Scala: 1-5 (Likert)
  • Soglia predefinita: 3
  • Campi obbligatori:prompt
  • Verità di base richiesta: No

L'analizzatore di pertinenza non richiede un expected_response , ma valuta solo la relazione tra la query e la risposta.

Set di dati di esempio relativo alla pertinenza

{
  "schemaVersion": "1.6.0",
  "default_evaluators": {
    "Relevance": {}
  },
  "items": [
    {
      "prompt": "What are the key features of our enterprise plan?",
      "expected_response": "The enterprise plan includes advanced security, unlimited storage, 24/7 support, and custom integrations."
    }
  ]
}

Coerenza

Il valutatore di coerenza misura la presentazione logica e ordinata delle idee nella risposta dell'agente. Valuta se la risposta ha chiare connessioni tra frasi, transizioni appropriate e una sequenza logica di idee facile da seguire.

  • Abilitato per impostazione predefinita: Sì
  • Scala: 1-5 (Likert)
  • Soglia predefinita: 3
  • Campi obbligatori:prompt
  • Verità di base richiesta: No

Set di dati di esempio Coherence

{
  "schemaVersion": "1.6.0",
  "default_evaluators": {
    "Coherence": {}
  },
  "items": [
    {
      "prompt": "Explain the process for submitting an expense report.",
      "expected_response": "To submit an expense report, first collect your receipts. Then open the expense portal, create a new report, attach your receipts, and submit for manager approval."
    }
  ]
}

Radicamento

L'analizzatore di Groundedness verifica se la risposta dell'agente è coerente e supportata dal contesto di grounding fornito. Si concentra sulla precisione verificando che la risposta non contenga affermazioni o informazioni che vanno oltre il supporto dei documenti recuperati.

  • Abilitato per impostazione predefinita: No
  • Scala: 1-5 (Likert)
  • Soglia predefinita: 3
  • Campi obbligatori:prompt, expected_response
  • Verità di base richiesta: No

Usa il valutatore di Groundedness per rilevare allucinazioni o affermazioni non supportate nelle risposte del tuo agente.

Set di dati di esempio Groundedness

{
  "schemaVersion": "1.6.0",
  "default_evaluators": {
    "Relevance": {},
    "Groundedness": {}
  },
  "items": [
    {
      "prompt": "What is our company's remote work policy?",
      "expected_response": "Employees can work remotely up to 3 days per week with manager approval."
    }
  ]
}

Somiglianza

Il valutatore di somiglianza misura il grado di somiglianza semantica tra la risposta dell'agente e una fornita expected_response (ground truth). A differenza delle metriche di sovrapposizione di token come F1 o Bilingual Evaluation Understudy (BLEU), si concentra sul significato e sul contesto più ampio piuttosto che sulle corrispondenze di parole a livello superficiale.

  • Abilitato per impostazione predefinita: No
  • Scala: 1-5 (Likert)
  • Soglia predefinita: 3
  • Campi obbligatori:prompt, expected_response
  • Verità di base richiesta: Sì

È necessario configurare expected_response nel set di dati gli elementi per l'analizzatore di somiglianze.

Set di dati di esempio di somiglianza

{
  "schemaVersion": "1.6.0",
  "default_evaluators": {
    "Similarity": {}
  },
  "items": [
    {
      "prompt": "What is Microsoft Graph?",
      "expected_response": "Microsoft Graph is a unified API endpoint that provides access to data and intelligence in Microsoft 365 services."
    }
  ]
}

Valutatori di recupero

Gli analizzatori di recupero convalidano la pipeline di recupero end-to-end dell'agente di Microsoft 365 Copilot. Esaminano il modo in cui l'agente traduce le query degli utenti in operazioni di recupero e se le risorse previste vengono visualizzate nei risultati. Questi valutatori non usano un giudice LLM: eseguono controlli deterministici sui dati di esecuzione del recupero.

RetrievalQuery

L'analizzatore di RetrievalQuery verifica che Copilot abbia tradotto correttamente l'intento dell'utente in query di recupero. Ispeziona i queryString valori all'interno del normalizzato retrieval_executions[] e verifica che corrispondano ai modelli previsti.

  • Abilitato per impostazione predefinita: No
  • Scala: Pass/fail
  • Soglia predefinita: N/D
  • Campi obbligatori:prompt, configurazione dell'analizzatore
  • Verità di base richiesta: No

Opzioni di configurazione di RetrievalQuery

Opzione Type Obbligatorio Descrizione
capability stringa Sì Capacità di recupero per definire l'ambito delle esecuzioni esaminate (ad esempio, "OneDriveAndSharePoint", , "Email""GraphConnectors").
selector stringa Sì Sottostringa senza distinzione tra maiuscole e minuscole usata per identificare la query di destinazione all'interno delle esecuzioni di recupero.
includes stringa Sì Sottostringhe che DEVONO essere tutte presenti nella query corrispondente.
excludes stringa Sì Sottostringhe che NON DEVONO essere visualizzate nella query corrispondente.

Set di dati di esempio RetrievalQuery

{
  "schemaVersion": "1.6.0",
  "items": [
    {
      "prompt": "Find the Q4 sales report in SharePoint",
      "expected_response": "Here is the Q4 sales report.",
      "evaluators": {
        "RetrievalQuery": {
          "capability": "OneDriveAndSharePoint",
          "selector": "Q4 sales report",
          "includes": ["projections", "profit"],
          "excludes": ["FileType:OneNote"]
        }
      }
    }
  ]
}

RetrievalResult

L'analizzatore RetrievalResult verifica che le risorse previste siano effettivamente presenti nei documenti, nei messaggi e negli elementi restituiti dalle esecuzioni di recupero. Controlla se frammenti di testo specifici sono presenti nelle estrazioni di hit di recupero all'interno di una soglia di rango configurabile.

  • Abilitato per impostazione predefinita: No
  • Scala: Proporzionale (0,0-1,0)
  • Soglia predefinita: 1.0 (tutti i controlli devono essere superati)
  • Campi obbligatori:prompt, configurazione dell'analizzatore
  • Verità di base richiesta: No

Il punteggio è proporzionale al numero di elementi previsti trovati. Ad esempio, se vengono trovati 2 di 3 elementi previsti, il punteggio è 0,67. Tuttavia, un pass richiede tutti i controlli per avere esito positivo (la soglia è sempre 1.0). È necessario configurare almeno uno dei dati di expected_items .min_expected_count

Opzioni di configurazione di RetrievalResult

Opzione Type Obbligatorio Descrizione
expected_items matrice Condizionale Matrice di oggetti che specifica i risultati previsti. Ogni oggetto può includere retrievalExtract_contains (un frammento di testo da abbinare negli estratti dei risultati di recupero). È necessario configurare almeno uno dei dati di expected_items .min_expected_count
expected_items[].retrievalExtract_contains stringa No Frammento di testo che deve apparire in un'estrazione del risultato di recupero.
min_expected_count numero intero Condizionale Numero minimo di risultati che devono essere recuperati. È necessario configurare almeno uno dei dati di expected_items .min_expected_count
max_rank numero intero No Posizione di rango massima da considerare quando si abbinano gli elementi previsti. Il valore predefinito è 10.

Set di dati di esempio RetrievalResult

{
  "schemaVersion": "1.6.0",
  "items": [
    {
      "prompt": "Find recent emails about the Contoso project",
      "expected_response": "Here are the recent emails about the Contoso project.",
      "evaluators": {
        "RetrievalResult": {
          "expected_items": [
            { "retrievalExtract_contains": "update" },
            { "retrievalExtract_contains": "budget" }
          ],
          "max_rank": 5,
          "min_expected_count": 2
        }
      }
    }
  ]
}

Analizzatori delle chiamate di strumenti

Gli analizzatori delle chiamate agli strumenti usano la diagnostica di runtime (informazioni per gli sviluppatori) per controllare la selezione degli strumenti e i risultati dell'esecuzione HTTP. Sono deterministici, non usano un giudice LLM e non richiedono expected_response.

  • ToolCallSelection controlla se le identità dello strumento previste sono state selezionate, ignorando l'ordine e i duplicati. Facoltativamente, è possibile rifiutare ulteriori selezioni.
  • ToolCallExecution verifica la presenza di un'esecuzione HTTP corretta distinta (stato 200-299) per ogni chiamata prevista. Ripetere un'identità per richiedere più esecuzioni riuscite.

Nessuno dei due valutatori stabilisce la qualità delle risposte o la correttezza aziendale. Usa gli analizzatori di risposta insieme ai controlli delle chiamate degli strumenti quando hai bisogno di entrambi. Per la configurazione, il consenso, gli esempi e l'interpretazione dei risultati, vedere Analizzatori delle chiamate agli strumenti.

Analizzatori basati su stringhe e conteggi

Questi analizzatori usano la logica deterministica di corrispondenza o conteggio delle stringhe. Non richiedono un LLM e funzionano localmente.

Citazioni

Il valutatore di citazioni conta il numero di riferimenti di citazione nella risposta dell'agente, come [1], [2], o citazioni in stile collegamento ipertestuale. Controlla che l'agente attribuisca correttamente le sue affermazioni alle fonti. Impostare la soglia sul numero previsto di citazioni.

  • Abilitato per impostazione predefinita: No
  • Scala:>= 0 (conteggio)
  • Soglia predefinita: 1
  • Campi obbligatori:prompt
  • Verità di base richiesta: No

Il punteggio è uguale al numero di citazioni ed è richiesto un minimo di 1 citazione per passare per impostazione predefinita.

Opzioni di configurazione delle citazioni

Opzione Type Obbligatorio Descrizione
citation_format stringa No Specifica il formato di citazione previsto, ad esempio "mixed".

Set di dati di esempio di citazioni

{
  "schemaVersion": "1.6.0",
  "items": [
    {
      "prompt": "What is our return policy?",
      "expected_response": "Our return policy allows returns within 30 days [1].",
      "evaluators": {
        "Citations": {
          "threshold": 2,
          "citation_format": "mixed"
        }
      }
    }
  ]
}

PartialMatch

L'analizzatore PartialMatch misura il grado di sovrapposizione testuale tra la risposta dell'agente e la expected_response somiglianza a livello di token (analogamente a un approccio con punteggio F1). Questo analizzatore è utile quando si prevede che la risposta contenga frasi chiave o informazioni della risposta prevista, ma non è necessaria una corrispondenza letterale.

  • Abilitato per impostazione predefinita: No
  • Scala: 0,0-1,0
  • Soglia predefinita: 0,5
  • Campi obbligatori:prompt, expected_response
  • Verità di base richiesta: Sì

Il punteggio varia da 0,0 (nessuna sovrapposizione) a 1,0 (corrispondenza completa).

Set di dati di esempio PartialMatch

{
  "schemaVersion": "1.6.0",
  "items": [
    {
      "prompt": "Who is the CEO of Contoso?",
      "expected_response": "The CEO of Contoso is Jane Smith.",
      "evaluators": {
        "PartialMatch": {}
      }
    }
  ]
}

ExactMatch

L'analizzatore ExactMatch esegue un confronto diretto delle stringhe tra la risposta dell'agente e il file .expected_response Restituisce un valore booleano superato o negativo: la risposta corrisponde esattamente o no. Questo analizzatore è utile per i prompt con risposte previste deterministiche o formulaiche.

  • Abilitato per impostazione predefinita: No
  • Scala: Valore booleano (superato o negativo)
  • Soglia predefinita: N/D
  • Campi obbligatori:prompt, expected_response
  • Verità di base richiesta: Sì

Opzioni di configurazione di ExactMatch

Opzione Type Obbligatorio Descrizione
case_sensitive Valore booleano No Controlla se il confronto fa distinzione tra maiuscole e minuscole. Il valore predefinito è true.

Set di dati di esempio ExactMatch

{
  "schemaVersion": "1.6.0",
  "items": [
    {
      "prompt": "What is 2 + 2?",
      "expected_response": "4",
      "evaluators": {
        "ExactMatch": { "case_sensitive": false }
      }
    }
  ]
}