Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
L'interfaccia della riga di comando delle valutazioni di Microsoft 365 Copilot include analizzatori che valutano le risposte e ispezionano il comportamento di runtime. Ogni valutatore misura un diverso aspetto della qualità, dalla rilevanza semantica all'esecuzione delle chiamate agli strumenti. Questo articolo descrive il comportamento di assegnazione dei punteggi, le opzioni di configurazione e l'uso nei set di dati di test.
Per informazioni su come configurare gli analizzatori nei set di dati, vedere Configurare gli analizzatori.
Puoi trovare lo schema del set di dati di valutazione in formato schema JSON su GitHub.
Nota
Gli analizzatori delle chiamate allo strumento richiedono CLI v2 (preview) e schema v2. Non sono disponibili nell'interfaccia della riga di comando v1 (latest). Gli altri esempi in questo articolo usano lo schema v1.
Riepilogo dell'analizzatore
Nella tabella seguente sono riepilogati tutti i valutatori disponibili.
| Valutatore | Type | Scale | Soglia predefinita | Abilitato per impostazione predefinita | Campi obbligatori |
|---|---|---|---|---|---|
| Pertinenza | Basato su LLM | 1-5 | 3 | Sì | prompt |
| Coerenza | Basato su LLM | 1-5 | 3 | Sì | prompt |
| Radicamento | Basato su LLM | 1-5 | 3 | No | prompt |
| Somiglianza | Basato su LLM | 1-5 | 3 | No |
prompt, expected_response |
| RetrievalQuery | Non LLM | Pass/fail | N/D | No |
prompt, configurazione dell'analizzatore |
| RetrievalResult | Non LLM | Proporzionale | 1,0 | No |
prompt, configurazione dell'analizzatore |
| ToolCallSelection (anteprima V2) | Non LLM | Esito positivo/negativo/errore | 1.0, fisso | No |
prompt, calls[].tool, telemetria con funzione selezionata |
| ToolCallExecution (anteprima V2) | Non LLM | Esito positivo/negativo/errore | 1.0, fisso | No |
prompt, calls[].tool, telemetria di esecuzione con esiti HTTP |
| Citazioni | In base al conteggio | >= 0 | 1 | No | prompt |
| PartialMatch | Corrispondenza stringa | 0.0-1.0 | 0,5 | No |
prompt, expected_response |
| ExactMatch | Corrispondenza stringa | booleano | N/D | No |
prompt, expected_response |
Analizzatori basati su LLM
Gli analizzatori basati su LLM usano un modello OpenAI di Azure nel progetto Microsoft Foundry (configurato tramite le variabili di ambiente) per valutare la qualità della risposta dell'agente. Questi analizzatori sono basati su Azure AI Evaluation SDK. I punteggi vanno da 1 a 5 su una scala Likert, dove valori più alti indicano una qualità migliore. Per impostazione predefinita, è richiesto un punteggio di 3 o superiore per superarlo. Puoi modificare il punteggio richiesto nella configurazione del test.
Rilevanza
L'analizzatore di pertinenza valuta il livello di risposta dell'agente alla query dell'utente. Valuta se la risposta risponde direttamente e completamente alla domanda posta.
- Abilitato per impostazione predefinita: Sì
- Scala: 1-5 (Likert)
- Soglia predefinita: 3
-
Campi obbligatori:
prompt - Verità di base richiesta: No
L'analizzatore di pertinenza non richiede un expected_response , ma valuta solo la relazione tra la query e la risposta.
Set di dati di esempio relativo alla pertinenza
{
"schemaVersion": "1.6.0",
"default_evaluators": {
"Relevance": {}
},
"items": [
{
"prompt": "What are the key features of our enterprise plan?",
"expected_response": "The enterprise plan includes advanced security, unlimited storage, 24/7 support, and custom integrations."
}
]
}
Coerenza
Il valutatore di coerenza misura la presentazione logica e ordinata delle idee nella risposta dell'agente. Valuta se la risposta ha chiare connessioni tra frasi, transizioni appropriate e una sequenza logica di idee facile da seguire.
- Abilitato per impostazione predefinita: Sì
- Scala: 1-5 (Likert)
- Soglia predefinita: 3
-
Campi obbligatori:
prompt - Verità di base richiesta: No
Set di dati di esempio Coherence
{
"schemaVersion": "1.6.0",
"default_evaluators": {
"Coherence": {}
},
"items": [
{
"prompt": "Explain the process for submitting an expense report.",
"expected_response": "To submit an expense report, first collect your receipts. Then open the expense portal, create a new report, attach your receipts, and submit for manager approval."
}
]
}
Radicamento
L'analizzatore di Groundedness verifica se la risposta dell'agente è coerente e supportata dal contesto di grounding fornito. Si concentra sulla precisione verificando che la risposta non contenga affermazioni o informazioni che vanno oltre il supporto dei documenti recuperati.
- Abilitato per impostazione predefinita: No
- Scala: 1-5 (Likert)
- Soglia predefinita: 3
-
Campi obbligatori:
prompt,expected_response - Verità di base richiesta: No
Usa il valutatore di Groundedness per rilevare allucinazioni o affermazioni non supportate nelle risposte del tuo agente.
Set di dati di esempio Groundedness
{
"schemaVersion": "1.6.0",
"default_evaluators": {
"Relevance": {},
"Groundedness": {}
},
"items": [
{
"prompt": "What is our company's remote work policy?",
"expected_response": "Employees can work remotely up to 3 days per week with manager approval."
}
]
}
Somiglianza
Il valutatore di somiglianza misura il grado di somiglianza semantica tra la risposta dell'agente e una fornita expected_response (ground truth). A differenza delle metriche di sovrapposizione di token come F1 o Bilingual Evaluation Understudy (BLEU), si concentra sul significato e sul contesto più ampio piuttosto che sulle corrispondenze di parole a livello superficiale.
- Abilitato per impostazione predefinita: No
- Scala: 1-5 (Likert)
- Soglia predefinita: 3
-
Campi obbligatori:
prompt,expected_response - Verità di base richiesta: Sì
È necessario configurare expected_response nel set di dati gli elementi per l'analizzatore di somiglianze.
Set di dati di esempio di somiglianza
{
"schemaVersion": "1.6.0",
"default_evaluators": {
"Similarity": {}
},
"items": [
{
"prompt": "What is Microsoft Graph?",
"expected_response": "Microsoft Graph is a unified API endpoint that provides access to data and intelligence in Microsoft 365 services."
}
]
}
Valutatori di recupero
Gli analizzatori di recupero convalidano la pipeline di recupero end-to-end dell'agente di Microsoft 365 Copilot. Esaminano il modo in cui l'agente traduce le query degli utenti in operazioni di recupero e se le risorse previste vengono visualizzate nei risultati. Questi valutatori non usano un giudice LLM: eseguono controlli deterministici sui dati di esecuzione del recupero.
RetrievalQuery
L'analizzatore di RetrievalQuery verifica che Copilot abbia tradotto correttamente l'intento dell'utente in query di recupero. Ispeziona i queryString valori all'interno del normalizzato retrieval_executions[] e verifica che corrispondano ai modelli previsti.
- Abilitato per impostazione predefinita: No
- Scala: Pass/fail
- Soglia predefinita: N/D
-
Campi obbligatori:
prompt, configurazione dell'analizzatore - Verità di base richiesta: No
Opzioni di configurazione di RetrievalQuery
| Opzione | Type | Obbligatorio | Descrizione |
|---|---|---|---|
capability |
stringa | Sì | Capacità di recupero per definire l'ambito delle esecuzioni esaminate (ad esempio, "OneDriveAndSharePoint", , "Email""GraphConnectors"). |
selector |
stringa | Sì | Sottostringa senza distinzione tra maiuscole e minuscole usata per identificare la query di destinazione all'interno delle esecuzioni di recupero. |
includes |
stringa | Sì | Sottostringhe che DEVONO essere tutte presenti nella query corrispondente. |
excludes |
stringa | Sì | Sottostringhe che NON DEVONO essere visualizzate nella query corrispondente. |
Set di dati di esempio RetrievalQuery
{
"schemaVersion": "1.6.0",
"items": [
{
"prompt": "Find the Q4 sales report in SharePoint",
"expected_response": "Here is the Q4 sales report.",
"evaluators": {
"RetrievalQuery": {
"capability": "OneDriveAndSharePoint",
"selector": "Q4 sales report",
"includes": ["projections", "profit"],
"excludes": ["FileType:OneNote"]
}
}
}
]
}
RetrievalResult
L'analizzatore RetrievalResult verifica che le risorse previste siano effettivamente presenti nei documenti, nei messaggi e negli elementi restituiti dalle esecuzioni di recupero. Controlla se frammenti di testo specifici sono presenti nelle estrazioni di hit di recupero all'interno di una soglia di rango configurabile.
- Abilitato per impostazione predefinita: No
- Scala: Proporzionale (0,0-1,0)
- Soglia predefinita: 1.0 (tutti i controlli devono essere superati)
-
Campi obbligatori:
prompt, configurazione dell'analizzatore - Verità di base richiesta: No
Il punteggio è proporzionale al numero di elementi previsti trovati. Ad esempio, se vengono trovati 2 di 3 elementi previsti, il punteggio è 0,67. Tuttavia, un pass richiede tutti i controlli per avere esito positivo (la soglia è sempre 1.0). È necessario configurare almeno uno dei dati di expected_items .min_expected_count
Opzioni di configurazione di RetrievalResult
| Opzione | Type | Obbligatorio | Descrizione |
|---|---|---|---|
expected_items |
matrice | Condizionale | Matrice di oggetti che specifica i risultati previsti. Ogni oggetto può includere retrievalExtract_contains (un frammento di testo da abbinare negli estratti dei risultati di recupero). È necessario configurare almeno uno dei dati di expected_items .min_expected_count |
expected_items[].retrievalExtract_contains |
stringa | No | Frammento di testo che deve apparire in un'estrazione del risultato di recupero. |
min_expected_count |
numero intero | Condizionale | Numero minimo di risultati che devono essere recuperati. È necessario configurare almeno uno dei dati di expected_items .min_expected_count |
max_rank |
numero intero | No | Posizione di rango massima da considerare quando si abbinano gli elementi previsti. Il valore predefinito è 10. |
Set di dati di esempio RetrievalResult
{
"schemaVersion": "1.6.0",
"items": [
{
"prompt": "Find recent emails about the Contoso project",
"expected_response": "Here are the recent emails about the Contoso project.",
"evaluators": {
"RetrievalResult": {
"expected_items": [
{ "retrievalExtract_contains": "update" },
{ "retrievalExtract_contains": "budget" }
],
"max_rank": 5,
"min_expected_count": 2
}
}
}
]
}
Analizzatori delle chiamate di strumenti
Gli analizzatori delle chiamate agli strumenti usano la diagnostica di runtime (informazioni per gli sviluppatori) per controllare la selezione degli strumenti e i risultati dell'esecuzione HTTP. Sono deterministici, non usano un giudice LLM e non richiedono expected_response.
- ToolCallSelection controlla se le identità dello strumento previste sono state selezionate, ignorando l'ordine e i duplicati. Facoltativamente, è possibile rifiutare ulteriori selezioni.
- ToolCallExecution verifica la presenza di un'esecuzione HTTP corretta distinta (stato 200-299) per ogni chiamata prevista. Ripetere un'identità per richiedere più esecuzioni riuscite.
Nessuno dei due valutatori stabilisce la qualità delle risposte o la correttezza aziendale. Usa gli analizzatori di risposta insieme ai controlli delle chiamate degli strumenti quando hai bisogno di entrambi. Per la configurazione, il consenso, gli esempi e l'interpretazione dei risultati, vedere Analizzatori delle chiamate agli strumenti.
Analizzatori basati su stringhe e conteggi
Questi analizzatori usano la logica deterministica di corrispondenza o conteggio delle stringhe. Non richiedono un LLM e funzionano localmente.
Citazioni
Il valutatore di citazioni conta il numero di riferimenti di citazione nella risposta dell'agente, come [1], [2], o citazioni in stile collegamento ipertestuale. Controlla che l'agente attribuisca correttamente le sue affermazioni alle fonti. Impostare la soglia sul numero previsto di citazioni.
- Abilitato per impostazione predefinita: No
- Scala:>= 0 (conteggio)
- Soglia predefinita: 1
-
Campi obbligatori:
prompt - Verità di base richiesta: No
Il punteggio è uguale al numero di citazioni ed è richiesto un minimo di 1 citazione per passare per impostazione predefinita.
Opzioni di configurazione delle citazioni
| Opzione | Type | Obbligatorio | Descrizione |
|---|---|---|---|
citation_format |
stringa | No | Specifica il formato di citazione previsto, ad esempio "mixed". |
Set di dati di esempio di citazioni
{
"schemaVersion": "1.6.0",
"items": [
{
"prompt": "What is our return policy?",
"expected_response": "Our return policy allows returns within 30 days [1].",
"evaluators": {
"Citations": {
"threshold": 2,
"citation_format": "mixed"
}
}
}
]
}
PartialMatch
L'analizzatore PartialMatch misura il grado di sovrapposizione testuale tra la risposta dell'agente e la expected_response somiglianza a livello di token (analogamente a un approccio con punteggio F1). Questo analizzatore è utile quando si prevede che la risposta contenga frasi chiave o informazioni della risposta prevista, ma non è necessaria una corrispondenza letterale.
- Abilitato per impostazione predefinita: No
- Scala: 0,0-1,0
- Soglia predefinita: 0,5
-
Campi obbligatori:
prompt,expected_response - Verità di base richiesta: Sì
Il punteggio varia da 0,0 (nessuna sovrapposizione) a 1,0 (corrispondenza completa).
Set di dati di esempio PartialMatch
{
"schemaVersion": "1.6.0",
"items": [
{
"prompt": "Who is the CEO of Contoso?",
"expected_response": "The CEO of Contoso is Jane Smith.",
"evaluators": {
"PartialMatch": {}
}
}
]
}
ExactMatch
L'analizzatore ExactMatch esegue un confronto diretto delle stringhe tra la risposta dell'agente e il file .expected_response Restituisce un valore booleano superato o negativo: la risposta corrisponde esattamente o no. Questo analizzatore è utile per i prompt con risposte previste deterministiche o formulaiche.
- Abilitato per impostazione predefinita: No
- Scala: Valore booleano (superato o negativo)
- Soglia predefinita: N/D
-
Campi obbligatori:
prompt,expected_response - Verità di base richiesta: Sì
Opzioni di configurazione di ExactMatch
| Opzione | Type | Obbligatorio | Descrizione |
|---|---|---|---|
case_sensitive |
Valore booleano | No | Controlla se il confronto fa distinzione tra maiuscole e minuscole. Il valore predefinito è true. |
Set di dati di esempio ExactMatch
{
"schemaVersion": "1.6.0",
"items": [
{
"prompt": "What is 2 + 2?",
"expected_response": "4",
"evaluators": {
"ExactMatch": { "case_sensitive": false }
}
}
]
}