Conversational Analysis Authoring - Get Model Evaluation Summary

Reference

Service:: Cognitive Services - Language

API Version:: 2023-04-01

Získá souhrn vyhodnocení natrénovaného modelu. Souhrn zahrnuje vysokoúrovňová měření výkonu modelu, například F1, přesnost, úplnost atd.

GET {Endpoint}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

Parametry identifikátoru URI

Name	V	Vyžadováno	Typ	Description
Endpoint	path	True	string	Podporovaný koncový bod služeb Cognitive Services (např. https://.api.cognitiveservices.azure.com).
projectName	path	True	string	Název projektu, který se má použít.
trainedModelLabel	path	True	string	Popisek natrénovaného modelu
api-version	query	True	string	Verze rozhraní API klienta.

Odpovědi

Name	Typ	Description
200 OK	ConversationalAnalysisAuthoringEvaluationSummary	Seznam všech výsledků vyhodnocení
Other Status Codes	ErrorResponse	Chybová odpověď.

Zabezpečení

AADToken

Toto jsou toky Azure Active Directory OAuth2 . Při spárování s řízením přístupu na základě role v Azure se dá použít k řízení přístupu k Azure Maps rozhraní REST API. Řízení přístupu na základě role v Azure slouží k určení přístupu k jednomu nebo několika Azure Maps účtu prostředku nebo dílčím prostředkům. Každému uživateli, skupině nebo instančnímu objektu je možné udělit přístup prostřednictvím předdefinované role nebo vlastní role složené z jednoho nebo více oprávnění k Azure Maps rozhraní REST API.

Pokud chcete implementovat scénáře, doporučujeme zobrazit si koncepty ověřování. Souhrnně řečeno, tato definice zabezpečení poskytuje řešení pro modelování aplikací prostřednictvím objektů schopných řízení přístupu pro konkrétní rozhraní API a obory.

Poznámky

Tato definice zabezpečení vyžaduje použití hlavičky x-ms-client-id k označení Azure Maps prostředku, ke kterému aplikace žádá o přístup. Můžete ho získat z rozhraní MAPS MANAGEMENT API.

Je Authorization URL specifický pro instanci veřejného cloudu Azure. Suverénní cloudy mají jedinečné autorizační adresy URL a konfigurace Azure Active Directory. * Řízení přístupu na základě role v Azure se konfiguruje z roviny správy Azure prostřednictvím Azure Portal, PowerShellu, rozhraní příkazového řádku, sad Azure SDK nebo rozhraní REST API. * Použití sady AZURE MAPS Web SDK umožňuje nastavení aplikace na základě konfigurace pro více případů použití.

Azure Active Directory verze 1.0 nebo 2.0 v současné době podporuje pracovní, školní a hosta, ale nepodporuje osobní účty.

Type: oauth2
Flow: implicit
Authorization URL: https://login.microsoftonline.com/common/oauth2/authorize

Scopes

Name	Description
https://cognitiveservices.azure.com/.default	https://cognitiveservices.azure.com/.default

Ocp-Apim-Subscription-Key

Klíč předplatného pro prostředek služby jazyka.

Type: apiKey
In: header

Příklady

Successful Get Model Evaluation Summary

Sample Request

HTTP

GET {Endpoint}/language/authoring/analyze-conversations/projects/EmailApp/models/model1/evaluation/summary-result?api-version=2023-04-01

Sample Response

Status code:: 200

{
  "entitiesEvaluation": {
    "confusionMatrix": {
      "Attachment": {
        "Attachment": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      },
      "Category": {
        "Category": {
          "normalizedValue": 91.666664,
          "rawValue": 11
        },
        "$none": {
          "normalizedValue": 8.333333,
          "rawValue": 1
        }
      },
      "ContactName": {
        "ContactName": {
          "normalizedValue": 91.666664,
          "rawValue": 22
        },
        "SenderName": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        },
        "$none": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "EmailSubject": {
        "EmailSubject": {
          "normalizedValue": 93.33333,
          "rawValue": 9.333334
        },
        "$none": {
          "normalizedValue": 6.6666665,
          "rawValue": 0.6666667
        }
      },
      "FromRelationshipName": {
        "FromRelationshipName": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "Line": {
        "Line": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "Message": {
        "Message": {
          "normalizedValue": 81.2063,
          "rawValue": 6.496504
        },
        "EmailSubject": {
          "normalizedValue": 7.43007,
          "rawValue": 0.5944056
        },
        "$none": {
          "normalizedValue": 9.120047,
          "rawValue": 0.7296037
        },
        "Date": {
          "normalizedValue": 2.2435899,
          "rawValue": 0.17948718
        }
      },
      "OrderReference": {
        "OrderReference": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "PositionReference": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "RelationshipName": {
        "RelationshipName": {
          "normalizedValue": 66.666664,
          "rawValue": 2
        },
        "$none": {
          "normalizedValue": 33.333332,
          "rawValue": 1
        }
      },
      "SearchTexts": {
        "SearchTexts": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "SenderName": {
        "SenderName": {
          "normalizedValue": 88.888885,
          "rawValue": 8
        },
        "ContactName": {
          "normalizedValue": 11.111111,
          "rawValue": 1
        }
      },
      "Time": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.739265,
          "rawValue": 162.575
        },
        "Category": {
          "normalizedValue": 0.2607362,
          "rawValue": 0.425
        }
      }
    },
    "entities": {
      "ContactName": {
        "f1": 0.9361702799797058,
        "precision": 0.95652174949646,
        "recall": 0.9166666865348816,
        "truePositiveCount": 22,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 2
      },
      "Category": {
        "f1": 0.8799999952316284,
        "precision": 0.8461538553237915,
        "recall": 0.9166666865348816,
        "truePositiveCount": 11,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "SenderName": {
        "f1": 0.8888888955116272,
        "precision": 0.8888888955116272,
        "recall": 0.8888888955116272,
        "truePositiveCount": 8,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      },
      "EmailSubject": {
        "f1": 0.8181817531585693,
        "precision": 0.75,
        "recall": 0.8999999761581421,
        "truePositiveCount": 9,
        "trueNegativeCount": 0,
        "falsePositiveCount": 3,
        "falseNegativeCount": 1
      },
      "Message": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 6,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 2
      },
      "Date": {
        "f1": 0.800000011920929,
        "precision": 0.6666666865348816,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 0
      },
      "OrderReference": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchTexts": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Attachment": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "RelationshipName": {
        "f1": 0.800000011920929,
        "precision": 1,
        "recall": 0.6666666865348816,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      },
      "Line": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Time": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 2
      },
      "FromRelationshipName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "PositionReference": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.8923077,
    "microPrecision": 0.8969072,
    "microRecall": 0.8877551,
    "macroF1": 0.7766601,
    "macroPrecision": 0.7755879,
    "macroRecall": 0.78849214
  },
  "intentsEvaluation": {
    "confusionMatrix": {
      "AddFlag": {
        "AddFlag": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "AddMore": {
        "AddMore": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "Cancel": {
        "Cancel": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "CheckMessages": {
        "CheckMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "Confirm": {
        "Confirm": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Delete": {
        "Delete": {
          "normalizedValue": 100,
          "rawValue": 5
        }
      },
      "Forward": {
        "Forward": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "None": {
        "None": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "QueryLastText": {
        "QueryLastText": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "ReadAloud": {
        "ReadAloud": {
          "normalizedValue": 100,
          "rawValue": 16
        }
      },
      "Reply": {
        "Reply": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "SearchMessages": {
        "SearchMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "SendEmail": {
        "SendEmail": {
          "normalizedValue": 100,
          "rawValue": 20
        }
      },
      "ShowNext": {
        "ShowNext": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "ShowPrevious": {
        "ShowPrevious": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      }
    },
    "intents": {
      "AddMore": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 104,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Cancel": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SendEmail": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 20,
        "trueNegativeCount": 101,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "CheckMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "AddFlag": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Reply": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ReadAloud": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 16,
        "trueNegativeCount": 105,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "QueryLastText": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Delete": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 5,
        "trueNegativeCount": 116,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Forward": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Confirm": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowNext": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowPrevious": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 118,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "None": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 120,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      }
    },
    "microF1": 1,
    "microPrecision": 1,
    "microRecall": 1,
    "macroF1": 1,
    "macroPrecision": 1,
    "macroRecall": 1
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definice

Name	Description
ConversationalAnalysisAuthoringEntitiesEvaluationSummary	Představuje souhrn výsledků vyhodnocení pro entity projektu.
ConversationalAnalysisAuthoringEntityEvaluationSummary	Představuje výsledek vyhodnocení entity.
ConversationalAnalysisAuthoringEvaluationOptions	Představuje možnosti použité při vyhodnocování.
ConversationalAnalysisAuthoringEvaluationSummary	Představuje souhrn výsledků vyhodnocení.
ConversationalAnalysisAuthoringIntentEvaluationSummary	Souhrn vyhodnocení záměru
ConversationalAnalysisAuthoringIntentsEvaluationSummary	Představuje souhrn vyhodnocení pro záměry projektu.
Error	Objekt chyby.
ErrorCode	Kód chyby čitelný pro člověka.
ErrorResponse	Chybová odpověď.
EvaluationKind	Představuje druh vyhodnocení. Ve výchozím nastavení je druh vyhodnocení nastavený na procenta.
InnerErrorCode	Kód chyby čitelný pro člověka.
InnerErrorModel	Objekt obsahující konkrétnější informace o chybě. Podle pokynů k rozhraní MICROSOFT One API – https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

ConversationalAnalysisAuthoringEntitiesEvaluationSummary

Představuje souhrn výsledků vyhodnocení pro entity projektu.

Name	Typ	Description
confusionMatrix	object	Představuje konfuzní matici mezi dvěma entitami (dvě entity můžou být stejné). Matice je mezi označenou entitou a entitou, která byla predikována.
entities	<string, ConversationalAnalysisAuthoringEntityEvaluationSummary>	Představuje souhrn vyhodnocení entit.
macroF1	number	Představuje makro F1.
macroPrecision	number	Představuje přesnost makra.
macroRecall	number	Představuje úplnost makra.
microF1	number	Představuje mikro F1
microPrecision	number	Představuje mikropřesnost.
microRecall	number	Představuje mikropovolu.

ConversationalAnalysisAuthoringEntityEvaluationSummary

Představuje výsledek vyhodnocení entity.

Name	Typ	Description
f1	number	Představuje přesnost modelu.
falseNegativeCount	integer	Představuje počet falešně negativních výsledků.
falsePositiveCount	integer	Představuje počet falešně pozitivních výsledků.
precision	number	Představuje úplnost modelu.
recall	number	Představuje skóre modelu F1.
trueNegativeCount	integer	Představuje počet pravdivě negativních hodnot.
truePositiveCount	integer	Představuje počet pravdivě pozitivních.

ConversationalAnalysisAuthoringEvaluationOptions

Představuje možnosti použité při vyhodnocování.

Name	Typ	Description
kind	EvaluationKind	Představuje druh vyhodnocení. Ve výchozím nastavení je druh vyhodnocení nastavený na procenta.
testingSplitPercentage	integer	Představuje procento rozdělení testovací datové sady. Pouze v případě, že druh vyhodnocení je procentuálně.
trainingSplitPercentage	integer	Představuje procento rozdělení trénovací datové sady. Pouze v případě, že druh vyhodnocení je procentuálně.

ConversationalAnalysisAuthoringEvaluationSummary

Představuje souhrn výsledků vyhodnocení.

Name	Typ	Description
entitiesEvaluation	ConversationalAnalysisAuthoringEntitiesEvaluationSummary	Obsahuje data související s vyhodnocením entit.
evaluationOptions	ConversationalAnalysisAuthoringEvaluationOptions	Možnosti, které byly použity při spuštění hodnocení.
intentsEvaluation	ConversationalAnalysisAuthoringIntentsEvaluationSummary	Obsahuje data související s vyhodnocením záměrů.

ConversationalAnalysisAuthoringIntentEvaluationSummary

Souhrn vyhodnocení záměru

Name	Typ	Description
f1	number	Představuje přesnost modelu.
falseNegativeCount	integer	Představuje počet falešně negativních výsledků.
falsePositiveCount	integer	Představuje počet falešně pozitivních výsledků.
precision	number	Představuje úplnost modelu.
recall	number	Představuje skóre modelu F1.
trueNegativeCount	integer	Představuje počet pravdivě negativních hodnot.
truePositiveCount	integer	Představuje počet pravdivě pozitivních.

ConversationalAnalysisAuthoringIntentsEvaluationSummary

Představuje souhrn vyhodnocení pro záměry projektu.

Name	Typ	Description
confusionMatrix	object	Představuje konfuzní matici mezi dvěma záměry (oba záměry můžou být stejné). Matice je mezi označeným záměrem a záměrem, který byl predikován.
intents	<string, ConversationalAnalysisAuthoringIntentEvaluationSummary>	Představuje souhrn vyhodnocení záměrů.
macroF1	number	Představuje makro F1.
macroPrecision	number	Představuje přesnost makra.
macroRecall	number	Představuje úplnost makra.
microF1	number	Představuje mikro F1
microPrecision	number	Představuje mikropřesnost.
microRecall	number	Představuje mikropovolu.

Error

Objekt chyby.

Name	Typ	Description
code	ErrorCode	Jeden ze serverem definovaných chybových kódů.
details	Error[]	Pole podrobností o konkrétních chybách, které vedly k této nahlášené chybě.
innererror	InnerErrorModel	Objekt obsahující konkrétnější informace o chybě než aktuální objekt.
message	string	Lidsky čitelná reprezentace chyby.
target	string	Cíl chyby.

ErrorCode

Kód chyby čitelný pro člověka.

Name	Typ	Description
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

Chybová odpověď.

Name	Typ	Description
error	Error	Objekt chyby.

EvaluationKind

Představuje druh vyhodnocení. Ve výchozím nastavení je druh vyhodnocení nastavený na procenta.

Name	Typ	Description
manual	string	Rozdělte data podle zvolené datové sady pro každý příklad v datech.
percentage	string	Rozdělte data na trénovací a testovací sadu podle procentuálních hodnot definovaných uživatelem.

InnerErrorCode