Conversational Analysis Authoring - Get Model Evaluation Summary

Referencia

Service:: Cognitive Services - Language

API Version:: 2023-04-01

Lekéri egy betanított modell kiértékelési összegzését. Az összefoglalás a modell magas szintű teljesítményméréseit tartalmazza, például F1, Pontosság, Visszahívás stb.

GET {Endpoint}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

URI-paraméterek

Name	In	Kötelező	Típus	Description
Endpoint	path	True	string	Támogatott Cognitive Services-végpont (pl. https://.api.cognitiveservices.azure.com).
projectName	path	True	string	A használni kívánt projekt neve.
trainedModelLabel	path	True	string	A betanított modell címkéje.
api-version	query	True	string	Ügyfél API-verziója.

Válaszok

Name	Típus	Description
200 OK	ConversationalAnalysisAuthoringEvaluationSummary	Az összes kiértékelési eredmény listája.
Other Status Codes	ErrorResponse	Hibaválasz.

Biztonság

AADToken

Ezek az Azure Active Directory OAuth2-folyamatok . Az Azure-beli szerepköralapú hozzáférés-vezérléssel párosítva Azure Maps REST API-khoz való hozzáférés vezérlésére használható. Az Azure szerepköralapú hozzáférés-vezérlése egy vagy több Azure Maps erőforrásfiókhoz vagy alerőforráshoz való hozzáférés kijelölésére szolgál. Bármely felhasználó, csoport vagy szolgáltatásnév hozzáférést kaphat egy beépített szerepkörrel vagy egy vagy több rest API-Azure Maps ra vonatkozó engedélyből álló egyéni szerepkörrel.

A forgatókönyvek implementálásához javasoljuk, hogy tekintse meg a hitelesítési fogalmakat. Összefoglalva, ez a biztonsági definíció megoldást nyújt az alkalmazás(ok) adott API-k és hatókörök hozzáférés-vezérlésére képes objektumokon keresztüli modellezésére.

Jegyzetek

Ez a biztonsági definíció megköveteli a fejléc használatát annak x-ms-client-id jelzéséhez, hogy melyik Azure Maps erőforráshoz kér hozzáférést az alkalmazás. Ez a Maps management API-ból szerezhető be.

A Authorization URL az Azure nyilvános felhőpéldányára vonatkozik. A szuverén felhők egyedi engedélyezési URL-címekkel és Azure Active Directory-konfigurációkkal rendelkeznek. * Az Azure szerepköralapú hozzáférés-vezérlése az Azure felügyeleti síkjáról van konfigurálva Azure Portal, PowerShell, CLI, Azure SDK-k vagy REST API-k használatával. * A Azure Maps Web SDK használata lehetővé teszi az alkalmazások konfigurációalapú beállítását több használati esetben.

Az Azure Active Directory 1.0-s vagy 2.0-s verziója jelenleg a munkahelyi, iskolai és vendégfelhasználói fiókokat támogatja, de nem támogatja a személyes fiókokat.

Type: oauth2
Flow: implicit
Authorization URL: https://login.microsoftonline.com/common/oauth2/authorize

Scopes

Name	Description
https://cognitiveservices.azure.com/.default	https://cognitiveservices.azure.com/.default

Ocp-Apim-Subscription-Key

Egy nyelvi szolgáltatási erőforrás előfizetői kulcsa.

Type: apiKey
In: header

Példák

Successful Get Model Evaluation Summary

Sample Request

HTTP

GET {Endpoint}/language/authoring/analyze-conversations/projects/EmailApp/models/model1/evaluation/summary-result?api-version=2023-04-01

Sample Response

Status code:: 200

{
  "entitiesEvaluation": {
    "confusionMatrix": {
      "Attachment": {
        "Attachment": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      },
      "Category": {
        "Category": {
          "normalizedValue": 91.666664,
          "rawValue": 11
        },
        "$none": {
          "normalizedValue": 8.333333,
          "rawValue": 1
        }
      },
      "ContactName": {
        "ContactName": {
          "normalizedValue": 91.666664,
          "rawValue": 22
        },
        "SenderName": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        },
        "$none": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "EmailSubject": {
        "EmailSubject": {
          "normalizedValue": 93.33333,
          "rawValue": 9.333334
        },
        "$none": {
          "normalizedValue": 6.6666665,
          "rawValue": 0.6666667
        }
      },
      "FromRelationshipName": {
        "FromRelationshipName": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "Line": {
        "Line": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "Message": {
        "Message": {
          "normalizedValue": 81.2063,
          "rawValue": 6.496504
        },
        "EmailSubject": {
          "normalizedValue": 7.43007,
          "rawValue": 0.5944056
        },
        "$none": {
          "normalizedValue": 9.120047,
          "rawValue": 0.7296037
        },
        "Date": {
          "normalizedValue": 2.2435899,
          "rawValue": 0.17948718
        }
      },
      "OrderReference": {
        "OrderReference": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "PositionReference": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "RelationshipName": {
        "RelationshipName": {
          "normalizedValue": 66.666664,
          "rawValue": 2
        },
        "$none": {
          "normalizedValue": 33.333332,
          "rawValue": 1
        }
      },
      "SearchTexts": {
        "SearchTexts": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "SenderName": {
        "SenderName": {
          "normalizedValue": 88.888885,
          "rawValue": 8
        },
        "ContactName": {
          "normalizedValue": 11.111111,
          "rawValue": 1
        }
      },
      "Time": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.739265,
          "rawValue": 162.575
        },
        "Category": {
          "normalizedValue": 0.2607362,
          "rawValue": 0.425
        }
      }
    },
    "entities": {
      "ContactName": {
        "f1": 0.9361702799797058,
        "precision": 0.95652174949646,
        "recall": 0.9166666865348816,
        "truePositiveCount": 22,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 2
      },
      "Category": {
        "f1": 0.8799999952316284,
        "precision": 0.8461538553237915,
        "recall": 0.9166666865348816,
        "truePositiveCount": 11,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "SenderName": {
        "f1": 0.8888888955116272,
        "precision": 0.8888888955116272,
        "recall": 0.8888888955116272,
        "truePositiveCount": 8,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      },
      "EmailSubject": {
        "f1": 0.8181817531585693,
        "precision": 0.75,
        "recall": 0.8999999761581421,
        "truePositiveCount": 9,
        "trueNegativeCount": 0,
        "falsePositiveCount": 3,
        "falseNegativeCount": 1
      },
      "Message": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 6,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 2
      },
      "Date": {
        "f1": 0.800000011920929,
        "precision": 0.6666666865348816,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 0
      },
      "OrderReference": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchTexts": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Attachment": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "RelationshipName": {
        "f1": 0.800000011920929,
        "precision": 1,
        "recall": 0.6666666865348816,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      },
      "Line": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Time": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 2
      },
      "FromRelationshipName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "PositionReference": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.8923077,
    "microPrecision": 0.8969072,
    "microRecall": 0.8877551,
    "macroF1": 0.7766601,
    "macroPrecision": 0.7755879,
    "macroRecall": 0.78849214
  },
  "intentsEvaluation": {
    "confusionMatrix": {
      "AddFlag": {
        "AddFlag": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "AddMore": {
        "AddMore": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "Cancel": {
        "Cancel": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "CheckMessages": {
        "CheckMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "Confirm": {
        "Confirm": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Delete": {
        "Delete": {
          "normalizedValue": 100,
          "rawValue": 5
        }
      },
      "Forward": {
        "Forward": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "None": {
        "None": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "QueryLastText": {
        "QueryLastText": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "ReadAloud": {
        "ReadAloud": {
          "normalizedValue": 100,
          "rawValue": 16
        }
      },
      "Reply": {
        "Reply": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "SearchMessages": {
        "SearchMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "SendEmail": {
        "SendEmail": {
          "normalizedValue": 100,
          "rawValue": 20
        }
      },
      "ShowNext": {
        "ShowNext": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "ShowPrevious": {
        "ShowPrevious": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      }
    },
    "intents": {
      "AddMore": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 104,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Cancel": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SendEmail": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 20,
        "trueNegativeCount": 101,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "CheckMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "AddFlag": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Reply": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ReadAloud": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 16,
        "trueNegativeCount": 105,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "QueryLastText": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Delete": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 5,
        "trueNegativeCount": 116,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Forward": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Confirm": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowNext": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowPrevious": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 118,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "None": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 120,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      }
    },
    "microF1": 1,
    "microPrecision": 1,
    "microRecall": 1,
    "macroF1": 1,
    "macroPrecision": 1,
    "macroRecall": 1
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definíciók

Name	Description
ConversationalAnalysisAuthoringEntitiesEvaluationSummary	A projekt entitásainak kiértékelési eredményeinek összegzését jelöli.
ConversationalAnalysisAuthoringEntityEvaluationSummary	Egy entitás kiértékelési eredményét jelöli.
ConversationalAnalysisAuthoringEvaluationOptions	A kiértékelés futtatásához használt beállításokat jelöli.
ConversationalAnalysisAuthoringEvaluationSummary	A kiértékelési eredmények összegzését jelöli.
ConversationalAnalysisAuthoringIntentEvaluationSummary	Egy szándék kiértékelési összegzése.
ConversationalAnalysisAuthoringIntentsEvaluationSummary	A projekt szándékainak kiértékelési összegzését jelöli.
Error	A hibaobjektum.
ErrorCode	Emberi olvasásra alkalmas hibakód.
ErrorResponse	Hibaválasz.
EvaluationKind	A kiértékelési típust jelöli. Alapértelmezés szerint a kiértékelési típus százalékos értékre van állítva.
InnerErrorCode	Emberi olvasásra alkalmas hibakód.
InnerErrorModel	Egy objektum, amely pontosabb információkat tartalmaz a hibáról. A Microsoft One API irányelveinek megfelelően : https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

ConversationalAnalysisAuthoringEntitiesEvaluationSummary

A projekt entitásainak kiértékelési eredményeinek összegzését jelöli.

Name	Típus	Description
confusionMatrix	object	Két entitás közötti keveredési mátrixot jelöli (a két entitás lehet ugyanaz). A mátrix a címkézett entitás és az előrejelzett entitás között van.
entities	<string, ConversationalAnalysisAuthoringEntityEvaluationSummary>	Az entitások kiértékelési összegzését jelöli.
macroF1	number	Az F1 makrót jelöli
macroPrecision	number	A makró pontosságát jelöli
macroRecall	number	A makróvisszahívást jelöli
microF1	number	A mikro F1-et jelöli
microPrecision	number	Mikropontosság
microRecall	number	A mikrovisszahívást jelöli

ConversationalAnalysisAuthoringEntityEvaluationSummary

Egy entitás kiértékelési eredményét jelöli.

Name	Típus	Description
f1	number	A modell pontosságát jelöli
falseNegativeCount	integer	A hamis negatívok számát jelöli
falsePositiveCount	integer	A hamis pozitívok számát jelöli
precision	number	A modell visszahívását jelöli
recall	number	A modell F1 pontszámát jelöli
trueNegativeCount	integer	A valódi negatívok számát jelöli
truePositiveCount	integer	A valódi pozitívok számát jelöli

ConversationalAnalysisAuthoringEvaluationOptions

A kiértékelés futtatásához használt beállításokat jelöli.

Name	Típus	Description
kind	EvaluationKind	A kiértékelési típust jelöli. Alapértelmezés szerint a kiértékelési típus százalékos értékre van állítva.
testingSplitPercentage	integer	A tesztelési adathalmaz felosztási százalékos arányát jelöli. Csak akkor szükséges, ha a kiértékelési típus százalékos.
trainingSplitPercentage	integer	A betanítási adathalmaz felosztási százalékos arányát jelöli. Csak akkor szükséges, ha a kiértékelési típus százalékos.

ConversationalAnalysisAuthoringEvaluationSummary

A kiértékelési eredmények összegzését jelöli.

Name	Típus	Description
entitiesEvaluation	ConversationalAnalysisAuthoringEntitiesEvaluationSummary	Az entitások kiértékeléséhez kapcsolódó adatokat tartalmazza.
evaluationOptions	ConversationalAnalysisAuthoringEvaluationOptions	A kiértékelés futtatásakor használt beállítások.
intentsEvaluation	ConversationalAnalysisAuthoringIntentsEvaluationSummary	A szándékok kiértékeléséhez kapcsolódó adatokat tartalmazza.

ConversationalAnalysisAuthoringIntentEvaluationSummary

Egy szándék kiértékelési összegzése.

Name	Típus	Description
f1	number	A modell pontosságát jelöli
falseNegativeCount	integer	A hamis negatívok számát jelöli
falsePositiveCount	integer	A hamis pozitívok számát jelöli
precision	number	A modell visszahívását jelöli
recall	number	A modell F1 pontszámát jelöli
trueNegativeCount	integer	A valódi negatívok számát jelöli
truePositiveCount	integer	A valódi pozitívok számát jelöli

ConversationalAnalysisAuthoringIntentsEvaluationSummary

A projekt szándékainak kiértékelési összegzését jelöli.

Name	Típus	Description
confusionMatrix	object	A két szándék közötti keveredési mátrixot jelöli (a két szándék lehet ugyanaz). A mátrix a címkézett szándék és az előrejelzett szándék között van.
intents	<string, ConversationalAnalysisAuthoringIntentEvaluationSummary>	A szándékok kiértékelési összegzését jelöli.
macroF1	number	Az F1 makrót jelöli
macroPrecision	number	A makró pontosságát jelöli
macroRecall	number	A makróvisszahívást jelöli
microF1	number	A mikro F1-et jelöli
microPrecision	number	Mikropontosság
microRecall	number	A mikrovisszahívást jelöli

Error

A hibaobjektum.

Name	Típus	Description
code	ErrorCode	A kiszolgáló által definiált hibakódok egyike.
details	Error[]	A jelentett hibához vezető konkrét hibák részleteinek tömbje.
innererror	InnerErrorModel	Egy objektum, amely az aktuális objektumnál pontosabb információt tartalmaz a hibáról.
message	string	A hiba emberi olvasásra alkalmas ábrázolása.
target	string	A hiba célja.

ErrorCode

Emberi olvasásra alkalmas hibakód.

Name	Típus	Description
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

Hibaválasz.

Name	Típus	Description
error	Error	A hibaobjektum.

EvaluationKind

A kiértékelési típust jelöli. Alapértelmezés szerint a kiértékelési típus százalékos értékre van állítva.

Name	Típus	Description
manual	string	Ossza fel az adatokat a kiválasztott adatkészlet szerint az adatok minden példájához.
percentage	string	Ossza fel az adatokat betanítási és tesztelési készletekre a felhasználó által meghatározott százalékos értékek szerint.

InnerErrorCode