Model Evaluations - Create

Serviço:

Azure AI Services

Versão da API:

2023-04-01-preview

Avaliar um modelo existente.

Códigos de estado devolvidos:

• 201: Operação concluída com êxito.
• 400: O pedido foi mal formado.
• 409: já existe uma avaliação com o nome especificado.

PUT /models/{name}/evaluations/{evaluationName}?api-version=2023-04-01-preview

Parâmetros do URI

Name	Em	Necessário	Tipo	Description
evaluationName	path	True	string	Um nome que pode ser utilizado para identificar exclusivamente a avaliação depois de ter sido criada. Padrão Regex: ^[a-zA-Z0-9][a-zA-Z0-9._-]*$
name	path	True	string	O nome do modelo a avaliar. Padrão Regex: ^[a-zA-Z0-9][a-zA-Z0-9._-]*$
api-version	query	True	string	Versão da API pedida.

Corpo do Pedido

Media Types: "application/json-patch+json"

Name	Necessário	Tipo	Description
evaluationParameters	True	ModelEvaluationParameters	Parâmetros para especificar a forma como um modelo é avaliado.
createdDateTime		string	Só de leitura. A data e hora em que a execução de avaliação foi criada pela primeira vez, em UTC.
error		ErrorResponseDetails	Informações de erro.
modelName		string	Só de leitura. O modelo a avaliar.
modelPerformance		ModelPerformance	Métricas de desempenho para um modelo preparado personalizado.
name		string	Só de leitura. O nome que é utilizado para identificar exclusivamente a execução da avaliação.
status		ModelEvaluationState	Só de leitura. O estado atual da execução da avaliação.
updatedDateTime		string	Só de leitura. A data e hora em que a execução da avaliação foi atualizada pela última vez, em UTC.

Respostas

Name	Tipo	Description
201 Created	ModelEvaluation	Criado
Other Status Codes	ErrorResponse	Erro Cabeçalhos x-ms-error-code: string

Exemplos

ModelEvaluations_Create

Pedido de amostra

HTTP

PUT /models/my_model_name/evaluations/my_evaluation_name?api-version=2023-04-01-preview

{
  "evaluationParameters": {
    "testDatasetName": "my_test_dataset_name"
  }
}

Resposta da amostra

Código de estado:

201

{
  "name": "my_evaluation_name",
  "modelName": "my_model_name",
  "createdDateTime": "2023-01-13T20:46:22.127Z",
  "updatedDateTime": "2023-01-13T20:46:22.127Z",
  "status": "notStarted",
  "evaluationParameters": {
    "testDatasetName": "my_test_dataset_name"
  }
}

Definições

Name	Description
ErrorResponse	Resposta devolvida quando ocorre um erro.
ErrorResponseDetails	Informações de erro.
ErrorResponseInnerError	Erro detalhado.
ModelEvaluation	Descreve uma execução de avaliação para avaliar a precisão de um modelo com um conjunto de testes.
ModelEvaluationParameters	Parâmetros para especificar a forma como um modelo é avaliado.
ModelEvaluationState	Só de leitura. O estado atual da execução da avaliação.
ModelPerformance	Métricas de desempenho para um modelo preparado personalizado.
ModelTagPerformance	Métricas de desempenho para cada etiqueta reconhecida por um modelo preparado personalizado.

ErrorResponse

Resposta devolvida quando ocorre um erro.

Name	Tipo	Description
error	ErrorResponseDetails	Informações de erro.

ErrorResponseDetails

Informações de erro.

Name	Tipo	Description
code	string	Código de erro.
details	ErrorResponseDetails[]	Lista de erros detalhados.
innererror	ErrorResponseInnerError	Erro detalhado.
message	string	Mensagem de erro.
target	string	Destino do erro.

ErrorResponseInnerError

Erro detalhado.

Name	Tipo	Description
code	string	Código de erro.
innererror	ErrorResponseInnerError	Erro detalhado.
message	string	Mensagem de erro.

ModelEvaluation

Descreve uma execução de avaliação para avaliar a precisão de um modelo com um conjunto de testes.

Name	Tipo	Description
createdDateTime	string	Só de leitura. A data e hora em que a execução de avaliação foi criada pela primeira vez, em UTC.
error	ErrorResponseDetails	Informações de erro.
evaluationParameters	ModelEvaluationParameters	Parâmetros para especificar a forma como um modelo é avaliado.
modelName	string	Só de leitura. O modelo a avaliar.
modelPerformance	ModelPerformance	Métricas de desempenho para um modelo preparado personalizado.
name	string	Só de leitura. O nome que é utilizado para identificar exclusivamente a execução da avaliação.
status	ModelEvaluationState	Só de leitura. O estado atual da execução da avaliação.
updatedDateTime	string	Só de leitura. A data e hora em que a execução da avaliação foi atualizada pela última vez, em UTC.

ModelEvaluationParameters

Parâmetros para especificar a forma como um modelo é avaliado.

Name	Tipo	Description
testDatasetName	string	O nome do conjunto de dados utilizado para testes.

ModelEvaluationState

Só de leitura. O estado atual da execução da avaliação.

Name	Tipo	Description
failed	string
notStarted	string
running	string
succeeded	string

ModelPerformance

Métricas de desempenho para um modelo preparado personalizado.

Name	Tipo	Description
accuracyTop1	number	Só de leitura. Para modelos de classificação de várias classes. A proporção de amostras de teste em que a classe de verdade básica corresponde à classe prevista.
accuracyTop5	number	Só de leitura. Para modelos de classificação de várias classes. A proporção de amostras de teste em que a classe ground truth está nas cinco principais classes previstas.
averagePrecision	number	Só de leitura. Uma medida do desempenho do modelo resume a precisão e a revocação em diferentes limiares de confiança.
calibrationECE	number	Só de leitura. Para modelos de classificação de várias classes. Erro de calibragem esperado.
meanAveragePrecision30	number	Só de leitura. Para modelos de deteção de objetos. Precisão média média num limiar de 30%.
meanAveragePrecision50	number	Só de leitura. Para modelos de deteção de objetos. Precisão média média num limiar de 50%.
meanAveragePrecision75	number	Só de leitura. Para modelos de deteção de objetos. Precisão média média num limiar de 75%.
tagPerformance	<string,  ModelTagPerformance>	Só de leitura. Métricas de desempenho para cada etiqueta reconhecida pelo modelo.

ModelTagPerformance

Métricas de desempenho para cada etiqueta reconhecida por um modelo preparado personalizado.

Name	Tipo	Description
accuracy	number	Só de leitura. Para modelos de várias classes. Precisão da etiqueta.
averagePrecision50	number	Só de leitura. Para modelos de deteção de objetos. Precisão média num limiar de 50%.