通过

你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

Evaluations - Create

  • 参考
服务:
Azure AI Services
API 版本:
v1.1-preview.1

创建脱机评估。
提交新的脱机评估作业。

POST {Endpoint}/personalizer/v1.1-preview.1/evaluations

URI 参数

名称 在 必需 类型 说明
Endpoint
 path True

string

支持的认知服务终结点。

请求正文

名称 必需 类型 说明
endTime True

string (date-time)

评估的结束时间。
name True

string

maxLength: 256

评估的名称。
policies True

PolicyContract[]

要评估的其他学习设置。
startTime True

string (date-time)

评估的开始时间。
enableOfflineExperimentation

boolean

如此 如果评估应探索更优化的学习设置。

响应

名称 类型 说明
201 Created

Evaluation

成功

标头

Location: string
Other Status Codes

ErrorResponse

计算协定无效。

示例

Successful Evaluations_Create request

示例请求

POST {Endpoint}/personalizer/v1.1-preview.1/evaluations

{
  "enableOfflineExperimentation": true,
  "name": "myFirstEvaluation",
  "startTime": "2018-12-19T00:00:00Z",
  "endTime": "2019-01-19T00:00:00Z",
  "policies": [
    {
      "name": "Custom learning settings 1",
      "arguments": "--cb_explore_adf --epsilon 0.2 --dsjson --cb_type ips -l 0.5 --l1 1E-07 --power_t 0.5"
    }
  ]
}

示例响应

状态代码:
201 
Location: {endpoint}/personalizer/v1.1-preview.1/evaluations/{evaluationId}
{
  "id": "b58c6d92-b727-48c1-9487-4be2782c9e0a",
  "name": "myFirstEvaluation",
  "startTime": "2018-12-19T00:00:00Z",
  "endTime": "2019-01-19T00:00:00Z",
  "status": "pending",
  "policyResults": [
    {
      "name": "Custom learning settings 1",
      "arguments": "--cb_explore_adf --epsilon 0.2 --dsjson --cb_type ips -l 0.5 --l1 1E-07 --power_t 0.5",
      "policySource": "Online"
    }
  ],
  "featureImportance": [],
  "evaluationType": "Manual",
  "optimalPolicy": "",
  "creationTime": "2019-01-20T00:00:00Z"
}

定义

名称 说明
ErrorResponse

用于向客户端返回错误
Evaluation

反事实评估。
EvaluationContract

反事实评估。
EvaluationJobStatus

处理评估的作业的状态。
EvaluationType

评估类型（手动或通过自动优化）。
InternalError

包含比父对象有关错误的更具体信息的对象。
PersonalizerError

错误对象。
PersonalizerErrorCode

个性化体验创建服务返回的错误代码
PolicyContract

指定如何训练模型的学习设置。
PolicyResult

此类包含学习设置信息以及使用该策略的脱机评估的结果。
PolicyResultSummary

此类包含评估反事实评估策略的摘要。
PolicySource

学习设置的来源。
TotalSummary

脱机评估的聚合总计。

ErrorResponse

Object

用于向客户端返回错误

名称 类型 说明
error

PersonalizerError

错误对象。

Evaluation

Object

反事实评估。

名称 类型 说明
creationTime

string (date-time)

创建时间。
endTime

string (date-time)

评估的结束时间。
evaluationType

EvaluationType

评估类型（手动或通过自动优化）。
featureImportance

string[]

特征重要性。
id

string

maxLength: 256

评估的 ID。
jobId

string

处理评估的作业的 ID。
name

string

maxLength: 256

评估的名称。
optimalPolicy

string

最佳策略。
policyResults

PolicyResult[]

评估的结果。
startTime

string (date-time)

评估的开始时间。
status

EvaluationJobStatus

处理评估的作业的状态。

EvaluationContract

Object

反事实评估。

名称 类型 说明
enableOfflineExperimentation

boolean

如此 如果评估应探索更优化的学习设置。
endTime

string (date-time)

评估的结束时间。
name

string

maxLength: 256

评估的名称。
policies

PolicyContract[]

要评估的其他学习设置。
startTime

string (date-time)

评估的开始时间。

EvaluationJobStatus

枚举

处理评估的作业的状态。

值 说明
completed
failed
notSubmitted
onlinePolicyRetained
optimalPolicyApplied
pending
timeout

EvaluationType

枚举

评估类型（手动或通过自动优化）。

值 说明
Auto
Manual

InternalError

Object

包含比父对象有关错误的更具体信息的对象。

名称 类型 说明
code

string

详细的错误代码。
innererror

InternalError

包含比父对象有关错误的更具体信息的对象。

PersonalizerError

Object

错误对象。

名称 类型 说明
code

PersonalizerErrorCode

个性化体验创建服务返回的错误代码
details

PersonalizerError[]

导致此报告错误的特定错误的详细信息数组。
innerError

InternalError

包含比父对象有关错误的更具体信息的对象。
message

string

说明服务报告的错误的消息。
target

string

错误源元素。

PersonalizerErrorCode

枚举

个性化体验创建服务返回的错误代码

值 说明
ApprenticeModeNeverTurnedOn

学徒模式从未打开。
BadRequest

服务器无法理解请求。
DuplicateCustomPolicyNames

自定义策略名称应是唯一的。
EvaluationModelNotFound

评估中未找到模型。
EvaluationNotFound

找不到脱机评估。
FrontEndNotFound

找不到前端。
InternalServerError

服务器上发生了一般错误。
InvalidContainer

SAS URI 必须是具有写入权限的容器的 URI。
InvalidEvaluationContract

计算协定无效。
InvalidEventIdToActivate

激活事件请求无效。
InvalidExportLogsRequest

请求无效。
InvalidLearningModeServiceConfiguration

将学习模式从联机模式更改为学徒模式时，更新 defaultReward、rewardWaitTime 和 rewardAggregation，反之亦然。 进行模式更改，然后使用其他 API 调用更改其他设置。
InvalidModelMetadata

模型元数据无效。
InvalidMultiSlotApiAccess

多槽功能当前处于禁用状态。 请按照多槽个性化体验创建服务文档更新循环设置以启用多槽功能。
InvalidPolicyConfiguration

策略配置无效。
InvalidPolicyContract

策略协定无效。
InvalidRankRequest

请求无效。
InvalidRewardRequest

奖励请求无效。
InvalidRewardWaitTime

奖励等待时间应介于 5 秒到 2 天之间
InvalidServiceConfiguration

服务配置无效。
LearningSettingsNotFound

评估中未找到学习设置。
LogsPropertiesNotFound

找不到日志属性。
LogsSizeExceedAllowedLimit

日志的总大小超出了允许的限制。
MissingAppId

标头中缺少 AppId。
ModelFileAccessDenied

无法访问用于客户托管密钥的密钥保管库密钥。
ModelMetadataUpdateFailed

模型元数据更新失败。
ModelPublishFailed

模型发布失败。
ModelRankingError

使用模型对作进行排名时出错。 请验证学习设置是否有效。
ModelResetFailed

模型重置失败。
NoLogsExistInDateRange

日期范围内不存在日志。
OperationNotAllowed

目前不允许此作。
ProblemTypeIncompatibleWithAutoOptimization

自动优化与多槽个性化不兼容。
RankNullResponse

排名调用返回 null 响应。
ResourceNotFound

服务器上不存在请求的资源。
UpdateConfigurationFailed

无法更新配置。

PolicyContract

Object

指定如何训练模型的学习设置。

名称 类型 说明
arguments

string

maxLength: 1024

学习设置的参数。
name

string

maxLength: 256

学习设置的名称。

PolicyResult

Object

此类包含学习设置信息以及使用该策略的脱机评估的结果。

名称 类型 说明
arguments

string

学习设置的参数。
name

string

学习设置的名称。
policySource

PolicySource

学习设置的来源。
summary

PolicyResultSummary[]

脱机评估的聚合结果。
totalSummary

TotalSummary

脱机评估的聚合总计。

PolicyResultSummary

Object

此类包含评估反事实评估策略的摘要。

名称 类型 说明
aggregateTimeWindow

string (duration)

聚合的时间范围。 例如，PT5M （5 分钟）。 有关时间格式的信息，请参阅 http://en.wikipedia.org/wiki/ISO_8601#Durations
averageReward

number (float)

平均奖励。
confidenceInterval

number (float)

策略评估的 Gaussian 置信区间。
ipsEstimatorDenominator

number (float)

IPS 估算器的分母。
ipsEstimatorNumerator

number (float)

IPS 估算器的 Numerator。
nonZeroProbability

number (float)

策略评估的非零值的概率。
snipsEstimatorDenominator

number (float)

SNIPS 估算器的分母。
sumOfSquares

number (float)

策略评估结果的平方和。
timeStamp

string (date-time)

聚合的时间戳。

PolicySource

枚举

学习设置的来源。

值 说明
Baseline
Custom
OfflineExperimentation
Online
Random

TotalSummary

Object

脱机评估的聚合总计。

名称 类型 说明
aggregateTimeWindow

string (duration)

聚合的时间范围。 例如，PT5M （5 分钟）。 有关时间格式的信息，请参阅 http://en.wikipedia.org/wiki/ISO_8601#Durations
averageReward

number (float)

平均奖励。
confidenceInterval

number (float)

策略评估的 Gaussian 置信区间。
ipsEstimatorDenominator

number (float)

IPS 估算器的分母。
ipsEstimatorNumerator

number (float)

IPS 估算器的 Numerator。
nonZeroProbability

number (float)

策略评估的非零值的概率。
snipsEstimatorDenominator

number (float)

SNIPS 估算器的分母。
sumOfSquares

number (float)

策略评估结果的平方和。
timeStamp

string (date-time)

聚合的时间戳。