你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

使用脱机评估分析学习循环

重要

从 2023 年 9 月 20 日开始,将无法创建新的个性化体验创建服务资源。 个性化体验创建服务将于 2026 年 10 月 1 日停用。

了解如何创建脱机评估并解释结果。

借助脱机评估,可以衡量个性化体验创建服务与你的应用程序在一段记录(历史)数据期间的默认行为相比的有效性,并评估其他模型配置设置对模型的执行情况。

创建脱机评估时,“优化发现”选项将对各种学习策略值运行脱机评估,以找到可提高模型性能的值。 你还可以提供额外的策略以在脱机评估中进行评估。

请阅读脱机评估了解详细信息。

先决条件

  • 已配置的个性化体验创建服务资源
  • 个性化体验创建服务资源必须拥有一定数量的记录数据 - 为了得到一个有意义的评估结果,我们大概建议日志中至少有 5 万个事件。 或者,你之前可能还导出了要在此评估中测试和比较的学习策略文件。

运行脱机评估

  1. Azure 门户中,找到个性化体验创建服务资源。

  2. 在 Azure 门户中,转到“评估”部分,然后选择“创建评估”。 In the Azure portal, go to the Evaluations section and select Create Evaluation.

  3. 填写“创建评估”窗口中的选项:

    • 评估名称。
    • 开始时间和结束时间 - 这些日期指定要在评估中使用的数据范围。 这些数据必须根据数据保留期值中的指定存在于日志中。
    • 如果希望个性化体验创建服务尝试找到更理想的学习策略,请将“优化发现”设置为“是”。
    • 添加学习设置 - 如果要评估自定义或以前导出的策略,请上传学习策略文件。l

    Choose offline evaluation settings

  4. 选择“开始评估”开始进行评估。

查看评估结果

运行评估可能需要花费较长时间,具体取决于要处理的数据量、要比较的学习策略数量,以及是否请求了优化。

  1. 完成后,可以从评估列表选择评估,然后选择“使用其他潜在学习设置比较应用程序的分数”。 若要查看当前学习策略相比于新策略的运行情况,请选择该功能。

  2. 接下来,查看学习策略的性能。

    Review evaluation results

图表上会显示各种学习策略,以及其估计的平均奖励、置信度区间以及下载或应用特定策略的选项。

  • “Online”- 个性化体验创建服务的当前策略
  • “Baseline1”- 应用程序的基线策略
  • “BaselineRand”- 随机执行操作的策略
  • “Inter-len#”或“Hyper#”- 由“优化发现”创建的策略。

选择“应用”以应用能最大程度改善数据的模型的策略。

后续步骤