为智能体创建测试集（预览版）

[本文是预发行文档，可能会有所更改。]

测试集是一组你用来评估代理表现的对话。 每个对话都代表一个你希望智能体处理的应用场景。

Important

  • 这是一项面向生产环境的预览功能。
  • 生产就绪预览版需要满足补充使用条款。

先决条件

一个用 GitHub Copilot 框架创建并保存的代理。 请参阅创建智能体（预览版）。

启动新评估

开始新的评估：

  1. 请在 Copilot Studio 中打开您的代理。
  2. 选择“评估”选项卡。
  3. 选择 新评估。

选择其中一个选项：

选项 1：从 CSV 文件上传对话内容

  1. 在评估标签页的数据源部分，将 CSV 文件拖拽到上传区域，或选择文件进行浏览。

    Tip

    选择 CSV 链接以下载符合正确文件格式的模板。 最大文件大小为5 MB。

  2. 审查导入的对话并根据需要进行调整。

  3. 在右侧的配置测试集面板中，输入名称作为评估名称。

  4. 选择 “评估 ”来运行评估，或者选择 保存 以保存不运行的评估。

选项 2：使用 AI 生成对话

  1. 在评估选项卡的更多方式开始部分，选择快速对话集。
  2. 等待系统根据代理的描述、指示和话题生成10次对话。
  3. 在查看你的测试用例列表中查看生成的对话。
  4. 在 配置测试集 面板中，输入 一个名称，然后选择 评估 或 保存。

你也可以从评估视图生成更多对话。 选择 添加对话>生成10个对话。 运行初步评估后，选择 “添加对话>”生成25个对话 “或 ”生成50个对话 “以生成更多对话。

选项三：手动编写对话

  1. 在评估选项卡的更多开始方式部分，选择或者，自己编写一些问题。
  2. 在 “查看你的测试案例 ”列表中，选择 “添加对话>”写入 “以手动创建测试用例。
  3. 为每个对话添加用户提问。 可选地，添加预期客服反应。
  4. 在配置测试集面板中，输入名称，然后选择评估或保存。

配置测试集

当您创建或编辑评估时， 配置测试集 面板包含以下选项：

  • 名称：必填的评估名称。
  • 测试方法：用于评分回答的方法。 一般 质量检查是否满足相关性和完整性等质量标准。
  • 用户配置文件：运行评估的认证配置文件。 选择 “管理 ”来设置哪个配置文件执行测试。

编辑测试集中的对话

在测试集中编辑对话：

  1. 在评估标签页，从评估下拉菜单中打开一个现有测试集。
  2. 选择对话以编辑其消息。
  3. 使用添加对话下拉菜单来添加更多对话。
  4. 完成后，请选择保存。
  • Last updated on