你当前正在访问 Microsoft Azure Global Edition 技术文档网站。如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

教程：在 Azure AI Studio 中使用提示流生成和部署问答 Copilot

项目
05/23/2024

重要

本文介绍的某些功能可能仅在预览版中提供。此预览版未提供服务级别协议，不建议将其用于生产工作负载。某些功能可能不受支持或者受限。有关详细信息，请参阅 Microsoft Azure 预览版补充使用条款。

在本 Azure AI Studio 教程中，你将使用生成式 AI 和提示流为名为 Contoso 的零售公司生成、配置和部署 Copilot。零售公司专门销售户外露营装备和服装。

Copilot 应该回答有关产品和服务的问题。它还应回答有关客户的问题。例如，Copilot 可以回答诸如“How much do the TrailWalker hiking shoes cost?”和“How many TrailWalker hiking shoes did Daniel Wilson buy?”等问题。

本教程中的步骤包括：

将数据添加到聊天操场。
在操场中创建提示流。
为提示流自定义多个数据源。
使用问答评估数据集评估流。
部署流以供使用。

先决条件

Azure 订阅 - 免费创建订阅。
已在所需的 Azure 订阅中授予对 Azure OpenAI 的访问权限。

目前，仅应用程序授予对此服务的访问权限。可以通过在 https://aka.ms/oai/access 上填写表单来申请对 Azure OpenAI 的访问权限。如果有任何问题，请在此存储库上提出问题以联系我们。
AI Studio 中心、项目和已部署的 Azure OpenAI 聊天模型。完成 AI Studio 操场快速入门，以创建这些资源（如果尚未创建）。
用于为示例产品和客户数据编制索引的 Azure AI 搜索服务连接。
需要产品和客户数据的本地副本。 GitHub 上的 Azure-Samples/aistudio-python-quickstart-sample 存储库包含与本教程场景相关的示例零售客户和产品信息。克隆存储库或从 1-customer-info 和 3-product-info 复制文件。

添加数据并再次尝试聊天模型

在 AI Studio 操场快速入门（这是本教程的先决条件）中，可以观察模型在没有数据的情况下如何响应。接下来，将数据添加到模型中，以帮助它回答有关产品的问题。

要完成本部分，需要产品数据的本地副本。 GitHub 上的 Azure-Samples/aistudio-python-quickstart-sample 存储库包含与本教程场景相关的示例零售客户和产品信息。克隆存储库或从 3-product-info 复制文件。

重要

Azure AI Studio 操场中的“添加数据”功能不支持在以下资源上使用虚拟网络或专用终结点：

Azure AI 搜索
Azure OpenAI
存储资源

按照以下步骤将数据添加到聊天操场，以帮助助手回答有关产品的问题。你不会更改已部署的模型本身。数据单独安全地存储在 Azure 订阅中。

转到 Azure AI Studio 中的项目。
从左侧窗格中选择“操场”>“聊天”。
从“部署”下拉列表中选择部署的聊天模型。
在聊天操场左侧，选择“添加数据”>“+ 添加新数据源”。
在“数据源”下拉列表中，选择“上传文件”。
选择“上传”>“上传文件”以浏览本地文件。
选择要上传的文件。选择之前下载或创建的产品信息文件 (3-product-info)。现在添加所有文件。稍后将无法在同一操场会话中添加更多文件。
选择“上传”将文件上传到 Azure Blob 存储帐户。然后，选择“下一步”。
选择 Azure AI 搜索服务。在此示例中，从“选择 Azure AI 搜索服务”下拉列表中选择“连接其他 Azure AI 搜索资源”。如果没有搜索资源，可选择“创建新的 Azure AI 搜索资源”来创建一个。然后返回到此步骤，连接并选择该资源。
浏览 Azure AI 搜索服务，然后选择“添加连接”。
对于“索引名称”，请输入“product-info”，然后选择“下一步”。
在“矢量设置”下的“搜索设置”页上，取消选中“将矢量搜索添加到此搜索资源”复选框。此设置有助于确定模型如何响应请求。然后，选择“下一步”。

注意

如果添加矢量搜索，可在此处使用更多选项，但需要支付额外费用。
检查设置，然后选择“创建”。
在操场中，可以看到数据引入正在进行中。此过程可能需要几分钟时间。在继续操作之前，请等到看到数据源和索引名称代替状态。
输入操场配置的名称，然后选择“保存”>“保存配置”。默认情况下保存所有配置项目。这些项目包括部署、系统消息、安全消息、参数、添加的数据、示例和变量。使用相同名称保存配置将覆盖以前的版本。
现在，你可以与模型聊天，询问与之前相同的问题（“TrailWalker 徒步鞋有多少”），这一次，它使用数据中的信息来构造响应。可以展开“引用”按钮以查看使用的数据。

从操场创建提示流

现在你可能会问“该如何进一步自定义此 Copilot？”你可能想要添加多个数据源、比较不同的提示或多个模型的性能。提示流充当可执行工作流，以简化基于 LLM 的 AI 应用程序的开发。它提供了一个全面的框架，用于管理应用程序中的数据流和处理。使用提示流优化发送到 Copilot 聊天模型的消息。

本部分介绍如何在操场中转换到提示流。导出操场聊天环境，包括与添加的数据的连接。本教程稍后将评估流，然后部署流以进行使用。

注意

提示流中所做的更改不会向后应用以更新操场环境。

可以按照以下步骤在操场中创建提示流：

转到 AI Studio 中的项目。
从左侧窗格中选择“操场”>“聊天”。
由于我们使用的是自己的数据，因此你需要选择“添加数据”。你应该已经有一个之前在聊天操场中创建的名为 product-info 的索引。从“选择可用项目索引”下拉列表中选择它。否则，先使用产品数据创建索引，然后返回到此步骤。
从聊天会话窗格上方的菜单中选择“提示流”。
输入提示流的文件夹名称。然后选择“打开”。 AI Studio 将操场聊天环境导出到提示流。导出包括与所添加数据的连接。

在流中，节点占据中心位置，表示具有独特功能的特定工具。这些节点使用输入和输出处理数据处理、任务执行和算法操作。通过连接节点，可以建立一个无缝的操作链，指导数据流通过应用程序。有关详细信息，请参阅提示流工具。

为了辅助节点配置和微调，通过 DAG（有向无环图）图提供工作流结构的可视化形式。此图展示了节点之间的连接和依赖关系，提供了整个工作流的清晰概况。下图中显示的节点代表导出到提示流的操场聊天体验。

在提示流中，还将看到：

“保存”按钮：可以通过从顶部菜单中选择“保存”，随时保存提示流。在本教程中进行更改时，请务必定期保存提示流。
“启动计算会话”按钮：需要启动计算会话才能运行提示流。可以在本教程的后面部分启动会话。运行计算实例时，系统会收费。有关更多信息，请参阅如何创建计算会话。

选择左侧菜单中“工具”中的“提示流”，可以随时返回到提示流。然后选择之前创建的提示流文件夹。

为提示流自定义多个数据源

之前在 AI Studio 聊天操场中，你添加了数据来创建一个搜索索引，其中包含 Contoso Copilot 的产品数据。到目前为止，用户只能询问有关产品的问题，例如“How much do the TrailWalker hiking shoes cost?”。但用户无法获得诸如“How many TrailWalker hiking shoes did Daniel Wilson buy?”等问题的答案为了启用此方案，我们将另一个包含客户信息的索引添加到流中。

创建客户信息索引

接下来，需要示例客户信息的本地副本。有关详细信息和示例数据的链接，请参阅先决条件。

请按照以下说明创建一个新索引。本教程稍后将返回到你的提示流，将客户信息添加到流中。可以在浏览器中打开一个新选项卡，按照这些说明操作，然后返回到提示流。

转到 AI Studio 中的项目。
在左侧菜单中选择“索引”。注意，你应该已经有一个之前在聊天操场中创建的名为 product-info 的索引。
选择“+ 新建索引”。你会看到“创建索引”向导。
在“源数据”页上，从“数据源”下拉列表中选择“上传文件”。然后选择“上传”>“上传文件”以浏览本地文件。
选择之前下载或创建的客户信息文件。请参阅先决条件。然后，选择“下一步”。
选择用于产品信息索引的同一 Azure AI 搜索服务连接 (contosooutdooraisearch)。然后，选择“下一步”。
输入索引名称为 customer-info。
选择要运行索引作业的虚拟机。默认选项是“自动选择”。然后，选择“下一步”。
在“矢量设置”下的“搜索设置”页上，取消选中“将矢量搜索添加到此搜索资源”复选框。此设置有助于确定模型如何响应请求。然后，选择“下一步”。

注意

如果添加矢量搜索，可在此处使用更多选项，但需要支付额外费用。
查看输入的详细信息，然后选择“创建”。

注意

在本教程后面的提示流中使用 customer-info 索引和通向 Azure AI 搜索服务的 contosooutdooraisearch 连接。如果你输入的名称不同于此处指定的名称，请确保在本教程的其余部分使用你输入的名称。
你将进入索引详细信息页面，可以在其中查看索引创建操作的状态。

有关如何创建索引的详细信息，请参阅创建索引。

创建提示流所需的计算会话

创建完索引后，返回到提示流并启动计算会话。提示流需要计算会话才能运行。

转到您的项目。
在左侧菜单的“工具”中选择“提示流”。然后选择之前创建的提示流文件夹。
从顶部菜单中选择“启动计算会话”。

若要创建计算实例和计算会话，还可以按照如何创建计算会话中的步骤操作。

若要完成本教程的其余部分，请确保计算会话正在运行。

重要

运行计算实例时，系统会收费。为了避免产生不必要的 Azure 成本，请当未在提示流中主动工作时暂停计算实例。有关详细信息，请参阅如何启动和停止计算。

将客户信息添加到流

创建索引后，返回到提示流，然后按照以下步骤将客户信息添加到流中：

确保运行计算会话。如果没有计算会话，请参阅上一部分中的创建计算会话。
从顶部菜单中选择“+ 更多工具”，然后从工具列表中选择“索引查找”。
将新节点命名为 queryCustomerIndex 并选择“添加”。
在 queryCustomerIndex 节点中选择 mlindex_content 文本框。

此时将打开“生成”对话框。使用此对话框配置 queryCustomerIndex 节点以连接到客户信息索引。
对于 index_type 值，请选择“Azure AI 搜索”。

选择或输入以下值：

名称	值
acs_index_connection	Azure AI 搜索服务连接的名称（如 contosooutdooraisearch）
acs_index_name	customer-info
acs_content_field	content
acs_metadata_field	meta_json_string
semantic_configuration	azuremldefault
embedding_type	无

选择“保存”以保存设置。
为 queryCustomerIndex 节点选择或输入以下值：

名称值

queries ${extractSearchIntent.output}

query_type 关键字

topK 5

在图中可以看到 queryCustomerIndex 节点已连接到 extractSearchIntent 节点。
从顶部菜单中选择“保存”以保存更改。进行更改时，切记要定期保存提示流。

名称	值
queries	${extractSearchIntent.output}
query_type	关键字
topK	5

将客户信息连接到流

在下一部分中，你将聚合产品和客户信息，以大型语言模型可以使用的格式输出它。但首先需要将客户信息连接到流。

选择“+ 更多工具”旁边的省略号图标，然后选择“原始文件模式”切换到原始文件模式。此模式允许在图中复制和粘贴节点。
在图中将 querySearchResource 的所有实例替换为 queryProductIndex。我们将重命名节点，以更好地表明它检索产品信息，并与添加到流中的 queryCustomerIndex 节点形成对比。
在图中重命名 chunkDocuments 的所有实例并将它们替换为 chunkProductDocuments。
在图中重命名 selectChunks 的所有实例并将它们替换为 selectProductChunks。
复制并粘贴 chunkProductDocuments 和 selectProductChunks 节点，为客户信息创建类似的节点。分别重命名新节点 chunkCustomerDocuments 和 selectCustomerChunks。
在 chunkCustomerDocuments 节点中，将 ${queryProductIndex.output} 输入替换为 ${queryCustomerIndex.output}。
在 selectCustomerChunks 节点中，将 ${chunkProductDocuments.output} 输入替换为 ${chunkCustomerDocuments.output}。

从顶部菜单中选择“保存”以保存更改。

现在，flow.dag.yaml 文件应包括类似于以下示例的节点（还有其他节点）：

- name: chunkProductDocuments
  type: python
  source:
    type: code
    path: chunkProductDocuments.py
  inputs:
    data_source: Azure AI Search
    max_tokens: 1050
    queries: ${extractSearchIntent.output}
    query_type: Keyword
    results: ${queryProductIndex.output}
    top_k: 5
  use_variants: false
- name: selectProductChunks
  type: python
  source:
    type: code
    path: filterChunks.py
  inputs:
    min_score: 0.3
    results: ${chunkProductDocuments.output}
    top_k: 5
  use_variants: false
- name: chunkCustomerDocuments
  type: python
  source:
    type: code
    path: chunkCustomerDocuments.py
  inputs:
    data_source: Azure AI Search
    max_tokens: 1050
    queries: ${extractSearchIntent.output}
    query_type: Keyword
    results: ${queryCustomerIndex.output}
    top_k: 5
  use_variants: false
- name: selectCustomerChunks
  type: python
  source:
    type: code
    path: filterChunks.py
  inputs:
    min_score: 0.3
    results: ${chunkCustomerDocuments.output}
    top_k: 5
  use_variants: false

聚合产品和客户信息

此时，提示流仅使用产品信息。

extractSearchIntent 从用户的问题中提取搜索意向。
queryProductIndex 从 product-info 索引中检索产品信息。
LLM 工具（适用于大型语言模型）通过 chunkProductDocuments>selectProductChunks>formatGeneratedReplyInputs 节点接收已设置格式的答复。

需要连接和聚合产品和客户信息，以 LLM 工具可以使用的格式输出它。按照以下步骤聚合产品和客户信息：

从工具列表中选择“Python”。
将工具命名为 aggregateChunks，然后选择“添加”。

复制并粘贴以下 Python 代码以替换 aggregateChunks 代码块中的所有内容。

from promptflow import tool
from typing import List

@tool
def aggregate_chunks(input1: List, input2: List) -> str:
    interleaved_list = []
    for i in range(max(len(input1), len(input2))):
        if i < len(input1):
            interleaved_list.append(input1[i])
        if i < len(input2):
            interleaved_list.append(input2[i])
    return interleaved_list

选择“验证和分析输入”按钮，以验证 aggregateChunks 节点的输入。如果输入有效，提示流将分析输入，并创建必要的变量以便在代码中使用。
编辑 aggregateChunks 节点，以连接产品和客户信息。将输入设置为以下值：

名称类型值

input1 列表 ${selectProductChunks.output}

input2 列表 ${selectCustomerChunks.output}
从图中选择 shouldGenerateReply 节点。为区块输入选择或输入 ${aggregateChunks.output}。
从图中选择 formatGenerateReplyInputs 节点。为区块输入选择或输入 ${aggregateChunks.output}。
从图中选择 outputs 节点。为区块输入选择或输入 ${aggregateChunks.output}。
从顶部菜单中选择“保存”以保存更改。进行更改时，切记要定期保存提示流。

名称	类型	值
input1	列表	${selectProductChunks.output}
input2	列表	${selectCustomerChunks.output}

现在，可以在图中看到 aggregateChunks 节点。节点将连接产品和客户信息，以 LLM 工具可以使用的格式输出它。

在具有产品信息和客户信息的提示流中聊天

现在，提示流中同时拥有产品信息和客户信息。你可以在提示流中与模型聊天，获得诸如“How many TrailWalker hiking shoes did Daniel Wilson buy?”等问题的答案在继续进行更正式的评估之前，可以选择与模型聊天，以查看模型如何回答你的问题。

从上一部分继续，输出节点处于选中状态。确保答复输出已选中“聊天输出”单选按钮。否则，将返回完整的文档集，以响应聊天中的问题。
从提示流中的顶部菜单中选择“聊天”以尝试聊天。
输入“How many TrailWalker hiking shoes did Daniel Wilson buy?”，然后选择向右箭头图标发送。

注意

模型可能需要几秒钟才能做出响应。使用已部署的流时，响应时间可能会更快。
响应即是预期的结果。该模型使用客户信息来回答问题。

使用问答评估数据集评估流

在 AI Studio 中，需要在部署流以进行使用之前评估该流。

在本部分中，你将使用内置评估通过问答评估数据集评估流。内置评估使用 AI 辅助指标来评估流：真实性、相关性和检索分数。有关详细信息，请参阅内置评估指标。

创建评估

你需要一个问答评估数据集，其中包含与你的方案相关的问答。在本地创建一个名为 qa-evaluation.jsonl 的新文件。将以下问题和答案 ("truth") 复制并粘贴到文件中。

{"question": "What color is the CozyNights Sleeping Bag?", "truth": "Red", "chat_history": [], }
{"question": "When did Daniel Wilson order the BaseCamp Folding Table?", "truth": "May 7th, 2023", "chat_history": [] }
{"question": "How much does TrailWalker Hiking Shoes cost? ", "truth": "$110", "chat_history": [] }
{"question": "What kind of tent did Sarah Lee buy?", "truth": "SkyView 2 person tent", "chat_history": [] }
{"question": "What is Melissa Davis's phone number?", "truth": "555-333-4444", "chat_history": [] }
{"question": "What is the proper care for trailwalker hiking shoes?", "truth": "After each use, remove any dirt or debris by brushing or wiping the shoes with a damp cloth.", "chat_history": [] }
{"question": "Does TrailMaster Tent come with a warranty?", "truth": "2 years", "chat_history": [] }
{"question": "How much did David Kim spend on the TrailLite Daypack?", "truth": "$240", "chat_history": [] }
{"question": "What items did Amanda Perez purchase?", "truth": "TrailMaster X4 Tent, TrekReady Hiking Boots (quantity 3), CozyNights Sleeping Bag, TrailBlaze Hiking Pants, RainGuard Hiking Jacket, and CompactCook Camping Stove", "chat_history": [] }
{"question": "What is the Brand for TrekReady Hiking Boots", "truth": "TrekReady", "chat_history": [] }
{"question": "How many items did Karen Williams buy?", "truth": "three items of the Summit Breeze Jacket", "chat_history": [] }
{"question": "France is in Europe", "truth": "Sorry, I can only truth questions related to outdoor/camping gear and equipment", "chat_history": [] }

拥有评估数据集后，可以按照以下步骤评估流：

从提示流的顶部菜单中选择“评估”>“内置评估”。

你会看到“创建新评估”向导。
输入评估的名称并选择计算会话。
从方案选项中选择“问题和答案，无上下文”。
选择要评估的流。在此示例中，选择“Contoso 户外流”或任何你命名的流。然后选择下一步。
在“配置测试数据”页上选择“添加数据集”。
选择“上传文件”，浏览文件，然后选择之前创建的 qa-evaluation.jsonl 文件。
上传文件后，需要配置数据列以匹配提示流所需的输入，以执行生成用于评估的输出的批处理运行。为提示流的每个数据集映射输入或选择以下值。

名称说明类型数据源

chat_history 聊天历史记录 list ${data.chat_history}

查询查询 string ${data.question}
选择下一步。
选择要用于评估流的指标。在此示例中，选择“一致性”、“流畅性”、“GPT 相似性”和“F1 分数”。
选择要用于评估的连接和模型。在此示例中，选择 gpt-35-turbo-16k。然后选择下一步。

注意

使用 AI 辅助指标进行评估需要调用另一个 GPT 模型来执行计算。为了获得最佳性能，请使用至少支持 16k 令牌的模型，例如 gpt-4-32k 或 gpt-35-turbo-16k 模型。如果以前未部署此类模型，则可以按照 AI Studio 聊天操场快速入门中的步骤部署另一个模型。然后返回到此步骤，选择已部署的模型。

名称	说明	类型	数据源
chat_history	聊天历史记录	list	${data.chat_history}
查询	查询	string	${data.question}

需要配置数据列以匹配所需的输入来生成评估指标。输入以下值以将数据集映射到评估属性：

名称	说明	类型	数据源
question	查找特定信息的查询。	string	${data.question}
answer	模型生成的对问题的响应（答案的形式）。	string	${run.outputs.reply}
documents	包含已检索文档中的上下文的字符串。	string	${run.outputs.documents}

选择下一步。
查看评估详细信息，然后选择“提交”。你将访问“指标评估”页。

查看评估状态和结果

现在，可以按照以下步骤查看评估状态和结果：

创建评估后，转到“评估”（如果该屏幕尚未出现）。在“指标评估”页上，可以看到评估状态和所选指标。可能需要在几分钟后选择“刷新”才能看到“完成”状态。
停止提示流中的计算会话。转到提示流，然后从顶部菜单中选择“计算会话运行”>“停止计算会话”。

提示

评估为“完成”状态后，无需计算会话即可完成本教程的其余部分。可以停止计算实例，以避免产生不必要的 Azure 成本。有关详细信息，请参阅如何启动和停止计算。
选择评估的名称（如 evaluation_evaluate_from_flow_variant_0），以查看评估指标。

有关详细信息，请参阅查看评估结果。

部署流

生成流并完成基于指标的评估后，接下来可以创建联机终结点以进行实时推理。这意味着可以使用已部署的流实时回答问题。

按照以下步骤在 AI Studio 中将提示流部署为联机终结点。

准备好一个可供部署的提示流。如果你没有提示流，请参阅前面的部分或如何生成提示流。
可选：选择“聊天”以测试流是否正常工作。建议的最佳做法是在部署前测试流。
在流编辑器中选择“部署”。
在部署向导中的“基本设置”页上提供请求的信息。选择“下一步”转到高级设置页。
在“高级设置 - 终结点”页上，保留默认设置，然后选择“下一步”。
在“高级设置 - 部署”页上，保留默认设置，然后选择“下一步”。
在“高级设置 - 输出和连接”页上，请确保选中“包含在终结点响应中”下的所有输出。
选择“查看 + 创建”以查看设置并创建部署。
选择“创建”以部署提示流。

有关详细信息，请参阅如何部署流。

使用已部署的流

Copilot 应用程序可以使用已部署的提示流实时回答问题。可以使用 REST 终结点或 SDK 来使用已部署的流。

若要在 AI Studio 中查看部署状态，请在左侧导航栏中选择“部署”。

成功创建部署后，可以选择该部署以查看详细信息。

注意

如果看到一条消息显示“目前此终结点没有部署”，或者“状态”仍为“正在更新”，可能需要在几分钟后选择“刷新”才能查看部署。
（可选）详细信息页是可以更改身份验证类型或启用监视的位置。
选择“使用”选项卡。可以查看 Copilot 应用程序的代码示例和 REST 终结点，以使用已部署的流。