你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
什么是透明度说明?
AI 系统不仅包括技术,还包括使用它的人员、它影响的人员以及部署它的环境。 创建一个适合其预期用途的系统需要了解技术的工作原理、功能和局限性,以及如何实现最佳性能。
Microsoft 透明度说明可帮助你了解:
- AI 技术的工作原理。
- 系统所有者可以做出的影响系统性能和行为的选择。
- 考虑整个系统(包括技术、人员和环境)的重要性。
开发或部署自己的系统时,可以使用透明度说明。 或者,你可以与使用你的系统(或受该系统影响)的人员共享它们。
透明度说明是 Microsoft 将 AI 原则付诸实践的广泛努力的一部分。 若要了解详细信息,请参阅 Microsoft AI 原则。
重要
自动生成提示变体目前以公共预览版提供。 此预览版未提供服务级别协议,不建议将其用于生产工作负载。 某些功能可能不受支持或者受限。 有关详细信息,请参阅 Microsoft Azure 预览版补充使用条款。
提示流中自动生成提示变体的基础知识
提示工程是使用语言模型生成应用程序的中心。 Microsoft 的提示流提供了丰富的功能,包括以交互方式编辑、批量测试和评估提示,另外还包含帮助选择最佳提示内置流。
提示流中的自动生成提示变体功能可以借助语言模型自动生成基本提示的变体。 可以在提示流中测试这些变体,以达到模型和用例的最佳解决方案。
此透明度说明使用以下关键术语:
条款 | 定义 |
---|---|
提示流 | 一种开发工具,可简化使用语言模型的 AI 应用程序的开发周期。 有关详细信息,请参阅什么是 Azure 机器学习提示流。 |
提示设计 | 创建和优化输入提示的做法,旨在从语言模型引出更理想的回应。 |
提示变体 | 输入提示的不同版本或修改,旨在测试或实现语言模型的不同响应。 |
基本提示 | 初始或主要提示,用作从语言模型引出响应的起点。 在这种情况下,提供基本提示并对其进行修改以创建提示变体。 |
系统提示 | 系统生成的预定义提示,通常是启动任务或查找特定信息。 系统提示不可见,但在内部用于生成提示变体。 |
功能
系统行为
可以使用自动生成提示变体功能自动生成和评估提示变体,以便快速找到最适合用例的提示。 此功能增强了提示流中以交互方式编辑和评估提示的功能,目的是简化提示工程。
提供基本提示时,自动生成提示变体功能通过使用 Azure AI Foundry 模型中的 Azure OpenAI 生成能力以及内部系统提示生成多个变体。 尽管 Azure AI Foundry 模型中的 Azure OpenAI 提供了内容管理筛选器,但建议在生产方案中使用它们之前验证生成的任何提示。
用例
自动生成提示变体的预期用途是借助语言模型从提供的基本提示生成新提示。 请勿将自动生成提示变体用于可能带来严重不良影响的决策。
设计或测试自动生成提示变体不是为了推荐需要与准确性、治理、策略、法律或专家知识相关的更多注意事项的项目。 这些注意事项通常存在于常规(非专家)用户执行的使用模式的范围之外。此类用例的例子包括医疗诊断、理财或财务建议、招聘或就业建议,或与住房相关的建议。
限制
在生成提示变体时,请务必了解,尽管 AI 系统是有价值的工具,但它们是非确定性的。 也就是说,无法实现完美的预测准确性(即系统生成的事件与空间中发生的真实事件的对应程度的度量值)。 良好的模型具有较高的准确性,但偶尔会进行不正确的预测。 如果未能理解此局限性,则可能会导致过度依赖该系统,并作出可能会影响利益干系人的不合理决策。
该功能使用语言模型生成的提示变体按原样显示。 我们鼓励你评估和比较这些变体,以确定方案的最佳提示。
提示流生态系统中提供的许多评估也依赖于语言模型。 此依赖项可能会降低任何提示的实用性。 强烈建议进行手动评审。
技术限制、操作因素和范围
自动生成提示变体功能不对它提供的提示变体提供度量或评估。 强烈建议以最符合特定用例和要求的方式评估建议的提示。
自动生成提示变体功能仅限于从基本提示生成最多五个变体。 如果需要更多变体,请修改基本提示以生成它们。
自动生成提示变体目前仅支持 Azure OpenAI 模型。 它还会将内容限制为 Azure OpenAI 中的内容管理策略可接受的内容。 该功能不支持在此策略之外使用。
系统性能
每个方案中的用例决定了自动生成提示变体功能的性能。 该功能不会评估提示或生成指标。
在以提示工程为重心的提示流生态系统中运行,为错误处理提供了一个有力的解决方案。 重试操作通常会解决错误。
特定于此功能的一个错误是从 Azure OpenAI 资源的响应中筛选内容或进行危害检测。 当基本提示中的内容针对 Azure OpenAI 中的内容管理策略时,会发生此错误。 若要解决此错误,请根据 Azure OpenAI 内容筛选中的指南更新基本提示。
提高系统性能的最佳做法
若要提高性能,可以根据用例和提示要求修改以下参数:
- 模型:选择用于此功能的模型会影响性能。 一般性的指导是,GPT-4 模型比 GPT-3.5 模型更强大,因此可以期望它生成性能更高的提示变体。
- 变量数:此参数指定要生成的变体数。 变体的数量越多,产生的提示就会越多,找到用例的最佳提示的可能性就会增加。
- 基本提示:由于此工具会生成提供的基本提示的变体,因此优秀的基本提示可以为工具打好基础,以便为你的用例提供最大价值。 查看提示工程技术中的准则。
自动生成提示变体的评估
Microsoft 开发团队测试了自动生成提示变体功能,以评估危害缓解和适用性。
危害缓解测试表明了在积极保护响应方面对将系统提示和 Azure OpenAI 内容管理策略相结合的支持。 你可以找到更多机会来最大程度地减少 Azure OpenAI 滥用监视 和 Azure OpenAI 内容筛选中危害的风险。
适应特定目的的测试支持从创意用途(如诗歌)和聊天机器人代理生成的提示的质量。 鉴于可能的基本提示和潜在用例的广度,我们提醒你在得出全面结论时需谨慎。 对于环境,请使用适合所需用例的评估,并确保人工审阅者是过程的一部分。
评估和集成自动生成提示变体以供你使用
自动生成提示变体功能的性能因基本提示和用例而异。 生成的提示的真实用法取决于使用提示的系统的许多元素的组合。
为了确保在方案中实现最佳性能,你应自行评估使用自动生成提示变体实现的解决方案。 一般情况下,请遵循以下评估过程:
- 使用内部利益干系人来评估任何生成的提示。
- 使用内部利益干系人来评估使用生成的提示的任何系统的结果。
- 使用生成的提示部署服务时,结合关键绩效指标 (KPI) 和指标监视,以满足评估目标。