Azure OpenAI 服务常见问题解答

Azure OpenAI 不使用客户数据来重新训练模型。 有关详细信息，请参阅 Azure OpenAI 数据、隐私和安全指南。

我们的当前 API 最多允许 10 个自定义标头，这些标头通过管道传递并返回。 我们注意到一些客户现在超过了此标头计数，从而导致 HTTP 431 错误。 除了减少标头量之外，此错误没有其他解决方案。 在未来的 API 版本中，我们将不再传递自定义标头。 我们不建议客户在未来的系统体系结构中依赖自定义标头。

最新版本的 OpenAI Python 库（版本>=1.0）支持 Azure OpenAI。 但是，请务必注意不支持使用 openai migrate 迁移代码库，并且无法使用面向 Azure OpenAI 的代码。

GPT-4 Turbo 预览版是 gpt-4 (1106-preview) 模型。 若要部署此模型，请在“部署”下选择模型 gpt-4。 对于“模型版本”，请选择“1106-preview”。 若要检查该模型在哪些区域可用，请参阅模型页面。

Azure OpenAI 支持最新的 GPT-4 模型。 它同时支持 GPT-4 和 GPT-4-32K。

Azure OpenAI 服务通过 OpenAI GPT-3、Codex 和 DALL-E 模型为客户提供高级语言 AI，并能够实现 Azure 的安全性和企业前景。 Azure OpenAI 与 OpenAI 共同开发 API，在确保兼容性的同时，又能够确保实现二者之间的平稳过渡。

使用 Azure OpenAI，客户可在运行与 OpenAI 相同的模型时获得 Microsoft Azure 的安全功能。

是的，作为 Azure AI 服务的一部分，Azure OpenAI 支持 VNET 和专用终结点。 若要了解详细信息，请参阅 Azure AI 服务虚拟网络指南。

否，GPT-4 由 OpenAI 设计为多模式，但目前仅支持文本输入和输出。

以前，添加新用例的过程要求客户重新应用到服务。 现在，我们将发布一个新流程，允许你快速添加新用例以使用服务。 此过程遵循 Azure AI 服务中既定的受限访问流程。 现有客户可以在此处证明任何和所有新用例。 注意，每当你想要将服务用于最初未申请的新用例时，都需要这样做。

尝试发送一批文本以将其作为数组嵌入到单个 API 请求中时，通常会发生此错误。 目前，Azure OpenAI 仅支持具有 text-embedding-ada-002 版本 2 模型的多个输入的嵌入数组。 此模型版本支持每个 API 请求最多包含 16 个输入的数组。 使用 text-embedding-ada-002（版本 2）模型时，数组长度最多可为 8,191 个令牌。

查看我们的提示工程简介。 虽然这些模型非常强大，但它们的行为对从用户处收到的提示也非常敏感。 这使得提示构造成为开发的重要技能。 完成介绍后，请查看有关系统消息的文章。

使用 Azure AI Studio 的默认登录体验时，这是预期行为。

要从已被授予 Azure OpenAI 资源访问权限的来宾帐户访问 Azure AI Studio，请执行以下操作：

1. 打开专用浏览器会话，然后导航到 https://ai.azure.com。
2. 请勿立即输入来宾帐户凭据，而是选择“Sign-in options”
3. 选择“登录到组织”
4. 输入授予来宾帐户 Azure OpenAI 资源访问权限的组织的域名。
5. 使用来宾帐户凭据登录。

现在应该能够通过 Azure AI Studio 访问资源。

或者，如果已从 Azure OpenAI 资源的“概览”窗格中登录到 Azure 门户，则可以选择“转到 Azure AI Studio”以使用适当的组织上下文自动登录。

Azure OpenAI 模型（包括 GPT-4）无法正确识别“正在运行什么模型”是预期行为。

为何发生这种情况？

最终，模型将执行下一个令牌预测来回答你的问题。 该模型没有任何本机功能来查询当前运行的是哪个模型版本，因此无法回答你的问题。 要回答这个问题，始终可以转到“Azure AI Studio”>“管理”>“部署”，然后查阅模型名称列，确认哪个模型当前与给定部署名称关联。>

“你运行的是哪个模型？”或“OpenAI 的最新模型是什么？”这样的问题与问模型今天天气怎么样所产生的结果的质量差不多。 它可能会返回正确的结果，但这纯粹是偶然的。 除训练/训练数据的那部分之外，模型本身没有实际信息。 就 GPT-4 而言，截至 2023 年 8 月，基础训练数据只截止到 2021 年 9 月。 GPT-4 在 2023 年 3 月才发布，因此，除非 OpenAI 发布使用更新后训练数据的新版本，或发布经过微调可回答这些特定问题的新版本，否则 GPT-4 的预期行为是，回复说 GPT-3 是 OpenAI 的最新模型版本。

如果你希望帮助基于 GPT 的模型准确回答“你正在运行什么模型？”这个问题，则需要通过模型系统消息的提示工程和检索增强生成 (RAG)（这是 Azure OpenAI 对数据所使用的技术，采用该技术，查询时会将最新信息注入到系统消息中）等技术向模型提供该信息，或者通过微调来微调模型的特定版本，以便根据模型版本以某种方式回答该问题。

若要详细了解 GPT 模型的训练方式和工作原理，建议观看 Andrej Karpathy 在 Build 2023 上关于 GPT 的现状的演讲。

这是预期的行为。 这些模型无法回答有关其自身的问题。 若要了解模型训练数据的知识截止时间，请参阅模型页面。

这是预期的行为。 首先，不能保证最近发生的每个事件都是模型训练数据的一部分。 即使信息是训练数据的一部分，如果不使用检索增强生成 (RAG) 之类的其他技术来帮助确定模型的响应，也总是有可能发生不可靠的响应。 Azure OpenAI 的“使用你的数据”功能和必应聊天均将 Azure OpenAI 模型与检索增强生成配合使用来帮助进一步确定模型响应。

训练数据中给定信息出现的频率也会影响模型以某种方式进行响应的可能性。

向最新的 GPT-4 Turbo 预览版模型询问最近发生变化的事情（例如“新西兰总理是谁？”），可能会得到捏造的响应 Jacinda Ardern。 然而，询问模型“Jacinda Ardern 何时辞去总理职务？”往往会产生准确的响应，表明训练数据知识至少截止到 2023 年 1 月。

因此，虽然可以通过问题来探测模型，从而猜测其训练数据知识截止时间，但模型页面是检查模型知识截止时间的最佳位置。

旧版定价信息可通过可下载的 PDF 文件获取。 对于所有其他模型，请参阅官方定价页。

可以通过将提示温度降低到 1 以下并确保使用具有重试逻辑的客户端来最大程度地减少这些错误的发生。 重新尝试请求通常会得到成功的响应。

如果服务执行处理，则即使状态代码为不成功（不是 200），也可能向你收取费用。 常见示例包括：由于内容筛选器或输入限制导致的 400 错误，或由于超时导致的 408 错误。 当收到了 status 200 以及 content_filter 的 finish_reason 时，也会产生费用。 在这种情况下，提示没有任何问题，但检测到模型生成的补全内容违反了内容筛选规则，导致补全内容被筛除。 如果服务不进行处理，则不需要支付费用。 例如，由于身份验证导致的 401 错误或由于超过速率限制导致的 429 错误。

访问大多数 Azure OpenAI 模型不需要有限访问注册表单。 在 Azure OpenAI 有限访问页上了解详细信息。

有关每月更新，请参阅新增功能页面。

查看 Azure OpenAI 培训课程简介。

• 建议在 Microsoft Q&A 上发布问题。
• 也可在 Stack Overflow 上发布问题。

Azure OpenAI 是 Azure AI 服务的一部分。 可以在支持和帮助选项指南中了解 Azure AI 服务的所有支持选项。

请参阅 Azure OpenAI 模型可用性指南。

有关区域可用性，请参阅 Azure OpenAI 模型可用性指南。

为了成功获取微调功能，你需要分配有 Azure 认知服务 OpenAI 参与者角色。 即使是具有高级服务管理员权限的人员也需要显式设置此帐户才能访问微调。 有关详细信息，请查看基于角色的访问控制指南。

基本模型是尚未针对特定用例进行自定义或微调的模型。 微调模型是基本模型的自定义版本，其中模型的权重是根据一组独特的提示进行训练的。 微调模型可让你在更多任务上取得更好的结果，而无需在完成提示中提供详细的上下文学习示例。 若要了解详细信息，请查看我们的微调指南。

100

目前，我们还没有定义的 API 响应时间服务级别协议 (SLA)。 有关 Azure OpenAI 服务的 SLA 的详细信息，请参阅联机服务的服务级别协议 (SLA) 页。

如果自定义（微调）模型是在超过 15 天前部署的且在此期间未对其进行补全或聊天补全调用，则将自动删除部署（针对该部署，不会产生进一步的托管费用）。 基础自定义模型仍将可用，并且可以随时重新部署。 要了解详细信息，请查看操作指南文章。

目前有两个不同的 REST API 允许模型部署。 对于最新的模型部署功能，例如在部署期间为 text-embedding-ada-002 版本 2 等模型指定模型版本的功能，请使用部署 - 创建或更新 REST API 调用。

否，配额“每分钟令牌数 (TPM)”的分配与模型的最大输入令牌限制无关。 模型输入标记限制在模型表中定义，不受对 TPM 所做的更改的影响。

否，我们目前不支持微调 GPT-4 的图像功能。

否，你可以使用 dall-e-3 来生成图像，用 gpt-4-vision-preview 来了解图像。

我们目前支持 PNG (.png)、JPEG（.jpeg 和 .jpg）、WEBP (.webp) 和非动画 GIF (.gif)。

是，我们的图像上传限制为每个图像 20 MB。

否，我们将在模型处理完图像后为你自动删除图像。

我们在标记级别处理图像，因此，我们处理的每个图像都计入你的每分钟标记数 (TPM) 限制。 有关用于确定每个图像的标记数的公式的详细信息，请参阅“概述”的图像标记部分。

否，模型不会接收图像元数据。

如果图像不明确或不清楚，模型将尽最大努力解释它。 但是，结果可能不太准确。 一个很好的经验法则是，如果一个普通人在低/高分辨率模式下看不到图像中的信息，那么模型也不能。

请参阅 GPT-4 Turbo with Vision 概念指南的局限性部分。

默认情况下，GPT-4 vision-preview 和 GPT-4 turbo-2024-04-09 的 max_tokens 值为 16。 根据你的请求，此值通常太低，可能会导致响应截断。 若要解决此问题，请在聊天补全 API 请求过程中传递更大的 max_tokens 值。 GPT-4o 默认为 4096 max_tokens。

是的。 与聊天补全 API 不同，Azure OpenAI 助手是一个有状态 API，这意味着它会保留数据。 助手 API 中存储有两种类型的数据：

• 有状态实体：在助手使用期间创建的线程、消息和运行。
• 文件：在助手设置期间上传的文件或消息中的文件。

数据存储在逻辑上分隔的安全的 Microsoft 托管存储帐户中。

除非显式删除此数据，否则所有已使用的数据都会保留在此系统中。 将 delete 函数与要删除的线程的线程 ID 配合使用。 清除助手操场中的运行不会删除线程，但是使用 delete 函数删除线程后，这些线程就不会在线程页中列出。

否。 目前助手仅支持上传到助手管理的存储的本地文件。 不能将你的私人存储帐户用于助手。

今天，我们为“助手”中的“线程”和“文件”支持 CMK。 有关此功能的可用区域，请参阅最近更新页。

否。 数据不会由 Microsoft 用于训练模型。 有关详细信息，请参阅负责任的 AI 文档。

Azure OpenAI 助手的终结点是区域性的，数据存储在与该终结点相同的区域中。 有关详细信息，请参阅 Azure 数据驻留文档。

• 用于每个助手（例如 gpt-4-0125）的基本模型的推理成本。 如果已创建多个助手，则需要为附加到每个助手的基本模型付费。
• 如果已启用代码解释器工具。 例如，如果助手在两个不同的线程中同时调用代码解释器，则会创建两个代码解释器会话，其中每个会话都将收费。 每个会话默认处于活动状态一小时，这意味着，如果用户在同一线程中向代码解释器提供指令长达一小时，则你只需支付此费用一次。
• 根据使用的矢量存储对文件搜索进行计费。

有关详细信息，请参阅定价页。

否。 所有配额都适用于使用助手的模型。

助手 API 仅支持 Azure OpenAI 模型。

助手 API 目前提供公共预览版。 请定期访问新增功能页面，随时了解我们的最新产品更新。

有关入门和使用助手的信息，请参阅概念性文章、快速入门文章和操作方法文章。 也可以在 GitHub 上查看 Azure OpenAI 助手代码示例。

可以在 Azure 门户中自定义已发布的 Web 应用。 已发布的 Web 应用的源代码在 GitHub 上提供，可在 GitHub 中找到有关更改应用前端的信息，以及生成和部署应用的说明。

更新应用时，应用代码不会被覆盖。 应用将更新为使用 Azure OpenAI 资源、Azure AI 搜索索引（如果使用基于你的数据的 Azure OpenAI）以及在 Azure AI Studio 中选择的模型设置，而外观或功能无任何变化。

基于数据的 Azure OpenAI 是 Azure OpenAI 服务的一项功能，可帮助组织使用指定的数据源生成自定义见解、内容和搜索。 它与 Azure OpenAI 中 OpenAI 模型的功能结合使用，以自然语言为用户查询提供更准确、更有用的响应。 基于数据的 Azure OpenAI 可以与客户的现有应用程序和工作流集成，提供关键绩效指标的见解，并且可以与用户无缝交互。

所有 Azure OpenAI 客户都可以通过 Azure AI Studio 和 Rest API 使用基于数据的 Azure OpenAI。

基于数据的 Azure OpenAI 支持从 Azure AI 搜索、Azure Blob 存储引入以及上传本地文件。 可以从概念性文章和快速入门中详细了解基于数据的 Azure OpenAI。

使用基于数据的 Azure OpenAI 时，使用 Azure AI 搜索、Azure Blob 存储、Azure Web 应用服务、语义搜索和 OpenAI 模型会产生费用。 在 Azure AI Studio 中使用“你的数据”功能无需额外付费。

可以使用 GitHub 上提供的脚本自行准备索引。 使用此脚本将会创建一个 Azure AI 搜索索引，其中包含更好地使用数据所需的全部信息，并将文档细分为可管理的区块。 有关如何运行它的详细信息，请参阅包含数据准备代码的自述文件。

可以安排自动索引刷新，或将其他数据上传到 Azure Blob 容器，并在创建新索引时将其用作数据源。 新索引将包含容器中的所有数据。

有关支持的文件类型的详细信息，请参阅使用数据。

是，基于数据的 Azure OpenAI 是 Azure OpenAI 服务的一部分，与 Azure OpenAI 中提供的模型结合使用。 Azure OpenAI 的内容筛选和滥用监视功能仍然适用。 有关详细信息，请参阅 适用于 Azure OpenAI 模型的负责任 AI 做法概述和 Azure OpenAI 透明度说明，了解有关负责任地使用基于数据的 Azure OpenAI 的额外指导。

是，系统消息的令牌限制为 400。 如果系统消息的令牌数超过 400 个，则会忽略前 400 个令牌之后的所有其余令牌。 此限制仅适用于 Azure OpenAI 的数据功能。

Azure OpenAI 在你的数据上当前不支持函数调用。

必须使用与数据相同的语言发送查询。 数据可以采用 Azure AI 搜索支持的任何语言。

选择“Azure AI 搜索”作为数据源时，可以选择应用语义搜索。 如果选择“Azure Blob 容器”或“上传文件”作为数据源，则可以像往常一样创建索引。 之后，将使用“Azure AI 搜索”选项重新引入数据，以选择相同的索引并应用语义搜索。 然后，你将准备好使用应用了语义搜索的数据来聊天。

选择“Azure Blob 容器”、“Azure AI 搜索”或“上传文件”作为数据源时，还可以选择引入数据时要使用的 Ada 嵌入模型部署。 这将创建具有矢量嵌入的 Azure AI 搜索索引。

如果 Ada 嵌入模型部署的速率限制过低，或者有一组非常大的文档，则在向索引添加嵌入时，索引创建可能会失败。 可以使用 GitHub 上提供的此脚本手动创建包含嵌入的索引。

客户版权承诺是 2023 年 12 月 1 日 Microsoft 产品条款中包括的一项规定，其描述了 Microsoft 有义务保护客户免受与输出内容相关的某些第三方知识产权索赔。 如果声明的主题是从 Azure OpenAI 服务（或涵盖的任何其他允许客户配置安全系统的生成式 AI 服务的产品）生成的输出内容，那么为了享受相关权益，客户必须在提供输出内容的产品/服务中实施 Azure OpenAI 服务文档要求的所有缓解措施。 此处记录并持续更新了所需的缓解措施。 对于新的服务、功能、模型或用例，新的 CCC 要求将在此类服务、功能、模型或用例启动后发布并生效。 否则，自发布之日起，客户将有六个月的时间实施新的缓解措施，以享受 CCC 的权益。 如果客户提出索赔，则客户需要证明符合相关要求。 涵盖的产品需要这些缓解措施，这些缓解措施允许客户配置安全系统，包括 Azure OpenAI 服务;它们不会影响使用其他涵盖产品的客户的覆盖范围。

后续步骤

• Azure OpenAI 配额和限制
• Azure OpenAI 新增功能
• Azure OpenAI 快速入门