AI for startups FAQ

有关将 Azure AI 服务用于启动的常见问题。

入门

为我的启动开始使用 Azure OpenAI 服务的最佳方法是什么?

查看 GitHub 上面向初学者 的 Generative AI 课程。 这是一个 18 课的指令集,介绍所有主要的 Azure OpenAI 功能,并演示如何使用它们生成应用程序。

如何使用低/无代码方法快速测试 Azure AI 功能?

区域可用性和数据驻留

OpenAI 服务在哪些 Azure 区域中可用?

不同的 Azure OpenAI 模型仅限于不同的区域。 有关完整列表, 请参阅模型可用性表

区域选择如何影响 Azure OpenAI 服务的延迟和性能?

除非使用流式处理功能,否则影响很小。 与区域差异相比,模型自己的响应的延迟对延迟的影响要大得多。

选择使用专用的 Azure OpenAI 服务器与即用即付计划也对性能产生了更大的影响

速率限制和资源管理

如何确保应用程序能够缩放其 Azure OpenAI 配额?

请参阅 “管理 Azure OpenAI 服务配额 ”,了解配额限制的工作原理以及如何管理配额。

Azure OpenAI 服务的速率限制是什么?如何管理它们?

对于使用即用即付模型(最常见的)的客户,请参阅“ 管理 Azure OpenAI 服务配额 ”页。 有关使用专用 Azure OpenAI 服务器的客户,请参阅 相关指南的配额部分

如何实现处理 Azure OpenAI 服务中的每分钟令牌限制?

请考虑 在高级体系结构中组合多个 Azure OpenAI 部署 ,以构建一个系统,以每分钟向更多用户提供更多令牌。

何时应使用专用的 Azure OpenAI 服务器(PTU),而不是即用即付模型?

在明确定义的可预测吞吐量要求时,应考虑从即用即付切换到预配的吞吐量。 通常情况下,当应用程序已准备好用于生产或已部署在生产环境中,并且对预期流量有了解时,则会出现这种情况。 这使得用户可以准确预测所需的容量,并避免被意外收费。

负载均衡和缩放

如何实现管理高流量并确保 Azure OpenAI 应用程序保持响应?

为应用程序创建负载均衡器。

如果使用即用即付模型,请参阅负载均衡示例。 如果使用专用 Azure OpenAI 服务器,请参阅 PTU 指南 ,了解有关负载均衡的信息。

开发和测试

如何实现设置开发环境来测试 Azure OpenAI 应用程序?

在 Azure AI Studio 中使用提示流 创建联机部署。 然后,通过在窗体编辑器或 JSON 编辑器中输入值来测试它。

监视和指标

如何跟踪和评估 AI 应用程序的使用情况指标?

可以使用哪些工具来监视 Azure OpenAI 终结点的性能?

使用 Azure OpenAI Studio 的监视功能。 它提供一个仪表板,用于跟踪随时间推移模型的性能指标。

生产实现和最佳做法

在 Azure 上将 OpenAI 应用程序部署到生产环境有哪些最佳做法?

能否提供成功实现 Azure OpenAI 服务的示例或案例研究?

若要了解详细信息,请参阅 适用于启动Microsoft。