AI for startups 常见问题解答

有关为初创公司使用 Azure AI 服务的常见问题解答。

入门指南

开始为我的初创公司使用 Azure OpenAI 服务的最佳方式是什么?

查看 GitHub 上的 面向初学者的生成式 AI 课程。 这是一套 18 课时的说明集,介绍了所有主要的 Azure OpenAI 功能,并向您展示如何使用它们构建应用程序。

如何使用低代码/无代码方法快速测试 Azure AI 功能?

使用 Azure AI Foundry 门户 测试各种 AI 功能,包括 部署 Azure OpenAI 模型应用内容审查服务

区域可用性和数据驻留

OpenAI 服务在哪些 Azure 区域可用?

不同的 Azure OpenAI 模型仅限于不同的区域。 有关完整列表,请参阅 型号可用性表

区域选择如何影响 Azure OpenAI 服务的延迟和性能?

除非您使用流式处理功能,否则影响很小。 模型自身响应的延迟对延迟的影响比区域差异大得多。

选择使用专用 Azure OpenAI 服务器还是即用即付计划对 性能的影响也更大。

速率限制和资源管理

如何确保我的应用程序可以扩展其 Azure OpenAI 配额?

请参阅 管理 Azure OpenAI 服务配额 ,了解配额限制的工作原理以及如何管理配额限制。

Azure OpenAI 服务的速率限制是什么,如何管理它们?

对于使用即用即付模式的客户(最常见),请参阅 管理 Azure OpenAI 服务配额 页面。 对于使用专用 Azure OpenAI 服务器的客户,请参阅相关指南的 配额部分

如何处理 Azure OpenAI 服务中的每分钟令牌限制?

考虑 将多个 Azure OpenAI 部署组合 到高级体系结构中,以构建一个每分钟向更多用户提供更多令牌的系统。

何时应使用专用 Azure OpenAI 服务器 (PTU) 而不是即用即付模型?

当您具有明确定义且可预测的吞吐量要求时,应考虑从即用即付切换到预置吞吐量。 通常,当应用程序已准备好用于生产环境或已部署到生产环境中,并且了解预期的流量时,就会出现这种情况。 这样,用户就可以准确预测所需的容量并避免意外计费。

负载均衡和扩展

如何管理高流量并确保我的 Azure OpenAI 应用程序保持响应?

为您的应用程序创建负载均衡器。

如果您使用的是即用即付模型,请参阅 负载均衡示例 。 如果您使用的是专用 Azure OpenAI 服务器,请参阅 PTU 指南 以了解有关负载均衡的信息。

开发和测试

如何设置开发环境以测试 Azure OpenAI 应用程序?

使用 Azure AI Foundry 门户中提示流创建联机部署。 然后,通过在表单编辑器或 JSON 编辑器中输入值来测试它。

监控和指标

如何跟踪和评估 AI 应用程序的使用指标?

有关跟踪风险和安全指标以及许多响应质量指标的信息,请参阅 评估和监控指标 指南。

我可以使用哪些工具来监视 Azure OpenAI 端点的性能?

使用 Azure OpenAI Studio 的 监控功能 。 它提供了一个控制面板,用于跟踪模型随时间推移的性能指标。

生产实施和最佳实践

将 Azure 上的 OpenAI 应用程序部署到生产环境有哪些最佳实践?

有关部署标准聊天应用程序的最佳做法,请参阅 Azure OpenAI 聊天参考体系结构

您能否提供成功实施 Azure OpenAI 服务的示例或案例研究?

请参阅 Artificial Intelligence and Machine Learning 技术社区论坛。

若要了解详细信息,请参阅 Microsoft for Startups