關於新創公司使用 Azure AI 服務 的常見問題。
入門指南
使用 Azure OpenAI 服務對於我的新創公司來說,最佳的開始方式是什麼?
可以看看GitHub上的生成式人工智慧初學者課程。 這是一套包含 18 課的指令集,介紹了所有主要的 Azure OpenAI 功能,並教你如何用它們建置應用程式。
我該如何用低程式碼或無程式碼的方式快速測試 Azure AI 的功能?
使用 Azure AI Foundry portal 測試多種 AI 功能,包括 部署Azure OpenAI 模型 以及 applying 內容審核服務。
區域可用性和數據駐留
OpenAI 服務在哪些 Azure 區域可以使用?
不同的 Azure OpenAI 模型限制在不同區域。 有關完整清單,請參閱 型號可用性表 。
區域選擇如何影響 Azure OpenAI 服務的延遲與效能?
除非您正在使用串流功能,否則影響微乎其微。 模型自身回應的延遲對延遲的影響比區域差異大得多。
選擇使用專用Azure OpenAI 伺服器與按使用量付費方案,對 performance 影響更大。
速率限制和資源管理
我該如何確保我的應用程式能夠擴展其 Azure OpenAI 配額?
請參閱管理Azure OpenAI 服務配額以了解配額限制的運作方式及管理方式。
Azure OpenAI 服務 的速率限制是什麼?我該如何管理?
對於使用隨用付費模式(最常見的)的客戶,請參閱 Manage Azure OpenAI 服務 quota頁面。 對於使用專用 Azure OpenAI 伺服器的客戶,請參閱相關指南中的 quota 章節。
我該如何處理 Azure OpenAI 服務 中的每分鐘代幣限制?
考慮在進階架構中結合多個Azure OpenAI部署,建立一套能以每分鐘交付更多token給更多使用者的系統。
我應該在什麼時候使用專用的 Azure OpenAI 伺服器(PTU)取代按使用量付費模式?
當您具有明確定義且可預測的輸送量要求時,應考慮從即用即付切換到預置輸送量。 通常,當應用程式已準備好用於生產環境或已部署到生產環境中,並且了解預期的流量時,就會出現這種情況。 這可讓使用者準確地預測所需的容量,並避免非預期的計費。
負載均衡和擴展性
我該如何管理高流量並確保我的 Azure OpenAI 應用程式保持回應?
為您的應用程式創建負載均衡器。
如果您使用的是即用即付模型,請參閱 負載均衡示例 。 如果你使用的是專用的 OpenAI 伺服器Azure,請參考 PTU 指南 了解負載平衡的相關資訊。
開發與測試
我該如何建立開發環境來測試 Azure OpenAI 應用程式?
在 Azure AI Foundry portal 使用 prompt flow 建立線上部署。 然後,通過在表單編輯器或 JSON 編輯器中輸入值來測試它。
監視和計量
如何跟蹤和評估 AI 應用程式的使用指標?
有關跟蹤風險和安全指標以及許多回應質量指標的資訊,請參閱 評估和監控指標 指南。
我可以使用哪些工具來監控我的 Azure OpenAI 端點的效能?
請使用 Azure OpenAI Studio 的 monitoring 功能。 它提供了一個控制面板,用於跟蹤模型隨時間推移的性能指標。
生產實施和最佳實踐
在 Azure 上部署生產型 AI 應用程式有哪些最佳實務?
請參閱 Microsoft Foundry 基線聊天參考架構 ,了解部署聊天應用程式的最佳實務。
你能舉例或案例研究,說明 Azure OpenAI 服務 的成功實作嗎?
請參閱 人工智慧與 機器學習 科技社群論壇。
相關內容
若要瞭解詳細資訊,請參閱 Microsoft for Startups。