在本文中,你將學習如何從 GitHub Models 開始開發生成式 AI 應用程式,然後透過部署 Foundry Tools 資源搭配 Microsoft Foundry Models,提升你的體驗。
GitHub 模型 在你想免費尋找並試驗 AI 模型、開發生成式 AI 應用時非常有用。 當你準備好將應用程式帶到生產環境時,透過 Azure 訂閱部署 Foundry Tools 資源,並開始使用 Foundry Models,升級你的體驗。 您不需要變更程式碼中的其他任何內容。
GitHub 模型的遊樂場及免費 API 使用受到每分鐘請求數、每日請求數、每個請求的令牌數及同時請求數的限制。 如果您取得速率限制,則必須先等候所達到的速率限制重設,才能提出更多要求。
先決條件
您需要:
- 一個具有存取GitHub Models權限的GitHub帳號。
- 一個有有效付款方式的 Azure 訂閱。 如果你沒有Azure訂閱,請建立一個付費Azure帳號開始。 或者,你也可以等到準備好將模型部署到生產環境時,系統會提示你建立或更新你的 Azure 帳號為標準帳號。
來自合作夥伴及社群的 Foundry Models 需要存取 Azure Marketplace 。 請確定您擁有 訂閱模型供應專案所需的許可權。 Azure 直接販售的 Foundry 模型沒有此要求。
升級至鑄造廠型號
Playground 的速率限制和免費 API 使用可協助您試驗模型並開發 AI 應用程式。 當你準備將應用程式帶到生產環境時,請使用付費 Azure 帳號的金鑰和端點。 您不需要變更程式碼中的其他任何內容。
備註
GitHub 模型是免費的,但有速率限制。 升級到 Foundry Models 後,使用量會根據你選擇的
若要取得金鑰和端點:
進入 GitHub Models,選擇一個模型降落在遊樂場上。 本文使用Mistral Medium 3(25.05)。
輸入一些提示或使用一些建議的提示與操場中的模型互動。
從遊樂場選取 [使用此模型]。 這個動作會開啟一個名為「在您的代碼庫中開始使用模型」的視窗。
在「設定認證」步驟中,從「Azure AI」區塊選擇 Get Microsoft Foundry 金鑰。
如果你已經登入 Azure 帳號,可以跳過這個步驟。 不過,如果你沒有 Azure 帳號或尚未登入帳號,請依照以下步驟操作:
如果你沒有Azure帳號,請選擇建立我的帳號,並依照步驟建立。
或者,如果你有Azure帳號,請選擇Sign Back in。 如果您現有的帳戶是免費帳戶,則首先必須升級到標準計劃。
回到該型號的遊玩區,再次選擇 取得 Microsoft Foundry 金鑰 。
登入你的 Azure 帳號。
你會被帶到Foundry> GitHub,然後進入Foundry專案的首頁。
小提示
如果你進入 Foundry(經典版)體驗,請在右上角的導覽中切換新 Foundry 切換器,切換到新的 Foundry 體驗。
請依照 「部署模型 」中的步驟部署你選擇的模型,在 Playground 中測試,並用程式碼推斷已部署的模型。
透過在 Playground 發送測試提示來驗證部署是否有效。 如果你收到回應,表示你的模型已經準備好從程式碼中使用。
這很重要
與 GitHub 模型中所有模型都已設定好不同,Foundry 工具資源允許你控制端點中可用的模型及配置。 請先根據您計劃使用的模型數量新增模型,然後才在 model 參數中指出模型。 了解如何將更多模型新增至您的資源。
探索其他功能
Foundry Models 支援 GitHub 模型中沒有的功能:
- Model catalog — 瀏覽、比較並評估來自Azure、合作夥伴及開源社群的模型。
- 無金鑰認證 — 使用Microsoft Entra ID進行基於憑證的認證,無需管理 API 金鑰。
- 內容過濾 — 為您的部署設定內容安全過濾器。
- 速率限制 — 在資源中為特定模型設定自訂速率限制。
- 部署類型 — 可從多種部署 SKU 中選擇,如按令牌付費、配置型及批次型。
常見問題疑難排解
| 問題 | 解決辦法 |
|---|---|
| 你所在地區沒有這個型號 | 請在型號目錄頁面查看該型號的區域可用性,並選擇支援的區域。 |
| 金鑰交換後的認證錯誤 | 確認你從 Foundry 入口網站複製的金鑰是正確的。 選擇 Project settings>Keys and endpoints 以查看你的金鑰。 |
| 升級後速率限制錯誤 | Foundry 模型的速率限制取決於你的 部署類型。 擴大規模或選擇更高吞吐量的部署。 |