在本文中,你將學習如何從 GitHub Models 開始開發生成式 AI 應用程式,然後透過部署 Foundry Tools 資源搭配 Microsoft Foundry Models,提升你的體驗。
當您想要在開發生成式 AI 應用程式時免費尋找和試驗 AI 模型時,GitHub 模型非常有用。 當你準備好將應用程式帶到生產環境時,透過 Azure 訂閱部署 Foundry Tools 資源,並開始使用 Foundry Models,升級你的體驗。 您不需要變更程式碼中的其他任何內容。
GitHub 模型的遊樂場和免費 API 使用量受到每分鐘請求次數、每天請求次數、每個請求的代幣數量和並行請求的速率限制。 如果您取得速率限制,則必須先等候所達到的速率限制重設,才能提出更多要求。
先決條件
您需要:
- 具有 GitHub 模型存取權的 GitHub 帳戶。
- 具有有效付款方式的 Azure 訂用帳戶。 如果您沒有 Azure 訂用帳戶,請建立付費 Azure 帳戶以開始。 或者,您可以等到準備好將模型部署至生產環境,此時系統會提示您建立 Azure 帳戶或將 Azure 帳戶更新為標準帳戶。
- 來自合作夥伴和社群的 Foundry 模型 需要存取 Azure Marketplace。 請確定您擁有 訂閱模型供應專案所需的許可權。 Azure 直接銷售的 Foundry 模型 沒有此需求。
升級至鑄造廠型號
Playground 的速率限制和免費 API 使用可協助您試驗模型並開發 AI 應用程式。 當您準備好將應用程式帶入生產環境時,請使用付費 Azure 帳戶中的金鑰和端點。 您不需要變更程式碼中的其他任何內容。
備註
GitHub 模型是免費的,但有速率限制。 升級到 Foundry Models 後,使用量會根據你選擇的 部署類型 ,計入你的 Azure 訂閱費。
若要取得金鑰和端點:
移至 GitHub 模型 ,然後選取要登陸其 Playground 的模型。 本文使用Mistral Medium 3(25.05)。
輸入一些提示或使用一些建議的提示與操場中的模型互動。
從 Playground 選取 [ 使用此模型 ]。 此操作會開啟一個視窗,以「開始使用程式碼庫中的模型」。
在「設定認證」步驟中,從「Azure AI」區塊選擇 取得 Microsoft Foundry 金鑰 。
如果您已登入 Azure 帳戶,請略過此步驟。 不過,如果您沒有 Azure 帳戶或未登入帳戶,請遵循下列步驟:
如果您沒有 Azure 帳戶,請選取 [ 建立我的帳戶 ],然後依照步驟建立帳戶。
或者,如果您有 Azure 帳戶,請選取 [重新登入]。 如果您現有的帳戶是免費帳戶,則首先必須升級到標準計劃。
回到該型號的遊玩區,再次選擇 取得 Microsoft Foundry 金鑰 。
登入您的 Azure 帳戶。
你會被帶到 Foundry > GitHub ,並進入 Foundry 專案的首頁。
小提示
如果你進入 Foundry(經典版)體驗,請在右上角的導覽中切換新 Foundry 切換器,切換到新的 Foundry 體驗。
請依照 「部署模型 」中的步驟部署你選擇的模型,在 Playground 中測試,並用程式碼推斷已部署的模型。
透過在 Playground 發送測試提示來驗證部署是否有效。 如果你收到回應,表示你的模型已經準備好從程式碼中使用。
這很重要
與 GitHub Models 已經設定好所有模型不同,Foundry Tools 資源允許你控制端點中可用的模型及配置。 請先根據您計劃使用的模型數量新增模型,然後才在 model 參數中指出模型。 了解如何將更多模型新增至您的資源。
探索其他功能
Foundry Models 支援 GitHub 模型中沒有的功能:
- 模型目錄 — 瀏覽、比較並評估來自 Azure、合作夥伴及開源社群的模型。
- 無金鑰認證 — 使用 Microsoft Entra ID 進行基於憑證的認證,無需管理 API 金鑰。
- 內容過濾 — 為您的部署設定內容安全過濾器。
- 速率限制 — 在資源中為特定模型設定自訂速率限制。
- 部署類型 — 可從多種部署 SKU 中選擇,如按令牌付費、配置型及批次型。
常見問題疑難排解
| 問題 | 解決辦法 |
|---|---|
| 你所在地區沒有這個型號 | 請查看該車型 的車型目錄頁面 上的區域供應情況,並選擇支援的區域。 |
| 金鑰交換後的認證錯誤 | 確認你從 Foundry 入口網站複製的金鑰是正確的。 選擇 專案設定>鍵與端點 以查看您的鍵。 |
| 升級後速率限制錯誤 | Foundry 模型的速率限制取決於你的 部署類型。 擴大規模或選擇更高吞吐量的部署。 |