在本文中,你將學習如何從 GitHub Models 開始開發生成式 AI 應用程式,然後透過部署 Foundry Tools 資源搭配 Microsoft Foundry Models,提升你的體驗。
GitHub 模型 在你想免費尋找並試驗 AI 模型、開發生成式 AI 應用時非常有用。 當你準備好將應用程式帶到生產環境時,透過 Azure 訂閱部署 Foundry Tools 資源,並開始使用 Foundry Models,升級你的體驗。 你不需要在程式碼中更改其他部分。
GitHub 模型的遊樂場及免費 API 使用量受「每分鐘請求數」、「每日請求數」、「每次請求的令牌數」及「同時請求數」的速率限制。 如果你被限制費率,必須等達到的費率限制重置後才能再提出更多請求。
先決條件
你需要:
- 一個GitHub帳號,可以存取GitHub Models。
- 一個有有效付款方式的 Azure 訂閱。 如果你沒有Azure訂閱,請建立一個付費Azure帳號開始。 或者,你也可以等到準備好將模型部署到生產環境時,系統會提示你建立或更新你的 Azure 帳號為標準帳號。
-
Foundry 模型來自合作夥伴及社群 需要存取 Azure Marketplace。 確保你擁有 訂閱模型產品的權限。
Foundry Models(由 Azure 直接販售的模型)則沒有這個要求。
升級至鑄造廠型號
Playground 的速率限制和免費 API 使用,幫助你實驗模型並開發你的 AI 應用程式。 當你準備將應用程式帶到生產環境時,請使用付費 Azure 帳號的金鑰和端點。 你不需要在程式碼中更改其他部分。
註
GitHub 模型是免費的,但有速率限制。 升級到 Foundry Models 後,使用量會根據你選擇的
要取得金鑰和端點:
前往 GitHub Models 並選擇一個模型以進入其測試環境。 本文使用Mistral Medium 3(25.05)。
輸入一些提示或使用建議的提示,與遊樂場上的模型互動。
請在測試環境中選擇使用此模型。 這個動作會開啟一個視窗,讓它能「開始使用你的程式碼庫中的模型」。
在「設定認證」步驟中,從「Azure AI」區塊選擇 取得 Microsoft Foundry 金鑰。
如果你已經登入 Azure 帳號,可以跳過這個步驟。 不過,如果你沒有 Azure 帳號或尚未登入帳號,請依照以下步驟操作:
如果你沒有Azure帳號,請選擇建立我的帳號,並依照步驟建立。
或者,如果你有Azure帳號,請選擇Sign Back in。 如果你現有的帳號是免費帳號,你必須先升級到標準方案。
回到模型的遊樂場,再次選擇Get Microsoft Foundry key。
登入你的 Azure 帳號。
你會被帶到Foundry > GitHub,並進入 Foundry 專案的首頁。
提示
如果你進入 Foundry(經典版)體驗,請在右上角的導覽中切換新 Foundry 切換器,切換到新的 Foundry 體驗。
請依照 「部署模型 」中的步驟部署你選擇的模型,在 Playground 中測試,並用程式碼推斷已部署的模型。
透過在 Playground 發送測試提示來驗證部署是否有效。 如果你收到回應,表示你的模型已經準備好從程式碼中使用。
重要
與 GitHub 模型中所有模型都已設定好不同,Foundry 工具資源允許你控制端點中可用的模型及配置。 在參數 model 中標示之前,先新增你打算使用的模型。 學習如何為您的資源 新增更多模型 。
探索更多功能
Foundry Models 支援 GitHub 模型中沒有的功能:
- Model catalog — 瀏覽、比較並評估來自Azure、合作夥伴及開源社群的模型。
- 無金鑰認證 — 使用Microsoft Entra ID進行基於憑證的認證,無需管理 API 金鑰。
- 內容過濾 — 為您的部署設定內容安全過濾器。
- 速率限制 — 在資源中為特定模型設定自訂速率限制。
- 部署類型 — 可從多種部署 SKU 中選擇,如按令牌付費、配置型及批次型。
排除常見問題
| 問題 | 解決方法 |
|---|---|
| 你所在地區沒有這個型號 | 請查看該車型 的車型目錄頁面 上的區域供應情況,並選擇支援的區域。 |
| 金鑰交換後的認證錯誤 | 確認你從 Foundry 入口網站複製的金鑰是正確的。 選擇 Project settings>Keys and endpoints 以查看你的金鑰。 |
| 升級後速率限制錯誤 | Foundry 模型的速率限制取決於你的 部署類型。 擴大規模或選擇更高吞吐量的部署。 |