Windows ML 可使用 ONNX 格式模型,因為 Windows ML 僅是一種發行機制,提供 ONNX 執行時及硬體特定的執行提供者。 這表示你可以使用來自各種來源的數百萬個現有預訓練模型,或是自行訓練模型。 本指南介紹了在哪裡找到、轉換或訓練 ONNX 模型。
| 選項 | 詳細資訊 |
|---|---|
| 1. 使用 AI 工具包中的模型 | 可從超過 20+ 個 OSS 模型(包括大型語言模型及其他類型模型)中選擇,這些模型已準備好以 AI Toolkit 的轉換工具優化用於 Windows 機器學習 |
| 2. 使用其他現有的 ONNX 模型 | 瀏覽超過 30,000 個來自 Hugging Face 或其他來源的預訓練 ONNX 模型 |
| 3. 將現有模型轉換為 ONNX 格式 | 瀏覽 2,400,000+ 個 來自 Hugging Face 或其他來源的預訓練模型,例如 PyTorch/TensorFlow,並將其轉換為 ONNX |
| 4. 微調現有模型 | 微調超過 2,400,000+ 個 來自 Hugging Face 或其他來源的預訓練 PyTorch/TensorFlow 等模型 ,使其更適合你的情境(並轉換成 ONNX 格式)。 |
| 5. 火車模型 | 用 PyTorch、TensorFlow 或其他框架訓練自己的模型,然後轉換成 ONNX |
你也可以在 Windows 上的 Microsoft Foundry 中選擇數十個現成型 AI 模型與 API,這些模型可透過 Windows ML 執行。 欲了解更多,請參閱「 在 Windows 上使用 Microsoft Foundry 使用本地 AI 」。
選項一:使用 AI Toolkit 中的模型
透過 AI Toolkit 的轉換工具,有數十種大型語言模型及其他類型的模型,已準備好進行優化並用於 Windows ML。 透過 AI Toolkit 取得模型,您將獲得一個經過轉換後的 ONNX 模型,並針對 Windows ML 運行的各種硬體進行優化。
欲瀏覽可用模型,請參閱 AI 工具包的模型清單。
選項二:使用其他現有的 ONNX 模型
Hugging Face 提供數千個 ONNX 模型,你可以搭配 Windows ML 使用。 你可以透過以下方式找到 ONNX 模型:
- 瀏覽 Hugging Face 模型中心
- 在函式庫過濾器中依「ONNX」進行篩選
你需要找到一個與你所使用的 Windows ML 版本中包含的 ONNX 執行時版本相容的機型。 請參閱 Windows ML 中出廠的 ONNX 執行時版本 ,了解你在 Windows ML 中使用的 ONNX 執行時版本。
選項三:將現有模型轉換為 ONNX 格式
來自 PyTorch、TensorFlow 或其他框架的模型可以轉換成 ONNX 格式,並搭配 Windows ML 使用。
Hugging Face 擁有數百萬個模型,你可以轉換並搭配 Windows ML 使用。
你需要將模型轉換成能搭配你使用的 Windows ML 版本中包含的 ONNX 執行時版本。 請參閱 Windows ML 中出廠的 ONNX 執行時版本 ,了解你在 Windows ML 中使用的 ONNX 執行時版本。
要將模型轉換為 ONNX 格式,請參考框架專用文件,例如:
選項四:微調現有模型
許多 Hugging Face 或其他來源的模型都可以依照 Hugging Face 模型卡上的指示進行微調。 接著你可以依照上述選項3的指示,將微調好的模型轉換成ONNX。
一種流行的微調方法是使用 olive 微調命令。 請參閱 Olive 文件 以了解更多關於使用 Olive 的資訊。
選項五:火車模型
如果你需要一個模型來執行特定任務,但找不到現有模型,你可以用 PyTorch、TensorFlow 或其他框架訓練自己的模型。
訓練好模型後,依照上方選項 3 的指示將模型轉換成 ONNX 格式。
後續步驟
有了 ONNX 模型後,你可以在目標裝置上用 Windows ML 執行。
- 初始化執行提供者 - 在 Windows ML 中下載並註冊執行提供者
- 執行 ONNX 模型 - 學習如何用 Windows ML 進行推論
其他解決方案
作為 Windows Microsoft Foundry 的一部分,你也可以從數十個現成型 AI 模型與 API 中選擇,這些模型透過 Windows ML 執行。 欲了解更多,請參閱「 在 Windows 上使用 Microsoft Foundry 使用本地 AI 」。