這很重要
- Foundry Local 提供預覽版。 公開預覽版本可讓您搶先試用正在開發期間的功能。
- 正式發行前的功能、方法和程序可能會變更或有功能上的限制。
本文列出 Foundry Local 的最佳做法與疑難排解秘訣。
先決條件
- 安裝 Foundry Local。
- 建議確保有網際網路連線以下載模型。
- 如果你使用本文中的機器範圍安裝替代方案，請以管理員身份執行 PowerShell。
驗證 CLI
執行以下指令以確認 Foundry 本地 CLI 已安裝並可於你的 PATH 中使用：
foundry --help
此指令列出可用的指令與選項。
參考資料： Foundry 本地 CLI 參考
安全性最佳做法
- 僅在符合貴組織安全原則的環境中執行 Foundry Local。
- 處理敏感資料時，請確保你的裝置符合貴組織的安全性需求。
- 在快取包含敏感微調資料模型的裝置上加密磁碟。
授權考量
檢閱你在 Foundry Local 中執行之模型的授權影響。 若要查看目錄中每個型號的完整授權條款，請執行以下指令。 在下列命令中，請以模型名稱取代預留位置 <model>：
foundry model info <model> --license
參考資料： Foundry 本地 CLI 參考
效能最佳做法
如果你遇到推論緩慢，請考慮下列策略：
- 在執行 Foundry Local 之前，請停止任何在 VS Code 中進行推論的 AI 工具包。
- 有GPU加速功能時就用。
- 在推論期間監視記憶體使用量以識別瓶頸。
- 嘗試更多量化模型變體（例如 INT8 取代 FP16）。
- 為非互動式工作負載調整批次大小。
生產環境部署範圍
Foundry Local 用於裝置端推論，不適用於分散式、容器化或多機器的生產環境部署。
故障排除
常見問題和解決方案
| 問題 | 可能原因 | 解決方法 |
|---|---|---|
| 推論緩慢 | 僅 CPU 的模型，參數數量龐大。 | 如果有可用的 GPU 優化型號，請使用。 |
| 模型下載失敗 | 網路連線問題。 | 請檢查你的網際網路連線，並執行 foundry cache list 以確認快取狀態。 |
服務連線錯誤 (Request to local service failed. Uri:http://127.0.0.1:0/foundry/list) |
連接埠繫結問題，或服務無法存取。 | 請執行 foundry service restart 以重新啟動服務並解決連接埠繫結問題。 |
| 服務無法啟動。 | 連接埠衝突或權限問題。 | 請執行 foundry service restart，或使用 附上記錄來foundry zip-logs。 |
| 未偵測到 Intel NPU 或無法運作 | Intel NPU 驅動程式缺失或過時。 | 請安裝 Windows 的 Intel NPU 驅動程式以啟用 NPU 加速。 |
Qualcomm NPU 錯誤 (Qnn error code 5005: "Failed to load from EpContext model. qnn_backend_manager.") |
Qualcomm NPU 驅動程式過時或 NPU 資源衝突。 | 請安裝 Qualcomm NPU 驅動程式。 如果問題仍然存在，請重新啟動以清除 NPU 資源衝突，尤其是在使用 Windows Copilot+ 功能之後。 |
winget install Microsoft.FoundryLocal --scope machine 失敗，並顯示「目前的系統組態不支援安裝此套件。」 |
Winget 會阻擋 MSIX 的全機器安裝。 | 使用 安裝問題中的變通方法。 |
安裝問題
如果 winget install Microsoft.FoundryLocal --scope machine 失敗且顯示「目前系統配置不支援安裝此套件。」，則改用 Add-AppxProvisionedPackage 。
- 下載該
.msix套件及其相依套件。 - 以系統管理員身分執行 PowerShell。
- 執行以下指令，為所有使用者安裝 Foundry Local：
Add-AppxProvisionedPackage -Online -PackagePath .\FoundryLocal.msix `
-DependencyPackagePath .\VcLibs.appx -SkipLicense