Sdílet prostřednictvím

Osvědčené postupy a průvodce odstraňováním potíží pro Foundry Local

Důležité

  • Foundry Local je k dispozici ve verzi Preview. Verze Public Preview poskytují dřívější access funkcím, které jsou v aktivním nasazení.
  • Funkce, přístupy a procesy se můžou před obecnou dostupností měnit nebo mít omezené možnosti.

Tento článek obsahuje seznam osvědčených postupů a tipů pro řešení potíží pro Foundry Local.

Předpoklady

  • Nainstalujte Foundry Local.
  • Mějte přístup k internetu pro stažení modelů (doporučeno).
  • Pokud použijete dočasné řešení instalace pro rozsah počítače uvedené v tomto článku, spusťte PowerShell jako správce.

Ověřte rozhraní příkazového řádku

Zadejte následující příkaz, abyste potvrdili, že je Foundry Local CLI nainstalován a dostupný ve vašem PATH:

foundry --help

Tento příkaz zobrazí seznam dostupných příkazů a možností.

Referenční informace: Reference k místnímu rozhraní příkazového řádku Foundry

Osvědčené postupy zabezpečení

  • Spusťte Foundry Local jenom v prostředích, která vyhovují zásadám zabezpečení vaší organizace.
  • Při zpracování citlivých dat se ujistěte, že vaše zařízení splňuje požadavky vaší organizace na zabezpečení.
  • Zašifrujte disky na zařízeních, která ukládají modely obsahující citlivá jemně vyladěná data.

Důležité informace o licencování

Projděte si licenční důsledky pro modely, které spouštíte v Foundry Local. Pokud chcete zobrazit úplné licenční podmínky modelu pro každý model v katalogu, spusťte následující příkaz. V následujícím příkazu nahraďte zástupný text <model> názvem modelu:

foundry model info <model> --license

Referenční informace: Reference k místnímu rozhraní příkazového řádku Foundry

Osvědčené postupy z hlediska výkonu

Pokud dochází k pomalému odvozování, zvažte následující strategie:

  • Zastavte jakoukoli relaci odvozování nástroje "AI Toolkit for VS Code" před spuštěním Foundry Local.
  • Pokud je k dispozici, použijte akceleraci GPU.
  • Identifikace kritických bodů monitorováním využití paměti během odvození
  • Zkuste použít více kvantovaných variant modelu (například INT8 místo FP16).
  • Upravte dávkování pro neinteraktivní úlohy.

Rozsah nasazení v produkčním prostředí

Foundry Local je určeno pro inferenci na zařízení a nikoli pro distribuované, kontejnerizované nebo produkční nasazení na více počítačích.

Řešení problémů

Běžné problémy a řešení

Problém Možná příčina Řešení
Pomalé odvozování Model jen pro procesor s velkým počtem parametrů Pokud je k dispozici, použijte varianty modelu optimalizované pro GPU.
Selhání stahování modelů Problémy s připojením k síti Zkontrolujte připojení k internetu a spusťte foundry cache list ověření stavu mezipaměti.
Chyby připojení služby (Request to local service failed. Uri:http://127.0.0.1:0/foundry/list) Problémy s vazbou portů nebo služba není přístupná. Spusťte foundry service restart pro restartování služby a vyřešení problémů s vazbou portů.
Služba se nespustí. Konflikty portů nebo problémy s oprávněními Spusťte foundry service restart nebo nahlásit problém s protokoly pomocí foundry zip-logs.
Intel NPU nerozpoznal nebo nefunguje Chybí nebo je zastaralý ovladač Intel NPU. Nainstalujte ovladač Intel NPU pro Windows, aby se povolila akcelerace NPU.
Chyba NPU Qualcomm (Qnn error code 5005: "Failed to load from EpContext model. qnn_backend_manager.") Zastaralý ovladač NPU nebo konflikty prostředků NPU. Nainstalujte ovladač Qualcomm NPU. Pokud problém přetrvává, restartujte počítač, aby se vymazaly konflikty prostředků NPU, zejména po použití funkcí Windows Copilot+.
winget install Microsoft.FoundryLocal --scope machine selže s informacemi o tom, že aktuální konfigurace systému nepodporuje instalaci tohoto balíčku. Winget blokuje instalace MSIX na úrovni celého počítače. Použijte alternativní řešení v problémech s instalací.

Problémy s instalací

Pokud winget install Microsoft.FoundryLocal --scope machine selže s chybou Aktuální konfigurace systému nepodporuje instalaci tohoto balíčku, použijte Add-AppxProvisionedPackage místo toho.

  1. Stáhněte .msix a jeho závislostní balíček.
  2. Spusťte PowerShell jako správce.
  3. Spuštěním následujícího příkazu nainstalujte Foundry Local pro všechny uživatele:
Add-AppxProvisionedPackage -Online -PackagePath .\FoundryLocal.msix `
  -DependencyPackagePath .\VcLibs.appx -SkipLicense
  • Last updated on