Sdílet prostřednictvím

Začněte s Foundry Local

Důležité

  • Foundry Local je k dispozici ve verzi Preview. Verze Public Preview poskytují dřívější access funkcím, které jsou v aktivním nasazení.
  • Funkce, přístupy a procesy se můžou před obecnou dostupností měnit nebo mít omezené možnosti.

V této příručce se dozvíte, jak nastavit Foundry Local pro spouštění modelů AI na vašem zařízení.

Předpoklady

Aby systém spustil Foundry Local, musí splňovat následující požadavky:

  • Operační systém: Windows 10 (x64), Windows 11 (x64/ARM), Windows Server 2025, macOS.
  • Hardware: Minimálně 8 GB paměti RAM a 3 GB volného místa na disku. Doporučuje se 16 GB paměti RAM a 15 GB volného místa na disku.
  • Síť: Připojení k internetu ke stažení modelů a poskytovatelů spouštění Po stažení modelu můžete spouštět modely uložené v mezipaměti offline.
  • Akcelerace (volitelné): NVIDIA GPU (řada 2000 nebo novější), AMD GPU (řada 6000 nebo novější), AMD NPU, Intel iGPU, Intel NPU (32 GB nebo více paměti), Qualcomm Snapdragon X Elite (8 GB nebo více paměti), Qualcomm NPU, nebo Apple silicon.

Instalace Foundry Local pomocí příkazů v tomto rychlém startu:

  • Ve Windows se ujistěte, že winget je k dispozici.
  • V systému macOS nainstalujte Homebrew, pokud používáte možnost brew.

Poznámka:

Nové jednotky NPU jsou podporovány pouze v systémech se systémem Windows 24H2 nebo novějším. Pokud používáte Intel NPU ve Windows, nainstalujte ovladač Intel NPU pro povolení akcelerace NPU v Foundry Local.

Ujistěte se, že máte práva správce k instalaci softwaru.

Návod

Pokud se po instalaci zobrazí chyba připojení služby (například Požadavek na místní službu selhal), spusťte příkaz foundry service restart.

Rychlý start

Začněte rychle pomocí Foundry Local.

Možnost 1: Rychlé nastavení rozhraní příkazového řádku

  1. Nainstalujte Foundry Local.

    • Windows: Otevřete terminál a spusťte následující příkaz. 
      winget install Microsoft.FoundryLocal
    • macOS: Otevřete terminál a spusťte následující příkaz. 
      brew tap microsoft/foundrylocal
brew install foundrylocal
      Případně můžete instalační program stáhnout z úložiště Foundry Local GitHub.

    Referenční informace: Foundry místní dokumentace

  2. Ověřte instalaci. Běh:

    foundry --version

    Mělo by se zobrazit číslo nainstalované verze.

    Referenční informace: Reference k místnímu rozhraní příkazového řádku Foundry

  3. Spusťte svůj první model. Otevřete terminál a spusťte tento příkaz:

    foundry model run qwen2.5-0.5b

    Foundry Local stáhne model, který může trvat několik minut v závislosti na rychlosti vašeho internetu a pak ho spustí. Po spuštění modelu s ním komunikujte pomocí rozhraní příkazového řádku (CLI). Můžete se například zeptat:

    Why is the sky blue?

    V terminálu se zobrazí odpověď z modelu: Snímek obrazovky s výstupem příkazu Foundry Local Run.

Referenční informace: Reference k místnímu rozhraní příkazového řádku Foundry

Možnost 2: Stažení počátečních projektů

Pro praktické praktické praktické učení si stáhněte jeden z úvodních projektů, které demonstrují reálné scénáře:

Každý project zahrnuje:

  • Podrobné pokyny k nastavení
  • Dokončení zdrojového kódu
  • Příklady konfigurace
  • Osvědčené postupy

Návod

Tyto počáteční projekty odpovídají scénářům v návodech a poskytují okamžitou praktickou hodnotu.

Návod

Nahraďte qwen2.5-0.5b libovolným názvem modelu z katalogu (spusťte foundry model list zobrazení dostupných modelů). Foundry Local stáhne variantu, která nejlépe odpovídá konfiguraci hardwaru a softwaru vašeho systému. Pokud máte například NVIDIA GPU, Foundry Local stáhne verzi CUDA. Pokud máte Qualcomm NPU, Foundry Local stáhne variantu NPU. Pokud nemáte gpu nebo NPU, Foundry Local stáhne verzi procesoru.

Když poprvé spustíte foundry model list , zobrazí se indikátor průběhu stahování, zatímco Foundry Local stáhne poskytovatele spouštění pro váš hardware.

Referenční informace: Reference k místnímu rozhraní příkazového řádku Foundry

Prozkoumání příkazů

Rozhraní příkazového řádku Foundry uspořádá příkazy do těchto hlavních kategorií:

  • Model: Příkazy pro správu a spouštění modelů
  • Služba: Příkazy pro správu místní služby Foundry.
  • Mezipaměť: Příkazy pro správu místní mezipaměti modelu (stažené modely na místním disku).

Pokud chcete zobrazit všechny příkazy, použijte:

foundry --help

foundry model --help

foundry --help

foundry service --help

Zobrazit příkazy mezipaměti :

foundry cache --help

Referenční informace: Reference k místnímu rozhraní příkazového řádku Foundry

Volitelné: Spuštění nejnovějšího modelu OSS 20B GPT

Spusťte gpt-oss-20b model:

foundry model run gpt-oss-20b

Důležité

Pokud model není pro vaše zařízení dostupný, spusťte menší model (například qwen2.5-0.5b).

Pro variantu CUDA obvykle potřebujete GPU NVIDIA s 16 GB VRAM nebo více.

Foundry Local verze 0.6.87 nebo novější přidává podporu pro tento model. Zkontrolujte verzi pomocí:

foundry --version

Referenční informace: Reference k místnímu rozhraní příkazového řádku Foundry

Návod

Podrobnosti o všech příkazech rozhraní příkazového řádku najdete v referenčních informacích k místnímu rozhraní příkazového řádku Foundry.

Upgrade systému Foundry na místní úrovni

Spuštěním příkazu pro váš operační systém upgradujte Foundry Local.

  • Windows: V terminálu spusťte: 
    winget upgrade --id Microsoft.FoundryLocal
  • macOS: V terminálu spusťte: 
    brew upgrade foundrylocal

Odinstalujte Foundry Local

Pokud chcete odinstalovat Foundry Local, spusťte příkaz pro váš operační systém:

  • Windows: Otevřete terminál a spusťte: 
    winget uninstall Microsoft.FoundryLocal
  • macOS: Otevřete terminál a spusťte: 
    brew rm foundrylocal
brew untap microsoft/foundrylocal
brew cleanup --scrub

Řešení problémů

Problémy s připojením ke službě

Pokud se při spuštění foundry model list nebo podobném příkazu zobrazí tato chyba:

foundry model list

Exception: Request to local service failed.
Uri: http://127.0.0.1:0/foundry/list

The requested address is not valid in its context. (127.0.0.1:0)

Please check service status with 'foundry service status'.

Spuštěním tohoto příkazu restartujte službu:

foundry service restart

Tento příkaz opravuje případy, kdy se služba spouští, ale není přístupná kvůli problému s vazbou portu.

Referenční informace: Osvědčené postupy a řešení potíží

Související obsah

  • Last updated on