Sdílet prostřednictvím

Začínáme s Foundry Local

Important

  • Foundry Local je k dispozici ve verzi Preview. Verze Public Preview poskytují dřívější přístup k funkcím, které jsou v aktivním nasazení.
  • Funkce, přístupy a procesy se můžou před obecnou dostupností měnit nebo mít omezené možnosti.

Tato příručka vás provede nastavením Foundry Local pro spouštění modelů AI na vašem zařízení.

Prerequisites

Aby systém spustil Foundry Local, musí splňovat následující požadavky:

  • Operační systém: Windows 10 (x64), Windows 11 (x64/ARM), Windows Server 2025, macOS.
  • Hardware: Minimálně 8 GB paměti RAM a 3 GB volného místa na disku. Doporučuje se 16 GB paměti RAM a 15 GB volného místa na disku.
  • Síť: Připojení k internetu ke stažení počátečního modelu (volitelné pro offline použití)
  • Akcelerace (volitelné): NVIDIA GPU (2 000 řad nebo novější), AMD GPU (6 000 řad nebo novější), AMD NPU, Intel iGPU, Intel NPU (32 GB nebo více paměti), Qualcomm Snapdragon X Elite (8 GB nebo více paměti), Qualcomm NPU nebo Apple silicon.

Poznámka:

Nové jednotky NPU jsou podporovány pouze v systémech se systémem Windows 24H2 nebo novějším. Pokud používáte Intel NPU ve Windows, nainstalujte ovladač Intel NPU pro povolení akcelerace NPU v Foundry Local.

Ujistěte se, že máte práva správce k instalaci softwaru.

Tip

Pokud se po instalaci zobrazí chyba připojení služby (například Požadavek na místní službu selhal), spusťte příkaz foundry service restart.

Rychlý start

Začněte rychle s Foundry Local:

Možnost 1: Rychlé nastavení rozhraní příkazového řádku

  1. Nainstalujte Foundry Local.

    • Windows: Otevřete terminál a spusťte následující příkaz: 
      winget install Microsoft.FoundryLocal
    • macOS: Otevřete terminál a spusťte následující příkaz: 
      brew tap microsoft/foundrylocal
brew install foundrylocal
      Případně si můžete stáhnout instalační program z místního úložiště Foundry na GitHubu.

  2. Spusťte svůj první model. Otevřete terminál a spusťte tento příkaz:

    foundry model run qwen2.5-0.5b

    Foundry Local stáhne model, který může trvat několik minut v závislosti na rychlosti vašeho internetu a pak ho spustí. Po spuštění modelu s ním komunikujte pomocí rozhraní příkazového řádku (CLI). Můžete se například zeptat:

    Why is the sky blue?

    V terminálu se zobrazí odpověď z modelu: Snímek obrazovky s výstupem příkazu Foundry Local Run.

Možnost 2: Stažení počátečních projektů

Pokud chcete praktické praktické praktické učení, stáhněte si jeden z našich úvodních projektů, které demonstrují reálné scénáře:

Každý projekt zahrnuje:

  • Podrobné pokyny k nastavení
  • Dokončení zdrojového kódu
  • Příklady konfigurace
  • Osvědčené postupy

Tip

Tyto počáteční projekty odpovídají scénářům v návodech a poskytují okamžitou praktickou hodnotu.

Tip

Nahraďte qwen2.5-0.5b libovolným názvem modelu z katalogu (spusťte foundry model list zobrazení dostupných modelů). Foundry Local stáhne variantu, která nejlépe odpovídá konfiguraci hardwaru a softwaru vašeho systému. Pokud máte například NVIDIA GPU, Foundry Local stáhne verzi CUDA. Pokud máte Qualcomm NPU, Foundry Local stáhne variantu NPU. Pokud nemáte gpu nebo NPU, Foundry Local stáhne verzi procesoru.

Když poprvé spustíte foundry model list , zobrazí se indikátor průběhu stahování, zatímco Foundry Local stáhne poskytovatele spouštění pro váš hardware.

Spuštění nejnovějšího opensourcového modelu OpenAI

Spusťte nejnovější opensourcový model OpenAI s GPT-OSS-20Btímto příkazem:

foundry model run gpt-oss-20b

Important

Požadavky na spuštění GPT-OSS-20B:

  • NVIDIA GPU s 16 GB VRAM nebo více.
  • Foundry Local verze 0.6.87 nebo novější. Dřívější verze model nepodporují. Zkontrolujte verzi pomocí:
foundry --version

Prozkoumání příkazů

Rozhraní příkazového řádku Foundry uspořádá příkazy do těchto hlavních kategorií:

  • Model: Příkazy pro správu a spouštění modelů
  • Služba: Příkazy pro správu místní služby Foundry.
  • Mezipaměť: Příkazy pro správu místní mezipaměti modelu (stažené modely na místním disku).

Zobrazit všechny příkazy:

foundry --help

Zobrazit příkazy modelu :

foundry model --help

Zobrazit příkazy služby :

foundry service --help

Zobrazit příkazy mezipaměti :

foundry cache --help

Tip

Podrobnosti o všech příkazech rozhraní příkazového řádku najdete v referenčních informacích k místnímu rozhraní příkazového řádku Foundry.

Upgrade systému Foundry na místní úrovni

Spuštěním příkazu pro váš operační systém upgradujte Foundry Local.

  • Windows: V terminálu spusťte: 
    winget upgrade --id Microsoft.FoundryLocal
  • macOS: V terminálu spusťte: 
    brew upgrade foundrylocal

Odinstalujte Foundry Local

Pokud chcete odinstalovat Foundry Local, spusťte příkaz pro váš operační systém:

  • Windows: Otevřete terminál a spusťte: 
    winget uninstall Microsoft.FoundryLocal
  • macOS: Otevřete terminál a spusťte: 
    brew rm foundrylocal
brew untap microsoft/foundrylocal
brew cleanup --scrub

Řešení problémů

Problémy s připojením ke službě

Pokud se při spuštění foundry model list nebo podobném příkazu zobrazí tato chyba:

>foundry model list

🟢 Service is Started on http://127.0.0.1:0/, PID 11192!

Exception: Request to local service failed. Uri:http://127.0.0.1:0/foundry/list

The requested address is not valid in its context. (127.0.0.1:0)

Please check service status with 'foundry service status'.

Spuštěním tohoto příkazu restartujte službu:

foundry service restart

Tento příkaz opravuje případy, kdy se služba spouští, ale není přístupná kvůli problému s vazbou portu.

Související obsah

  • Last updated on