Dela via

Kom igång med Foundry Local

Viktigt!

  • Foundry Local är tillgängligt i förhandsversionen. Offentliga förhandsversioner ger tidig åtkomst till funktioner som är i aktiv distribution.
  • Funktioner, metoder och processer kan ändra eller ha begränsade funktioner, före allmän tillgänglighet (GA).

Den här guiden visar hur du konfigurerar Foundry Local för att köra AI-modeller på din enhet.

Förutsättningar

Systemet måste uppfylla följande krav för att köra Foundry Local:

  • Operativsystem: Windows 10 (x64), Windows 11 (x64/ARM), Windows Server 2025, macOS.
  • Maskinvara: Minst 8 GB RAM-minne och 3 GB ledigt diskutrymme. Rekommenderat 16 GB RAM-minne och 15 GB ledigt diskutrymme.
  • Nätverk: Internetanslutning för att ladda ned modeller och exekveringsleverantörer. När du har laddat ned en modell kan du köra cachelagrade modeller offline.
  • Acceleration (valfritt): NVIDIA GPU (2000-serien eller senare), AMD GPU (6000-serien eller senare), AMD NPU, Intel iGPU, Intel NPU (32 GB eller mer minne), Qualcomm Snapdragon X Elite (8 GB eller mer minne), Qualcomm NPU eller Apple silicon.

Så här installerar du Foundry Local med hjälp av kommandona i den här snabbstarten:

  • På Windows, kontrollera att winget är tillgängligt.
  • Installera Homebrew på macOS om du använder alternativet brew .

Anmärkning

Nya NPU:er stöds endast på system som kör Windows 24H2 eller senare. Om du använder en Intel NPU i Windows installerar du Intel NPU-drivrutinen för att aktivera NPU-acceleration i Foundry Local.

Kontrollera att du har administratörsbehörighet för att installera programvara.

Tips/Råd

Om du ser ett tjänstanslutningsfel efter installationen (till exempel "Begäran till lokal tjänst misslyckades") kör du foundry service restart.

Snabbstart

Kom igång snabbt med Foundry Local:

Alternativ 1: Snabb CLI-konfiguration

  1. Installera Foundry Local.

    • Windows: Öppna en terminal och kör följande kommando. 
      winget install Microsoft.FoundryLocal
    • macOS: Öppna en terminal och kör följande kommando. 
      brew tap microsoft/foundrylocal
brew install foundrylocal
      Du kan också ladda ned installationsprogrammet från den lokala GitHub-lagringsplatsen foundry.

    Referens: Lokal foundry-dokumentation

  2. Kontrollera installationen. Run:

    foundry --version

    Du bör se det installerade versionsnumret.

    Referens: Lokal CLI-referens för Foundry

  3. Kör din första modell. Öppna en terminal och kör det här kommandot:

    foundry model run qwen2.5-0.5b

    Foundry Local laddar ned modellen, vilket kan ta några minuter beroende på internethastigheten, och kör den sedan. När modellen har startat interagerar du med den med hjälp av kommandoradsgränssnittet (CLI). Du kan till exempel fråga:

    Why is the sky blue?

    Du ser ett svar från modellen i terminalen: Skärmbild av utdata från kommandot Foundry Local run.

Referens: Lokal CLI-referens för Foundry

Alternativ 2: Ladda ned startprojekt

För praktisk, praktisk inlärning kan du ladda ned ett av startprojekten som visar verkliga scenarier:

Varje projekt innehåller:

  • Stegvisa konfigurationsinstruktioner
  • Fullständig källkod
  • Exempel på konfigurationer
  • Bästa praxis

Tips/Råd

Dessa startprojekt överensstämmer med scenarier i guiderna och ger ett omedelbart praktiskt värde.

Tips/Råd

Ersätt qwen2.5-0.5b med valfritt modellnamn från katalogen (kör foundry model list för att visa tillgängliga modeller). Foundry Local laddar ned den variant som bäst matchar systemets maskinvaru- och programvarukonfiguration. Om du till exempel har en NVIDIA GPU laddar Foundry Local ned CUDA-versionen. Om du har en Qualcomm NPU laddar Foundry Local ned NPU-varianten. Om du inte har någon GPU eller NPU laddar Foundry Local ned CPU-versionen.

När du kör foundry model list första gången visas en förloppsindikator för nedladdning medan Foundry Local laddar ned körningsprovidrar för din maskinvara.

Referens: Lokal CLI-referens för Foundry

Utforska kommandon

Foundry CLI organiserar kommandon i följande huvudkategorier:

  • Modell: Kommandon för att hantera och köra modeller.
  • Tjänst: Kommandon för att hantera den lokala foundry-tjänsten.
  • Cache: Kommandon för att hantera den lokala modellcachen (nedladdade modeller på lokal disk).

Om du vill visa alla kommandon använder du:

foundry --help

foundry model --help

foundry --help

foundry service --help

Visa cachekommandon :

foundry cache --help

Referens: Lokal CLI-referens för Foundry

Valfritt: Kör den senaste GPT OSS 20B-modellen

Kör gpt-oss-20b modellen:

foundry model run gpt-oss-20b

Viktigt!

Om modellen inte är tillgänglig för din enhet kör du en mindre modell (till exempel qwen2.5-0.5b).

För CUDA-varianten behöver du vanligtvis en NVIDIA GPU med 16 GB VRAM eller mer.

Foundry Lokal version 0.6.87 eller senare lägger till stöd för den här modellen. Kontrollera din version med:

foundry --version

Referens: Lokal CLI-referens för Foundry

Tips/Råd

Mer information om alla CLI-kommandon finns i Foundry Local CLI-referens.

Uppgradera Foundry Local

Kör kommandot för operativsystemet för att uppgradera Foundry Local.

  • Windows: Kör i en terminal: 
    winget upgrade --id Microsoft.FoundryLocal
  • macOS: Kör i en terminal: 
    brew upgrade foundrylocal

Avinstallera Foundry Local

Om du vill avinstallera Foundry Local kör du kommandot för operativsystemet:

  • Windows: Öppna en terminal och kör: 
    winget uninstall Microsoft.FoundryLocal
  • macOS: Öppna en terminal och kör: 
    brew rm foundrylocal
brew untap microsoft/foundrylocal
brew cleanup --scrub

Felsökning

Problem med tjänstanslutning

Om du ser det här felet när du kör foundry model list eller ett liknande kommando:

foundry model list

Exception: Request to local service failed.
Uri: http://127.0.0.1:0/foundry/list

The requested address is not valid in its context. (127.0.0.1:0)

Please check service status with 'foundry service status'.

Kör det här kommandot för att starta om tjänsten:

foundry service restart

Det här kommandot åtgärdar fall där tjänsten körs men inte är tillgänglig på grund av ett portbindningsproblem.

Referens: Metodtips och felsökning

Relaterat innehåll

  • Last updated on