Referens för lokal CLI i Foundry

Important

  • Foundry Local CLI är tillgängligt som förhandsversion. Offentliga förhandsversioner ger tidiga access till funktioner som är i aktiv distribution.
  • Funktioner, metoder och processer kan ändra eller ha begränsade funktioner, före allmän tillgänglighet (GA).

Den här artikeln innehåller en omfattande referens för kommandoradsgränssnittet foundry Local (CLI). CLI organiserar kommandon i logiska kategorier som hjälper dig att hantera modeller, styra den lokala servern och underhålla din lokala cache.

Förutsättningar

  • Installera Foundry Local.
  • En lokal terminal där foundry CLI är tillgängligt.
  • Se till att du har internetåtkomst vid första nedladdningarna (exekveringsleverantörer och modeller).
  • Azure RBAC: Inte tillämpligt (körs lokalt).
  • Om du har en Intel NPU på Windows installerar du Intel NPU-drivrutinen för optimal NPU-acceleration.

Installera Foundry Local

Installera Foundry Local med hjälp av pakethanteraren för operativsystemet.

  • Windows: Öppna en terminal och kör:
    winget install Microsoft.FoundryLocal
  • macOS: Öppna en terminal och kör: 
    brew tap microsoft/foundrylocal
brew install foundrylocal
    Du kan också ladda ned installationsprogrammet från foundry-samples-GitHub-lagringsplatsen.

Kontrollera installationen:

foundry --version

Kontrollera att du har administratörsbehörighet för att installera programvara.

Tip

Om du ser ett tjänstanslutningsfel efter installationen (till exempel Request to local service failed), kör foundry server restartdu .

Snabbverifiering

Kör dessa kommandon för att bekräfta att CLI är installerat och att tjänsten kan nås.

  1. Visa CLI-hjälp:

     foundry --help

    Det här kommandot skriver ut användningsinformation och listan över tillgängliga kommandogrupper.

    Referens: Översikt

  2. Kontrollera serverstatusen:

foundry server status '''

Det här kommandot skriver ut om Foundry Local-daemonen körs och innehåller dess lokala slutpunkt.

Referens: Serverkommandon

Översikt

Använd den inbyggda hjälpen för att utforska kommandon och alternativ.

CLI organiserar kommandon i följande grupper:

  • Modell: model, cache
  • Kör: run, chat, complete, transcribe
  • Server: server
  • Installation:config
  • Hjälp: status, report

I följande tabell sammanfattas de högsta kommandona:

Kommando Description
foundry model Identifierar, inspekterar, laddar ned, läser in och tar bort lokala modeller.
foundry chat <model> Startar en interaktiv lokal chattsession.
foundry complete <model> <prompt> Genererar en tillståndslös text.
foundry run <model> Kör en modell med automatisk routning till chatt eller transkription.
foundry server Startar, stoppar, startar om, inspekterar och felsöker den lokala Foundry-daemonen.
foundry cache Inspekterar och hanterar nedladdade modellcacheposter.
foundry config Visar och redigerar beständiga Foundry CLI-inställningar.
foundry status Visar system-, tjänst-, modell- och anslutningsdiagnostik.
foundry report Öppnar ett förfyllt GitHub problem med diagnostik.
foundry transcribe Startar en interaktiv lokal talavskriftssession eller transkriberar en fil.

Modellkommandon

I följande tabell sammanfattas kommandona som rör hantering och körning av modeller:

Note

Argumentet kan anges efter model dess alias eller modell-ID. Använda ett alias:

  • Väljer den bästa modellen för den tillgängliga maskinvaran automatiskt. Om du till exempel har en Nvidia GPU tillgänglig väljer Foundry Local den bästa GPU-modellen. Om du har en NPU som stöds väljer Foundry Local NPU-modellen.
  • Gör att du kan använda ett kortare namn utan att behöva komma ihåg modell-ID:t.

Om du vill köra en specifik modell använder du modell-ID:t. Om du till exempel vill köra processorn qwen2.5-0.5b , oavsett vilken maskinvara du har, använder du foundry run qwen2.5-0.5b-instruct-generic-cpu.

Kommando Description
foundry model --help Visar alla tillgängliga modellrelaterade kommandon och deras användning.
foundry model list Visar en lista över alla tillgängliga modeller för lokal användning. Vid första körningen laddar den ned executionsproviders (EPs) för din maskinvara.
foundry model info <model> Visar detaljerad information om en specifik modell.
foundry model download <model> Laddar ned en modell till den lokala cachen utan att köra den.
foundry model load <model> Läser in en modell i tjänsten.
foundry model unload <model> Tar bort en modell från tjänsten.

Ordning av modellista

När flera modell-ID-varianter är tillgängliga för ett alias visar modelllistan modellerna i prioritetsordning. Den första modellen i listan är den modell som körs när du anger modellen med alias.

Filtrering av modelllista

Använd de explicita alternativen för foundry model list att begränsa eller expandera resultatet.

Note

När du kör foundry model list för första gången efter installationen laddar Foundry Local automatiskt ned relevanta exekveringsleverantörer (EPs) för datorns hårdvarukonfiguration. Du ser en förloppsindikator som anger att nedladdningen har slutförts innan modelllistan visas.

Alternativ Description
--device <device> Filtrerar modeller efter enhet.
--type <type> Filtrerar modeller efter typ.
--search <query> Filtrerar modeller efter en sökfråga.
--cached Filtrerar listan till cachelagrade modeller.
--loaded Filtrerar listan till inlästa modeller.
--variants Innehåller modellvarianter i listan.

Examples

foundry model list --device gpu
foundry model list --type chat
foundry model list --search qwen
foundry model list --cached
foundry model list --loaded
foundry model list --variants

De här exemplen filtrerar eller expanderar modelllistan med hjälp av de alternativ som stöds.

Referens: Filtrering för modellista

Köra en modell interaktivt

Kör en modell och interagera med den direkt i terminalen:

foundry chat qwen2.5-0.5b

Foundry Local laddar ned modellen vid första körningen och startar sedan en interaktiv session. Ange en uppmaning om att få ett svar:

Why is the sky blue?

Tip

Ersätt qwen2.5-0.5b med alla modellalias från katalogen. Kör foundry model list för att visa tillgängliga modeller. Foundry Local hämtar den variant som bäst matchar din maskinvara – till exempel en CUDA-variant för NVIDIA GPU:er eller en NPU-variant för Qualcomm NPU:er.

Serverkommandon

I följande tabell sammanfattas kommandona som rör hantering och körning av den lokala foundry-tjänsten:

Kommando Description
foundry server --help Visar alla tillgängliga serverrelaterade kommandon och deras användning.
foundry server start Startar foundry Local-daemon och OpenAI-kompatibel lokal tjänst.
foundry server start --port <port> Startar den lokala tjänsten på den angivna TCP-porten. Används 0 för en os-tilldelad port.
foundry server start --idle-timeout <minutes> Stoppar daemonen efter det angivna antalet inaktiva minuter. Använd 0 för att hålla daemonen igång.
foundry server stop Stoppar Foundry Local-daemonen.
foundry server restart Startar om foundry Local-daemonen och den lokala tjänsten.
foundry server restart --port <port> --idle-timeout 0 Startar om den lokala tjänsten på den angivna TCP-porten och håller daemonen igång.
foundry server status Visar daemontillstånd, lokala tjänst-URL:er, process-ID, drifttid och loggplats.
foundry server logs Visar loggarna Foundry Local daemon och SDK.

Lokal server med fast port

Om du vill starta den lokala tjänsten på en fast port och hålla daemon igång använder du --port med --idle-timeout 0:

foundry server start --port 39839 --idle-timeout 0

Om daemonen redan körs och du behöver tillämpa en ny port startar du om den med samma alternativ:

foundry server restart --port 39839 --idle-timeout 0

Kontrollera url:en för den lokala slutpunkten genom att köra:

foundry server status

Cachekommandon

I följande tabell sammanfattas kommandona för att hantera den lokala cachen där modeller lagras:

Kommando Description
foundry cache --help Visar alla tillgängliga cacherelaterade kommandon och deras användning.
foundry cache location Visar den aktuella cachekatalogen.
foundry cache list Visar en lista över alla modeller som lagras i den lokala cachen.
foundry cache cd <path> Ändrar cachekatalogen till den angivna sökvägen.
foundry cache remove <model> Tar bort en modell från den lokala cachen.

Exekveringsleverantörer

Körningstjänster är maskinvaruspecifika accelerationsbibliotek som kör modeller så effektivt som möjligt på din enhet.

Inbyggda exekveringsleverantörer

Foundry Local innehåller processorkörningsprovidern, WebGPU-körningsprovidern och CUDA-körningsprovidern.

Processorkörningsprovidern använder Microsoft Linear Algebra Subroutines (MLAS) för att köra på valfri CPU och är CPU-återställning för Foundry Local.

WebGPU-körningsprovidern använder Dawn, den interna implementeringen av det webbaserade API:et, för acceleration på alla GPU:er och är GPU-återställning för Foundry Local.

CUDA-körningsprovidern använder NVIDIA CUDA för acceleration på NVIDIA GPU:er. Det kräver en NVIDIA GeForce RTX 30-serie och senare med en lägsta rekommenderad drivrutinsversion 32.0.15.5585 och CUDA version 12.5. Det omfattas av följande licensvillkor: Licensavtal för NVIDIA Software Development Kits – EULA.

Utförandetjänst för plugin-program

Körningsprovidrar som anges i följande tabell är tillgängliga för dynamisk nedladdning och registrering på Windows, beroende på enhets- och drivrutinskompatibilitet. De omfattas av de licensvillkor som anges.

Foundry Local laddar automatiskt ned dessa exekveringsleverantörer vid första körningen. Leverantörerna för pluginutförande uppdateras automatiskt när nya versioner är tillgängliga.

Namn (leverantör) Requirements Licensvillkor
NvTensorRTRTXExecutionProvider (NVIDIA) NVIDIA GeForce RTX 30XX och senare versioner med lägsta rekommenderade drivrutinsversion 32.0.15.5585 och CUDA version 12.5 Licensavtal för NVIDIA Software Development Kits – EULA
OpenVINOExecutionProvider (Intel) CPU: Intel TigerLake (11:e generationen) och senare versioner med min rekommenderad drivrutin 32.0.100.9565
GPU: Intel AlderLake (12:e generationen) och senare versioner med min rekommenderad drivrutin 32.0.101.1029
NPU: Intel ArrowLake (15:e generationen) och senare versioner med min rekommenderad drivrutin 32.0.100.4239		 Licensavtal för kommersiell användning med Intel OBL-distribution v2025.02.12
QNNExecutionProvider (Qualcomm) Snapdragon(R) X Elite – X1Exxxxx – Qualcomm(R) Hexagon(TM) NPU med lägsta drivrutinsversion 30.0.140.0 och senare versioner
Snapdragon(R) X Plus – X1Pxxxxx – Qualcomm(R) Hexagon(TM) NPU med lägsta drivrutinsversion 30.0.140.0 och senare versioner		 Om du vill visa QNN-licensen laddar du ned Qualcomm® Neural Processing SDK, extraherar ZIP och öppnar filen LICENSE.pdf.
VitisAIExecutionProvider (AMD) Min: Adrenalin Edition 25.6.3 med NPU-drivrutin 32.00.0203.280
Max: Adrenalin Edition 25.9.1 med drivrutin för NPU 32.00.0203.297		 Ingen ytterligare licens krävs

Använda Open WebUI med den lokala servern

Anslut Open WebUI till Foundry Local för ett webbläsarbaserat chattgränssnitt som körs helt på enheten.

  1. Starta en modell och lämna terminalen öppen:

foundry run qwen2.5-0.5b


1. Get your local endpoint URL:

```bash
foundry server status

Kopiera slutpunkts-URL:en. Foundry Local tilldelar en dynamisk port varje gång tjänsten startas.

  1. Installera och starta Open WebUI och öppna http://localhost:8080 sedan i webbläsaren.

  2. Anslut Open WebUI till Foundry Local:

    1. Gå till Inställningar>Administratörsinställningar>Anslutningar och aktivera direktanslutningar.
    2. Gå till Inställningar>Anslutningar>Hantera direktanslutningar och välj +.
    3. Ange URL tillhttp://localhost:PORT/v1 (ersätt PORT med porten från steg 2) och Auth till Ingen.
    4. Välj Spara.

  3. Välj en modell i listrutan och börja chatta.

Tip

Om inga modeller visas kör du foundry run <model> i en terminal och läser in Open WebUI igen. Om anslutningen misslyckas bekräftar du porten med foundry server status.

Uppgradera Foundry Local

Kör kommandot för operativsystemet för att uppgradera Foundry Local.

  • Windows: 
    winget upgrade --id Microsoft.FoundryLocal
  • macOS: 
    brew upgrade foundrylocal

Avinstallera Foundry Local

Kör kommandot för operativsystemet för att avinstallera Foundry Local.

  • Windows: 
    winget uninstall Microsoft.FoundryLocal
  • macOS: 
    brew rm foundrylocal
brew untap microsoft/foundrylocal
brew cleanup --scrub

Felsökning

Problem med tjänstanslutning

Om du ser det här felet när du kör ett kommando som foundry model list:

Exception: Request to local service failed.
Uri: http://127.0.0.1:0/foundry/list

The requested address is not valid in its context. (127.0.0.1:0)

Please check service status with 'foundry server status'.

Starta om tjänsten:

foundry server restart

Det här kommandot åtgärdar fall där servern körs men inte är tillgänglig på grund av ett portbindningsproblem.

Mer felsökningsvägledning finns i Metodtips och felsökning.

  • Last updated on