Foundry Local CLI-referencia

Important

  • Az Foundry helyi parancssori felület előzetes verzióban érhető el. A nyilvános előzetes verziójú kiadások korai hozzáférést biztosítanak a funkciókhoz, amelyeket aktívan üzembe helyeznek.
  • A funkciók, a megközelítések és a folyamatok az általános rendelkezésre állás (GA) előtt változhatnak vagy korlátozott képességekkel rendelkezhetnek.

Ez a cikk átfogó referenciát nyújt az Foundry Local parancssori felületéhez (CLI). A parancssori felület logikai kategóriákba rendezi a parancsokat a modellek kezeléséhez, a helyi kiszolgáló vezérléséhez és a helyi gyorsítótár karbantartásához.

Prerequisites

  • Telepítse a Foundry Local.
  • Egy helyi terminál, ahol elérhető a parancssori foundry felület.
  • Győződjön meg arról, hogy van internet-hozzáférése az első letöltéshez (végrehajtási szolgáltatókhoz és modellekhez).
  • Azure RBAC: Nem alkalmazható (helyileg fut).
  • Ha Intel NPU van a Windows, telepítse a Intel NPU-illesztőt az optimális NPU-gyorsításhoz.

Az Foundry local telepítése

Telepítse az Foundry Localt az operációs rendszer csomagkezelőjével vagy telepítőjével.

  • Windows: Nyisson meg egy terminált, és futtassa a következőt:

    winget install Microsoft.FoundryLocal

  • macOS Apple Silicon: Nyisson meg egy terminált, és futtassa:

    brew tap microsoft/foundrylocal
brew install foundrylocal

    Másik lehetőségként töltse le az aktuális macOS-t .pkg vagy .zip a Foundry local CLI kiadási eszközeit. Ha letölti a fájlt, nyissa meg a .pkgmacOS Installerrel.

Ellenőrizze a telepítést:

foundry --version

Győződjön meg arról, hogy rendszergazdai jogosultságokkal rendelkezik a szoftverek telepítéséhez.

Tip

Ha a telepítés után kiszolgálókapcsolati hiba jelenik meg (például Request to local service failed), futtassa a parancsot foundry server restart.

Gyors ellenőrzés

Futtassa ezeket a parancsokat annak ellenőrzéséhez, hogy a parancssori felület telepítve van-e, és a helyi kiszolgáló elérhető-e.

  1. Parancssori felület súgójának megjelenítése:

    foundry --help

    Ez a parancs kinyomtatja a használati adatokat és az elérhető parancscsoportok listáját.

    Referencia: Áttekintés

  2. Ellenőrizze a kiszolgáló állapotát:

    foundry server status

    Ez a parancs azt jelzi, hogy az Foundry Local démon fut-e, és tartalmazza-e a helyi végpontot.

    Hivatkozás: Kiszolgálói parancsok

Áttekintés

A beépített súgó segítségével megismerheti a parancsokat és a beállításokat.

A parancssori felület a következő csoportokba rendezi a parancsokat:

  • Modell: model, cache
  • Futtatás: run, chat, completetranscribe
  • Kiszolgáló: server
  • Beállítás: config
  • Súgó: status, report

Az alábbi táblázat a legfelső szintű parancsokat foglalja össze:

Parancs Leírás
foundry model Felderíti, ellenőrzi, letölti, betölti és kiüríti a helyi modelleket.
foundry chat <model> Interaktív helyi csevegést indít el.
foundry complete <model> <prompt> Egy állapot nélküli szövegkiegészítést hoz létre.
foundry run <model> Egy modellt futtat automatikus útválasztással a csevegéshez vagy az átíráshoz.
foundry server Elindítja, leállítja, újraindítja, figyelembe veszi és elhárítja a helyi Foundry démont.
foundry cache Ellenőrzi és kezeli a letöltött modellgyorsítótár-bejegyzéseket.
foundry config Az állandó Foundry PARANCSSOR-beállítások megtekintése és szerkesztése.
foundry status Megjeleníti a rendszer-, kiszolgáló-, modell- és kapcsolatdiagnosztikai adatokat.
foundry report Előre kitöltött GitHub diagnosztikával kapcsolatos probléma megnyitása.
foundry transcribe Elindít egy interaktív helyi beszédátírási munkamenetet, vagy átír egy fájlt.

Modellparancsok

Az alábbi táblázat a modellek kezelésével és futtatásával kapcsolatos parancsokat foglalja össze:

Note

Az argumentumot az model vagy a modellazonosítója alapján adhatja meg. Alias használata:

  • Automatikusan kiválasztja az elérhető hardver legjobb modelljét. Ha például nvidia GPU-val rendelkezik, a Foundry Local a legjobb GPU-modellt választja ki. Ha támogatott NPU érhető el, a Foundry Local kiválasztja az NPU-modellt.
  • Lehetővé teszi, hogy rövidebb nevet használjon anélkül, hogy emlékeznie kellene a modellazonosítóra.

Ha egy adott modellt szeretne futtatni, használja a modellazonosítót. Például a rendelkezésre álló hardvertől qwen2.5-0.5bfüggetlenül futtassa a foundry run qwen2.5-0.5b-instruct-generic-cpu processzort.

Parancs Leírás
foundry model --help Megjeleníti az összes elérhető modellhez kapcsolódó parancsot és azok használatát.
foundry model list Felsorolja az összes helyi használatra elérhető modellt. Első futtatáskor letölti a hardver végrehajtási szolgáltatóit (EP-ket).
foundry model info <model> Egy adott modell részletes információinak megjelenítése.
foundry model download <model> Futtatás nélkül letölt egy modellt a helyi gyorsítótárba.
foundry model load <model> Betölt egy modellt a helyi démonba.
foundry model unload <model> Eltávolít egy modellt a helyi démonból.

Modelllista sorrendje

Ha egy aliashoz több modellazonosító-változat is elérhető, a modelllista prioritási sorrendben jeleníti meg a modelleket. A lista első modellje az a modell, amely a modell aliasmegadásakor fut.

Modelllista szűrése

Az eredmények szűkítéséhez foundry model list vagy kibontásához használja az explicit beállításokat.

Note

Amikor a telepítés után először fut foundry model list , a Foundry Local automatikusan letölti a megfelelő végrehajtási szolgáltatókat (EP-ket) a gép hardverkonfigurációjához. A modelllista megjelenése előtt megjelenik egy folyamatjelző sáv, amely a letöltés befejezését jelzi.

Option Leírás
--device <kind> A modelleket eszköztípus szerint szűri: cpu, gpuvagy npu.
--type <task> A modellek szűrése tevékenység szerint: chat, speechvagy embedding.
--search <query> Keresési lekérdezéssel szűri a modelleket.
--cached A listát gyorsítótárazott modellekre szűri.
--loaded A listát betöltendő modellekre szűri.
--variants Modellvariánsokat tartalmaz a listában.
--limit <n> Korlátozza a kimenet sorainak számát.
-v, --verbose Tartalmazza a licenc, a megjelenítendő név és a modellazonosító oszlopait.

Példák

foundry model list --device gpu
foundry model list --type chat
foundry model list --search qwen
foundry model list --cached
foundry model list --loaded
foundry model list --variants
foundry model list --limit 20
foundry model list --verbose

Ezek a példák a támogatott beállítások használatával szűrik vagy bontják ki a modelllistát.

Referencia: Modelllista szűrése

Modell interaktív futtatása

Futtasson egy modellt, és használja közvetlenül a terminálban:

foundry chat qwen2.5-0.5b

A Foundry Local első futtatáskor letölti a modellt, majd elindít egy interaktív munkamenetet. Adjon meg egy kérést a válasz lekéréséhez:

Why is the sky blue?

Tip

Cserélje le qwen2.5-0.5b a katalógus bármely modellaliasára. Futtassa foundry model list az elérhető modellek megtekintését. A Foundry Local letölti a hardvernek leginkább megfelelő változatot – például egy NVIDIA GPU-khoz készült CUDA-változatot vagy egy NPU-változatot a Qualcomm NPU-khoz.

Kiszolgálói parancsok

Az alábbi táblázat az Foundry Local-kiszolgáló kezelésével és futtatásával kapcsolatos parancsokat foglalja össze:

Parancs Leírás
foundry server --help Megjeleníti az összes elérhető kiszolgálóhoz kapcsolódó parancsot és azok használatát.
foundry server start Elindítja az Öntödei helyi démont és az OpenAI-kompatibilis helyi szolgáltatást.
foundry server start --port <port> Elindítja a helyi szolgáltatást a megadott TCP-porton. Operációs rendszer által hozzárendelt porthoz használható 0 .
foundry server start --idle-timeout <minutes> Leállítja a démont a megadott számú inaktív perc után. A démon futásának megőrzésére használható 0 .
foundry server stop Leállítja az Öntödei helyi démont.
foundry server restart Újraindítja az Foundry helyi démont és a helyi szolgáltatást.
foundry server restart --port <port> --idle-timeout 0 Újraindítja a helyi szolgáltatást a megadott TCP-porton, és folyamatosan fut a démon.
foundry server status Megjeleníti a démon állapotát, a helyi szolgáltatás URL-címeit, a folyamatazonosítót, az üzemidőt és a napló helyét.
foundry server logs Megjeleníti az Foundry Local démon- és SDK-naplókat.

Kiszolgálónaplók beállításai

Használja az alábbi lehetőségeket a következőkkel foundry server logs:

Option Leírás
-n, --lines <n> A legutóbbi naplósorok megadott számát jeleníti meg. Az alapértelmezett érték a 50.
-f, --follow A hozzáfűzés közben streameli az új naplósorokat.

Rögzített portú helyi kiszolgáló

A helyi szolgáltatás rögzített porton való indításához és a démon futásának fenntartásához használja --port a következőt --idle-timeout 0:

foundry server start --port 39839 --idle-timeout 0

Ha a démon már fut, és új portot kell alkalmaznia, indítsa újra ugyanazokkal a beállításokkal:

foundry server restart --port 39839 --idle-timeout 0

A helyi végpont URL-címének ellenőrzéséhez futtassa a következőt:

foundry server status

Gyorsítótárparancsok

Az alábbi táblázat a modelleket tároló helyi gyorsítótár kezelésére szolgáló parancsokat foglalja össze:

Parancs Leírás
foundry cache --help Megjeleníti az összes elérhető gyorsítótárral kapcsolatos parancsot és azok használatát.
foundry cache location Az aktuális gyorsítótár könyvtárát jeleníti meg.
foundry cache list A helyi gyorsítótárban tárolt összes modell listája.
foundry cache cd <path> A gyorsítótár könyvtárát a megadott elérési útra módosítja.
foundry cache remove [<model>] Eltávolít egy gyorsítótárazott modellt. Ha kihagyja <model>, a parancs a megerősítés után eltávolítja az összes gyorsítótárazott modellt.

A gyorsítótárazott modell megerősítés nélküli eltávolítására használható foundry cache remove <model> --force .

Végrehajtási szolgáltatók

A végrehajtási szolgáltatók hardverspecifikus gyorsítási kódtárak, amelyek a lehető leghatékonyabban futtatnak modelleket az eszközön.

Beépített végrehajtási szolgáltatók

A Foundry Local tartalmazza a cpu-végrehajtási szolgáltatót, a WebGPU végrehajtási szolgáltatót és a CUDA végrehajtási szolgáltatót.

A processzorvégrehajtási szolgáltató Microsoft Lineáris Algebra-alrutinok (MLAS) használ bármilyen CPU-n való futtatáshoz, és a Foundry Local cpu-tartaléka.

A WebGPU végrehajtási szolgáltató a Dawn, a webes API natív implementációját használja a gpu-k gyorsításához, és a Foundry Local GPU-tartaléka.

A CUDA végrehajtási szolgáltató NVIDIA CUDA-t használ az NVIDIA GPU-k gyorsításához. Ehhez NVIDIA GeForce RTX 30-as és újabb sorozatra van szükség, amely minimálisan ajánlott illesztőprogram-verzió: 32.0.15.5585 és CUDA 12.5. Az alábbi licencfeltételek vonatkoznak rá: Licencszerződés nvidia szoftverfejlesztői készletekhez – EULA.

Beépülő modulok végrehajtási szolgáltatói

Az alábbi táblázatban felsorolt végrehajtási szolgáltatók az eszköz és az illesztőprogram kompatibilitásától függően dinamikusan letölthetők és regisztrálhatóak Windows. Ezekre a megadott licencfeltételek vonatkoznak.

A Foundry Local automatikusan letölti ezeket a végrehajtási szolgáltatókat első futtatáskor. A beépülő modul végrehajtási szolgáltatói automatikusan frissülnek, ha új verziók érhetők el.

Név (szállító) Requirements Licencfeltételek
NvTensorRTRTXExecutionProvider (NVIDIA) NVIDIA GeForce RTX 30XX és újabb verziók, minimálisan ajánlott illesztőprogram-verzió: 32.0.15.5585 és CUDA 12.5 Licencszerződés nvidia szoftverfejlesztői készletekhez – EULA
OpenVINOExecutionProvider (Intel) CPU: Intel TigerLake (11. gen) és újabb verziók minimálisan ajánlott illesztőprogrammal 32.0.100.9565
GPU: Intel AlderLake (12. generációs) és újabb verziók minimálisan ajánlott illesztőprogrammal 32.0.101.1029
NPU: Intel ArrowLake (15. gen) és újabb verziók a minimálisan ajánlott illesztőprogrammal 32.0.100.4239		 Intel OBL disztribúciós kereskedelmi használati licencszerződés v2025.02.12
QNNExecutionProvider (Qualcomm) Snapdragon(R) X Elite - X1Exxxxx - Qualcomm(R) Hexagon(TM) NPU legalább 30.0.140.0 vagy újabb verziójú illesztőprogrammal
Snapdragon(R) X Plus – X1Pxxxxx – Qualcomm(R) Hexagon(TM) NPU legalább 30.0.140.0-s vagy újabb illesztőprogram-verzióval		 A QNN-licenc megtekintéséhez töltse le a Qualcomm® Neural Processing SDK-t, bontsa ki a ZIP-t, és nyissa meg a LICENSE.pdf fájlt.
VitisAIExecutionProvider (AMD) Min: Adrenalin Edition 25.6.3 a(z) NPU driver 32.00.0203.280-vel
Max: Adrenalin Edition 25.9.1 az NPU driver verzióval 32.00.0203.297		 Nincs szükség további licencre

A WebUI megnyitása a helyi kiszolgálóval

Csatlakoztassa az Open WebUI-t a Foundry Localhoz egy böngészőalapú csevegőfelülethez, amely teljes egészében az eszközön fut.

  1. Indítsa el a modellt, és hagyja nyitva a terminált:

    foundry run qwen2.5-0.5b

  2. A helyi végpont URL-címének lekérése:

    foundry server status

    Másolja ki a végpont URL-címét. A Foundry Local a kiszolgáló minden indításakor dinamikus portot rendel hozzá.

  3. Telepítse és indítsa el a WebUI megnyitása elemet, majd nyissa meg http://localhost:8080 a böngészőben.

  4. Nyissa meg a WebUI-t a Foundry Local szolgáltatáshoz:

    1. Nyissa meg a Beállítások>rendszergazdai beállítások>kapcsolatai lehetőséget , és engedélyezze a közvetlen kapcsolatokat.
    2. Válassza a Beállítások kapcsolatok>>közvetlen kapcsolatok kezelése lehetőséget, és válassza a lehetőséget+.
    3. Állítsa be az http://localhost:PORT/v1 (cserélje le PORT a portra a 2. lépésben) és a hitelesítésta Nincs értékre.
    4. Válassza az Mentésgombot.

  5. Válasszon ki egy modellt a legördülő listából, és kezdjen el csevegni.

Tip

Ha nem jelennek meg modellek, futtassa foundry run <model> a terminált, és töltse be újra az Open WebUI-t. Ha a kapcsolat meghiúsul, erősítse meg a portot a következővel foundry server status: .

Az Öntöde helyi frissítése

Futtassa az operációs rendszer parancsát a Foundry Local frissítéséhez.

  • Windows:

    winget upgrade --id Microsoft.FoundryLocal

  • macOS Apple Silicon: Ha a Foundry Local 0.8.x verzióról frissít, a frissítés előtt állítsa le a régi szolgáltatást:

    foundry service stop
brew update
brew upgrade microsoft/foundrylocal/foundrylocal

    Ha már az aktuális előzetes verziójú cli-n dolgozik, futtassa a következőt:

    brew update
brew upgrade microsoft/foundrylocal/foundrylocal

Foundry Local eltávolítása

Az Foundry Local Windows-on való eltávolításához futtassa a következőt:

winget uninstall Microsoft.FoundryLocal

Hibaelhárítás

Kiszolgálókapcsolati problémák

Ha a következőhöz hasonló foundry model listparancs futtatásakor jelenik meg ez a hiba:

Exception: Request to local service failed.
Uri: http://127.0.0.1:0/foundry/list

The requested address is not valid in its context. (127.0.0.1:0)

Please check server status with 'foundry server status'.

Indítsa újra a kiszolgálót:

foundry server restart

Ez a parancs kijavítja azokat az eseteket, amikor a kiszolgáló fut, de portkötési probléma miatt nem érhető el.

További hibaelhárítási útmutatásért tekintse meg az ajánlott eljárásokat és a hibaelhárítást.

  • Last updated on