Remarque
L’accès à cette page requiert une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page requiert une autorisation. Vous pouvez essayer de modifier des répertoires.
Important
- L’interface CLI locale Foundry est disponible en préversion. Les versions en préversion publique fournissent un accès anticipé aux fonctionnalités en cours de déploiement.
- Les fonctionnalités, approches et processus peuvent changer ou avoir des capacités limitées avant la disponibilité générale (GA).
Cet article fournit une référence complète pour l’interface de ligne de commande (CLI) Foundry Local. L’interface CLI organise les commandes en catégories logiques pour vous aider à gérer les modèles, contrôler le serveur local et gérer votre cache local.
Prerequisites
- Installez Foundry Local.
- Terminal local où l’interface
foundryCLI est disponible. - Vérifiez que vous disposez de access Internet pour les téléchargements de première fois (fournisseurs d’exécution et modèles).
- Azure RBAC : Non applicable (s’exécute localement).
- Si vous disposez d’un NPU Intel sur Windows, installez le pilote NPU Intel NPU pour une accélération NPU optimale.
Installation de Foundry Local
Installez Foundry Local à l’aide du gestionnaire de package ou du programme d’installation de votre système d’exploitation.
Windows : ouvrez un terminal et exécutez :
winget install Microsoft.FoundryLocalmacOS Apple Silicon : Ouvrez un terminal et exécutez :
brew tap microsoft/foundrylocal brew install foundrylocalVous pouvez également télécharger le macOS
.pkgactuel ou.zipà partir des ressources de l’interface CLI locale Foundry. Si vous téléchargez le fichier , ouvrez-le.pkgavec macOS Installer.
Vérifiez l’installation :
foundry --version
Assurez-vous que vous disposez des droits d’administrateur pour installer des logiciels.
Tip
Si vous voyez une erreur de connexion au serveur après l’installation (par exemple), Request to local service failedexécutez foundry server restart.
Vérification rapide
Exécutez ces commandes pour confirmer que l’interface CLI est installée et que le serveur local est accessible.
Afficher l’aide de l’interface CLI :
foundry --helpCette commande imprime les informations d’utilisation et la liste des groupes de commandes disponibles.
Référence : Vue d’ensemble
Vérifiez l’état du serveur :
foundry server statusCette commande imprime si le démon local Foundry est en cours d’exécution et inclut son point de terminaison local.
Référence : commandes serveur
Aperçu
Utilisez l’aide intégrée pour explorer les commandes et les options.
L’interface CLI organise les commandes dans les groupes suivants :
-
Modèle :
model,cache -
Exécuter :
run, ,chat,complete,transcribe -
Serveur :
server -
Configuration :
config -
Aide :
status,report
Le tableau suivant récapitule les commandes de niveau supérieur :
| Commande | Description |
|---|---|
foundry model |
Détecte, inspecte, télécharge, charge et décharge les modèles locaux. |
foundry chat <model> |
Démarre une session de conversation locale interactive. |
foundry complete <model> <prompt> |
Génère une saisie semi-automatique de texte sans état. |
foundry run <model> |
Exécute un modèle avec routage automatique vers la conversation ou la transcription. |
foundry server |
Démarre, arrête, redémarre, inspecte et dépanner le démon Foundry local. |
foundry cache |
Inspecte et gère les entrées de cache de modèle téléchargées. |
foundry config |
Affiche et modifie les paramètres de l’interface CLI foundry persistante. |
foundry status |
Affiche les diagnostics système, serveur, modèle et connectivité. |
foundry report |
Ouvre un problème de GitHub prérempli avec les diagnostics. |
foundry transcribe |
Démarre une session de transcription vocale locale interactive ou transcrit un fichier. |
Commandes de modèle
Le tableau suivant récapitule les commandes relatives à la gestion et à l’exécution des modèles :
Note
Vous pouvez spécifier l’argument model par son alias ou son ID de modèle. Utilisation d’un alias :
- Sélectionne automatiquement le meilleur modèle pour votre matériel disponible. Par exemple, si vous disposez d’un GPU Nvidia disponible, Foundry Local sélectionne le meilleur modèle GPU. Si vous disposez d’un NPU pris en charge, Foundry Local sélectionne le modèle NPU.
- Vous permet d’utiliser un nom plus court sans avoir à mémoriser l’ID de modèle.
Si vous souhaitez exécuter un modèle spécifique, utilisez l’ID de modèle. Par exemple, pour exécuter le qwen2.5-0.5b processeur, quel que soit votre matériel disponible, utilisez foundry run qwen2.5-0.5b-instruct-generic-cpu.
| Commande | Description |
|---|---|
foundry model --help |
Affiche toutes les commandes liées au modèle disponibles et leur utilisation. |
foundry model list |
Répertorie tous les modèles disponibles pour une utilisation locale. Lors de la première exécution, il télécharge les fournisseurs d’exécution (EP) pour votre matériel. |
foundry model info <model> |
Affiche des informations détaillées sur un modèle spécifique. |
foundry model download <model> |
Télécharge un modèle dans le cache local sans l’exécuter. |
foundry model load <model> |
Charge un modèle dans le démon local. |
foundry model unload <model> |
Décharge un modèle à partir du démon local. |
Ordre des listes de modèles
Lorsque plusieurs variantes d’ID de modèle sont disponibles pour un alias, la liste des modèles affiche les modèles dans l’ordre de priorité. Le premier modèle de la liste est le modèle qui s’exécute lorsque vous spécifiez le modèle par alias.
Filtrage de liste de modèles
Utilisez les options explicites pour foundry model list affiner ou développer les résultats.
Note
Lorsque vous exécutez foundry model list pour la première fois après l’installation, Foundry Local télécharge automatiquement les fournisseurs d’exécution appropriés pour la configuration matérielle de votre machine. Vous voyez une barre de progression indiquant l’achèvement du téléchargement avant l’affichage de la liste des modèles.
| Option | Description |
|---|---|
--device <kind> |
Filtre les modèles par type d’appareil : cpu, gpuou npu. |
--type <task> |
Filtre les modèles par tâche : chat, speechou embedding. |
--search <query> |
Filtre les modèles par une requête de recherche. |
--cached |
Filtre la liste pour les modèles mis en cache. |
--loaded |
Filtre la liste pour les modèles chargés. |
--variants |
Inclut des variantes de modèle dans la liste. |
--limit <n> |
Limite le nombre de lignes dans la sortie. |
-v, --verbose |
Inclut les colonnes Licence, Nom d’affichage et ID de modèle. |
Exemples
foundry model list --device gpu
foundry model list --type chat
foundry model list --search qwen
foundry model list --cached
foundry model list --loaded
foundry model list --variants
foundry model list --limit 20
foundry model list --verbose
Ces exemples filtrent ou développent la liste de modèles à l’aide des options prises en charge.
Référence : Filtrage de liste de modèles
Exécuter un modèle de manière interactive
Exécutez un modèle et interagissez avec lui directement dans le terminal :
foundry chat qwen2.5-0.5b
Foundry Local télécharge le modèle lors de la première exécution, puis démarre une session interactive. Entrez une invite pour obtenir une réponse :
Why is the sky blue?
Tip
Remplacez qwen2.5-0.5b par n’importe quel alias de modèle à partir du catalogue. Exécutez foundry model list pour afficher les modèles disponibles. Foundry Local télécharge la variante qui correspond le mieux à votre matériel( par exemple, une variante CUDA pour les GPU NVIDIA ou une variante de NPU pour les processeurs npus De Amd.
Commandes de serveur
Le tableau suivant récapitule les commandes relatives à la gestion et à l’exécution du serveur local Foundry :
| Commande | Description |
|---|---|
foundry server --help |
Affiche toutes les commandes relatives au serveur disponibles et leur utilisation. |
foundry server start |
Démarre le démon local Foundry et le service local compatible OpenAI. |
foundry server start --port <port> |
Démarre le service local sur le port TCP spécifié. Utiliser 0 pour un port affecté par le système d’exploitation. |
foundry server start --idle-timeout <minutes> |
Arrête le démon après le nombre spécifié de minutes inactives. Permet 0 de conserver le démon en cours d’exécution. |
foundry server stop |
Arrête le démon local Foundry. |
foundry server restart |
Redémarre le démon local foundry et le service local. |
foundry server restart --port <port> --idle-timeout 0 |
Redémarre le service local sur le port TCP spécifié et conserve le démon en cours d’exécution. |
foundry server status |
Affiche l’état du démon, les URL de service local, l’ID de processus, le temps d’activité et l’emplacement du journal. |
foundry server logs |
Affiche les journaux du démon local et du Kit de développement logiciel (SDK) Foundry. |
Options des journaux de serveur
Utilisez ces options avec foundry server logs:
| Option | Description |
|---|---|
-n, --lines <n> |
Affiche le nombre spécifié de lignes de journal récentes. La valeur par défaut est 50. |
-f, --follow |
Diffuse de nouvelles lignes de journal à mesure qu’elles sont ajoutées. |
Serveur local de port fixe
Pour démarrer le service local sur un port fixe et conserver le démon en cours d’exécution, utilisez --port :--idle-timeout 0
foundry server start --port 39839 --idle-timeout 0
Si le démon est déjà en cours d’exécution et que vous devez appliquer un nouveau port, redémarrez-le avec les mêmes options :
foundry server restart --port 39839 --idle-timeout 0
Pour vérifier l’URL du point de terminaison local, exécutez :
foundry server status
Commandes de cache
Le tableau suivant récapitule les commandes permettant de gérer le cache local où les modèles sont stockés :
| Commande | Description |
|---|---|
foundry cache --help |
Affiche toutes les commandes liées au cache disponibles et leur utilisation. |
foundry cache location |
Affiche le répertoire du cache actif. |
foundry cache list |
Répertorie tous les modèles stockés dans le cache local. |
foundry cache cd <path> |
Remplace le répertoire du cache par le chemin d’accès spécifié. |
foundry cache remove [<model>] |
Supprime un modèle mis en cache. Si vous omettez <model>, la commande supprime tous les modèles mis en cache après confirmation. |
Permet foundry cache remove <model> --force de supprimer un modèle mis en cache sans confirmation.
Fournisseurs d’exécution
Les fournisseurs d’exécution sont des bibliothèques d’accélération spécifiques au matériel qui exécutent des modèles aussi efficacement que possible sur votre appareil.
Fournisseurs d’exécution intégrés
Foundry Local inclut le fournisseur d’exécution du processeur, le fournisseur d’exécution webGPU et le fournisseur d’exécution CUDA.
Le fournisseur d’exécution du processeur utilise Microsoft les sous-routines algébriques linéaires (MLAS) pour s’exécuter sur n’importe quel processeur et est le secours de l’UC pour Foundry Local.
Le fournisseur d’exécution WebGPU utilise Dawn, l’implémentation native de l’API basée sur le Web, pour l’accélération sur n’importe quel GPU et sert de solution de secours GPU pour Foundry Local.
Le fournisseur d’exécution CUDA utilise NVIDIA CUDA pour l’accélération sur les GPU NVIDIA. Il nécessite une série NVIDIA GeForce RTX 30 et versions ultérieures avec une version minimale recommandée du pilote 32.0.15.5585 et CUDA version 12.5. Il est soumis aux termes du contrat de licence suivant : Contrat de licence pour les kits de développement logiciel NVIDIA — CLUF.
Fournisseurs d’exécution de plug-ins
Les fournisseurs d’exécution répertoriés dans le tableau suivant sont disponibles pour le téléchargement et l’inscription dynamiques sur Windows, en fonction de la compatibilité des périphériques et des pilotes. Ils sont soumis aux termes du contrat de licence spécifiés.
Foundry Local télécharge automatiquement ces fournisseurs d’exécution lors de la première exécution. Les fournisseurs d’exécution de plug-in sont automatiquement mis à jour lorsque de nouvelles versions sont disponibles.
| Nom (fournisseur) | Exigences | Termes du contrat de licence |
|---|---|---|
NvTensorRTRTXExecutionProvider (NVIDIA) |
NVIDIA GeForce RTX 30XX et versions ultérieures avec la version minimale recommandée du pilote 32.0.15.5585 et CUDA version 12.5 | Contrat de licence pour les kits de développement logiciel NVIDIA — CLUF |
OpenVINOExecutionProvider (Renseignement) |
PROCESSEUR : Intel TigerLake (11e génération) et versions ultérieures avec le pilote min recommandé 32.0.100.9565 GPU : Intel AlderLake (12e génération) et versions ultérieures avec le pilote minimum recommandé 32.0.101.1029 NPU : Intel ArrowLake (15e génération) et versions ultérieures avec le pilote minimum recommandé 32.0.100.4239 |
Contrat de licence d’utilisation commerciale de distribution Intel OBL v2025.02.12 |
QNNExecutionProvider (Soc) |
Snapdragon(R) X Elite - X1Exxxxx - Qualcomm(R) Hexagon(TM) NPU avec une version minimale du pilote 30.0.140.0 et les versions ultérieures Snapdragon(R) X Plus - X1Pxxxxx - Qualcomm(R) Hexagon(TM) NPU avec une version minimale du pilote 30.0.140.0 et les versions ultérieures |
Pour afficher la licence QNN, téléchargez le Qualcomm® Neural Processing SDK, extrayez le fichier ZIP et ouvrez le fichier LICENSE.pdf. |
VitisAIExecutionProvider (AMD) |
Min : Adrenalin Edition 25.6.3 avec le driver NPU 32.00.0203.280 Max : Adrenalin Edition 25.9.1 avec le pilote NPU 32.00.0203.297 |
Aucune licence supplémentaire n’est requise |
Utiliser Open WebUI avec le serveur local
Connectez Open WebUI à Foundry Local pour une interface de conversation basée sur un navigateur qui s’exécute entièrement sur votre appareil.
Démarrez un modèle et laissez le terminal ouvert :
foundry run qwen2.5-0.5bObtenez l’URL de votre point de terminaison local :
foundry server statusCopiez l’URL du point de terminaison. Foundry Local affecte un port dynamique chaque fois que le serveur démarre.
Installez et lancez Open WebUI, puis ouvrez
http://localhost:8080votre navigateur.Connectez Open WebUI à Foundry Local :
- Accédez aux paramètres des>des paramètres> d’administration et activez les connexions directes.
- Accédez à Paramètres> Connexionsgérer les connexions directes>, puis sélectionnez +.
- Définissez l’URL sur
http://localhost:PORT/v1(remplacezPORTpar le port de l’étape 2 ) et Authentification sur Aucun. - Cliquez sur Enregistrer.
Sélectionnez un modèle dans la liste déroulante et démarrez la conversation.
Tip
Si aucun modèle n’apparaît, exécutez dans un terminal et rechargez foundry run <model> Open WebUI. Si la connexion échoue, confirmez le port avec foundry server status.
Mettre à niveau Foundry Local
Exécutez la commande de votre système d’exploitation pour mettre à niveau Foundry Local.
Windows :
winget upgrade --id Microsoft.FoundryLocalmacOS Apple Silicon : Si vous effectuez une mise à niveau à partir de Foundry Local 0.8.x, arrêtez l’ancien service avant la mise à niveau :
foundry service stop brew update brew upgrade microsoft/foundrylocal/foundrylocalSi vous êtes déjà sur l’interface CLI en préversion actuelle, exécutez :
brew update brew upgrade microsoft/foundrylocal/foundrylocal
Désinstaller Foundry Local
Pour désinstaller Foundry Local sur Windows, exécutez :
winget uninstall Microsoft.FoundryLocal
Résolution des problèmes
Problèmes de connexion au serveur
Si vous voyez cette erreur lorsque vous exécutez une commande telle que foundry model list:
Exception: Request to local service failed.
Uri: http://127.0.0.1:0/foundry/list
The requested address is not valid in its context. (127.0.0.1:0)
Please check server status with 'foundry server status'.
Redémarrez le serveur :
foundry server restart
Cette commande résout les cas où le serveur s’exécute mais n’est pas accessible en raison d’un problème de liaison de port.
Pour obtenir des conseils supplémentaires sur la résolution des problèmes, consultez les meilleures pratiques et la résolution des problèmes.