Partager via

Guide des bonnes pratiques et de résolution des problèmes pour Foundry Local

Important

  • Foundry Local est disponible en préversion. Les versions en préversion publique fournissent un accès anticipé aux fonctionnalités qui sont en déploiement actif.
  • Les fonctionnalités, approches et processus peuvent changer ou avoir des capacités limitées avant la disponibilité générale (GA).

Cet article liste les bonnes pratiques et des conseils de résolution des problèmes pour Foundry Local.

Prerequisites

  • Installez Foundry Local.
  • Disposez d’un accès Internet pour télécharger des modèles (recommandé).
  • Si vous utilisez la solution de contournement pour une installation à l'échelle de la machine décrite dans cet article, exécutez PowerShell en tant qu'administrateur.

Vérifier le CLI

Exécutez la commande suivante pour vérifier que l’interface CLI locale Foundry est installée et disponible dans votre chemin d’accès :

foundry --help

Cette commande répertorie les commandes et options disponibles.

Référence : Informations de référence sur l’interface CLI locale de Foundry

Bonnes pratiques de sécurité

  • Exécutez Foundry Local uniquement dans des environnements conformes aux stratégies de sécurité de votre organisation.
  • Assurez-vous que votre appareil répond aux exigences de sécurité de votre organisation lorsque vous traitez des données sensibles.
  • Chiffrez les disques sur les appareils qui mettent en cache des modèles contenant des données sensibles de fine-tuning.

Considérations relatives aux licences

Passez en revue les implications de licence pour les modèles que vous exécutez dans Foundry Local. Pour afficher les termes du contrat de licence de modèle complet pour chaque modèle du catalogue, exécutez la commande suivante. Dans la commande suivante, remplacez l'espace réservé <model> par le nom du modèle :

foundry model info <model> --license

Référence : Informations de référence sur l’interface CLI locale de Foundry

Meilleures pratiques en matière de performances

Si vous rencontrez une inférence lente, envisagez les stratégies suivantes :

  • Arrêtez une session d’inférence AI Toolkit pour VS Code avant d’exécuter Foundry Local.
  • Utilisez l’accélération GPU quand elle est disponible.
  • Identifiez les goulots d'étranglement en surveillant l'utilisation de la mémoire pendant l'inférence.
  • Essayez des variantes de modèle quantifiées (par exemple, INT8 au lieu de FP16).
  • Ajustez les tailles de lot pour les charges de travail non interactives.

Étendue du déploiement de production

Foundry Local est destiné à l'inférence sur l'appareil, et non à des déploiements de production distribués, conteneurisés ou sur plusieurs machines.

Résolution des problèmes

Problèmes courants et solutions

Problème Cause potentielle Solution
Inférence lente Modèle processeur uniquement avec un grand nombre de paramètres. Utilisez des variantes de modèle optimisées par GPU lorsqu’elles sont disponibles.
Échecs de téléchargement du modèle Problèmes de connectivité réseau. Vérifiez votre connexion Internet et exécutez foundry cache list afin de vérifier l'état du cache.
Erreurs de connexion au service (Request to local service failed. Uri:http://127.0.0.1:0/foundry/list) Problèmes de liaison de port ou le service n'est pas accessible. Exécutez foundry service restart afin de redémarrer le service et de résoudre les problèmes de liaison de port.
Le service ne parvient pas à démarrer. Conflits de ports ou problèmes d'autorisations. Exécutez foundry service restart, ou signalez un problème avec des journaux à l'aide de foundry zip-logs.
NPU Intel non détectée ou ne fonctionne pas Pilote Intel NPU manquant ou obsolète. Installez le pilote Intel NPU pour Windows afin d'activer l'accélération NPU.
Erreur Qualcomm NPU (Qnn error code 5005: "Failed to load from EpContext model. qnn_backend_manager.") Pilote Qualcomm NPU obsolète ou conflits de ressources NPU. Installez le pilote Qualcomm NPU. Si le problème persiste, redémarrez afin d'effacer les conflits de ressources NPU, en particulier après l'utilisation des fonctionnalités Windows Copilot+.
winget install Microsoft.FoundryLocal --scope machine échoue avec l'erreur suivante : « La configuration système actuelle ne prend pas en charge l'installation de ce package. » Winget bloque les installations d’étendue de machine MSIX. Utilisez la solution de contournement dans les problèmes d’installation.

Problèmes d’installation

En winget install Microsoft.FoundryLocal --scope machine cas d’échec avec « La configuration système actuelle ne prend pas en charge l’installation de ce paquet », utilisez plutôt Add-AppxProvisionedPackage.

  1. Téléchargez le .msix et son package de dépendances.
  2. Exécutez PowerShell en tant qu’administrateur.
  3. Exécutez la commande suivante pour installer Foundry Local pour tous les utilisateurs :
Add-AppxProvisionedPackage -Online -PackagePath .\FoundryLocal.msix `
  -DependencyPackagePath .\VcLibs.appx -SkipLicense
  • Last updated on