Condividi tramite

Procedure consigliate e guida alla risoluzione dei problemi per Foundry Local

Importante

  • Foundry Local è disponibile in anteprima. Le versioni di anteprima pubblica consentono l'accesso anticipato alle funzionalità in fase di distribuzione attiva.
  • Funzionalità, approcci e processi possono subire variazioni o avere funzionalità limitate, prima della disponibilità generale (GA).

Questo articolo elenca le procedure consigliate e i suggerimenti per la risoluzione dei problemi relativi a Foundry Local.

Prerequisiti

  • Installa Foundry Locale.
  • Avere accesso a Internet per scaricare i modelli (scelta consigliata).
  • Se usi la soluzione alternativa per l'installazione con ambito computer in questo articolo, esegui PowerShell come amministratore.

Verificare la CLI

Eseguire il comando seguente per verificare che l'interfaccia della riga di comando locale Foundry sia installata e disponibile nel PATH:

foundry --help

Questo comando elenca i comandi e le opzioni disponibili.

Riferimento: Interfaccia a riga di comando locale di Foundry

Procedure consigliate per la sicurezza

  • Eseguire Foundry Local solo in ambienti conformi ai criteri di sicurezza dell'organizzazione.
  • Assicurarsi che il dispositivo soddisfi i requisiti di sicurezza dell'organizzazione quando si gestiscono i dati sensibili.
  • Crittografare i dischi nei dispositivi che memorizzano nella cache modelli contenenti dati sensibili di ottimizzazione.

Considerazioni sulle licenze

Esaminare le implicazioni relative alle licenze per i modelli eseguiti in Foundry Local. Per visualizzare le condizioni di licenza del modello completo per ogni modello nel catalogo, eseguire il comando seguente. Nel comando seguente sostituire il segnaposto <model> con il nome del modello:

foundry model info <model> --license

Riferimento: Interfaccia a riga di comando locale di Foundry

Migliori pratiche prestazionali

Se si verifica un rallentamento dell'inferenza, considerare le strategie seguenti:

  • Fermare qualsiasi sessione di inferenza di "AI Toolkit for VS Code" prima di eseguire Foundry Local.
  • Usare l'accelerazione GPU quando disponibile.
  • Identificare i colli di bottiglia monitorando l'utilizzo della memoria durante l'inferenza.
  • Provare più varianti di modello quantizzate, ad esempio INT8 anziché FP16.
  • Modificare le dimensioni dei batch per i carichi di lavoro non interattivi.

Ambito di distribuzione di produzione

Foundry Local è destinato alle distribuzioni di produzione con inferenza sul dispositivo, non distribuite, in contenitori o multi-computer.

Risoluzione dei problemi

Problemi e soluzioni comuni

Problema Possibile causa Soluzione
Inferenza lenta Modello solo CPU con un conteggio di parametri di grandi dimensioni. Usare le varianti del modello ottimizzate per GPU, se disponibili.
Errori di download del modello Problemi di connettività di rete. Controllare la connessione Internet ed eseguire foundry cache list per verificare lo stato della cache.
Errori di connessione al servizio (Request to local service failed. Uri:http://127.0.0.1:0/foundry/list) Problemi di associazione delle porte o il servizio non è accessibile. Eseguire foundry service restart per riavviare il servizio e risolvere i problemi di associazione delle porte.
Impossibile avviare il servizio. Conflitti di porta o problemi di autorizzazione. Eseguire foundry service restart o segnalare un problema con i log usando foundry zip-logs.
Intel NPU non è stato rilevato o non funziona Driver Intel NPU mancante o obsoleto. Installare il driver Intel NPU per Windows per abilitare l'accelerazione NPU.
Errore qualcomm NPU (Qnn error code 5005: "Failed to load from EpContext model. qnn_backend_manager.") Conflitti di risorse NPU o driver NPU Qualcomm obsoleti. Installare il driver NPU Qualcomm. Se il problema persiste, riavviare per cancellare i conflitti di risorse NPU, soprattutto dopo l'uso delle funzionalità di Windows Copilot+.
winget install Microsoft.FoundryLocal --scope machine ha esito negativo con "La configurazione di sistema corrente non supporta l'installazione di questo pacchetto". Winget blocca le installazioni MSIX a livello di macchina. Usare la soluzione alternativa in Problemi di installazione.

Problemi relativi all'installazione

Se winget install Microsoft.FoundryLocal --scope machine ha esito negativo con "La configurazione di sistema corrente non supporta l'installazione di questo pacchetto". Usare Add-AppxProvisionedPackage invece .

  1. Scarica il .msix e il pacchetto di dipendenza correlato.
  2. Eseguire PowerShell come amministratore.
  3. Eseguire il comando seguente per installare Foundry Local per tutti gli utenti:
Add-AppxProvisionedPackage -Online -PackagePath .\FoundryLocal.msix `
  -DependencyPackagePath .\VcLibs.appx -SkipLicense
  • Last updated on