Compartilhar via

Práticas recomendadas e guia de resolução de problemas para Foundry Local

Importante

  • A Fábrica Local está disponível na versão prévia. As visualizações públicas fornecem acesso antecipado a recursos que estão em implantação ativa.
  • Os recursos, abordagens e processos podem mudar ou ter seus recursos limitados antes da GA (disponibilidade geral).

Este artigo lista as práticas recomendadas e dicas de resolução de problemas para o Foundry Local.

Pré-requisitos

  • Instale o Foundry Local.
  • Tenha acesso à Internet para baixar modelos (recomendado).
  • Se você usar a solução alternativa de instalação no escopo do computador neste documento, execute o PowerShell como Administrador.

Verificar a CLI (Interface de Linha de Comando)

Execute o seguinte comando para confirmar se a CLI Local do Foundry está instalada e disponível em seu PATH:

foundry --help

Este comando lista os comandos e opções disponíveis.

Referência: Referência da CLI local do Foundry

Melhores práticas de segurança

  • Execute o Foundry Local somente em ambientes que estejam em conformidade com as políticas de segurança da sua organização.
  • Ao lidar com dados confidenciais, certifique-se de que seu dispositivo atenda aos requisitos de segurança da sua organização.
  • Criptografe os discos em dispositivos que armazenam em cache modelos contendo dados sensíveis de ajuste fino.

Considerações sobre licenciamento

Analise as implicações de licenciamento para os modelos que você executa no Foundry Local. Para exibir os termos completos de licença do modelo para cada modelo no catálogo, execute o comando a seguir. No comando a seguir, substitua o espaço reservado <model> pelo nome do modelo:

foundry model info <model> --license

Referência: Referência da CLI local do Foundry

Práticas recomendadas de desempenho

Se você tiver inferência lenta, considere as seguintes estratégias:

  • Interrompa qualquer sessão de inferência do Kit de Ferramentas de IA para VS Code antes de executar o Foundry Local.
  • Use a aceleração de GPU quando disponível.
  • Identifique gargalos monitorando o uso de memória durante a inferência.
  • Experimente variantes de modelo mais quantizadas (por exemplo, INT8 em vez de FP16).
  • Ajuste os tamanhos do lote para cargas de trabalho não interativas.

Escopo de implantação de produção

O Foundry Local destina-se à inferência no próprio dispositivo, não a implementações de produção distribuídas, em contêineres ou com várias máquinas.

Resolução de problemas

Problemas comuns e soluções

Questão Causa possível Solução
Inferência lenta Modelo somente CPU com uma contagem de parâmetros grande. Use variantes de modelo com otimização de GPU quando disponível.
Falhas de download do modelo Problemas de conectividade de rede. Verifique sua conexão com a Internet e execute foundry cache list para verificar o status do cache.
Erros de conexão de serviço (Request to local service failed. Uri:http://127.0.0.1:0/foundry/list) Problemas de associação de porta ou o serviço não está acessível. Execute foundry service restart para reiniciar o serviço e resolver problemas de associação de porta.
Falha ao iniciar o serviço. Conflitos de porta ou problemas de permissão. Executar foundry service restartou relatar um problema com logs usando foundry zip-logs.
A NPU da Intel não foi detectada ou não está funcionando Driver de NPU Intel ausente ou desatualizado. Instale o driver da NPU intel para Windows para habilitar a aceleração da NPU.
Erro de NPU do Qualcomm (Qnn error code 5005: "Failed to load from EpContext model. qnn_backend_manager.") Conflitos de recursos de NPU ou driver de NPU da Qualcomm desatualizados. Instale o driver de NPU do Qualcomm. Se o problema persistir, reinicie o computador para eliminar conflitos de recursos da NPU, especialmente após usar os recursos do Windows Copilot+.
winget install Microsoft.FoundryLocal --scope machine falha com "A configuração atual do sistema não dá suporte à instalação deste pacote". Winget bloqueia instalações MSIX em nível de máquina. Use a solução alternativa em problemas de instalação.

Problemas de instalação

Se winget install Microsoft.FoundryLocal --scope machine falhar com "A configuração atual do sistema não dá suporte à instalação deste pacote.", use Add-AppxProvisionedPackage em vez disso.

  1. Baixe o .msix e seu pacote de dependência.
  2. Execute o PowerShell como Administrador.
  3. Execute o seguinte comando para instalar o Foundry Local para todos os usuários:
Add-AppxProvisionedPackage -Online -PackagePath .\FoundryLocal.msix `
  -DependencyPackagePath .\VcLibs.appx -SkipLicense
  • Last updated on