Compartir a través de

Prácticas recomendadas y guía de solución de problemas para Foundry Local

Importante

  • Foundry Local está disponible en versión preliminar. Las versiones preliminares públicas proporcionan acceso anticipado a las características que se encuentran en la implementación activa.
  • Las características, los enfoques y los procesos pueden cambiar o tener funcionalidades limitadas, antes de la disponibilidad general (GA).

Este artículo enumera las prácticas recomendadas y los consejos de solución de problemas para Foundry Local.

Prerrequisitos

  • Instale Foundry Local.
  • Tener acceso a Internet para descargar modelos (recomendado).
  • Si usa la solución alternativa de instalación de ámbito de máquina en este artículo, ejecute PowerShell como administrador.

Verifica la CLI

Ejecute el siguiente comando para confirmar que la CLI local de Foundry está instalada y disponible en path:

foundry --help

Este comando enumera los comandos y opciones disponibles.

Referencia: Referencia de la CLI local de Foundry

Procedimientos recomendados de seguridad

  • Ejecute Foundry Local solo en entornos que cumplan las políticas de seguridad de su organización.
  • Asegúrese de que su dispositivo cumpla con los requisitos de seguridad de su organización cuando gestione datos confidenciales.
  • Cifre los discos de los dispositivos que almacenen en caché modelos que contengan datos confidenciales de ajuste preciso.

Consideraciones acerca de las licencias

Revise las implicaciones de licencia de los modelos que ejecute en Foundry Local. Para ver los términos de licencia del modelo completo para cada modelo del catálogo, ejecute el siguiente comando. En el siguiente comando, reemplace el marcador de posición <model> por el nombre del modelo:

foundry model info <model> --license

Referencia: Referencia de la CLI local de Foundry

Mejores prácticas de rendimiento

Si experimenta una inferencia lenta, tenga en cuenta las siguientes estrategias:

  • Detenga cualquier sesión de inferencia de AI Toolkit for VS Code antes de ejecutar Foundry Local.
  • Use la aceleración de GPU cuando esté disponible.
  • Identifique los cuellos de botella supervisando el uso de memoria durante la inferencia.
  • Pruebe más variantes de modelo cuantificadas (por ejemplo, INT8 en lugar de FP16).
  • Ajuste los tamaños de lote para cargas de trabajo no interactivas.

Ámbito de implementación de producción

Foundry Local está diseñado para inferencia en el dispositivo, no para implementaciones de producción distribuidas, en contenedores o en varias máquinas.

Solución de problemas

Problemas comunes y soluciones

Cuestión Causa posible Solución
Inferencia lenta Modelo de solo CPU con un recuento de parámetros grande. Use variantes del modelo optimizadas para GPU cuando esté disponible.
Errores de descarga del modelo Problemas de conectividad de red. Compruebe la conexión a Internet y ejecute foundry cache list para comprobar el estado de la caché.
Errores de conexión de servicio (Request to local service failed. Uri:http://127.0.0.1:0/foundry/list) Problemas de vinculación de puertos o el servicio no es accesible. Ejecute foundry service restart para reiniciar el servicio y resolver problemas de enlace de puertos.
El servicio no se inicia. Conflictos de puertos o problemas de permisos. Ejecute foundry service restart o notifique un problema con los registros mediante foundry zip-logs.
No se ha detectado la NPU de Intel o no funciona Falta el controlador NPU de Intel o está desactualizado. Instale el controlador NPU de Intel para Windows para habilitar la aceleración de NPU.
Error de NPU de Qualcomm (Qnn error code 5005: "Failed to load from EpContext model. qnn_backend_manager.") Controlador de NPU de Qualcomm desactualizado o conflictos de recursos de la NPU Instale el controlador de NPU de Qualcomm. Si el problema persiste, reinicie el equipo para resolver conflictos de recursos de la NPU, especialmente después de usar las funciones de Windows Copilot+.
winget install Microsoft.FoundryLocal --scope machine se produce un error con "La configuración actual del sistema no admite la instalación de este paquete". Winget bloquea las instalaciones MSIX de ámbito de máquina. Use la solución alternativa en Problemas de instalación.

Problemas de instalación

Si winget install Microsoft.FoundryLocal --scope machine se produce un error con "La configuración actual del sistema no admite la instalación de este paquete", use Add-AppxProvisionedPackage en su lugar.

  1. Descargue el .msix y su paquete de dependencias.
  2. Ejecute PowerShell como administrador.
  3. Ejecute el siguiente comando para instalar Foundry Local para todos los usuarios:
Add-AppxProvisionedPackage -Online -PackagePath .\FoundryLocal.msix `
  -DependencyPackagePath .\VcLibs.appx -SkipLicense
  • Last updated on