Поделиться через

Рекомендации и руководство по устранению неполадок для Foundry Local

Это важно

  • Foundry Local доступен в предварительной версии. Общедоступные предварительные выпуски предоставляют ранний доступ к функциям, которые находятся в активном развертывании.
  • Функции, подходы и процессы могут изменяться или иметь ограниченные возможности до общедоступной доступности.

В этой статье перечислены рекомендации и советы по устранению неполадок для Foundry Local.

Предпосылки

  • Установите Foundry Local.
  • Доступ к Интернету для скачивания моделей (рекомендуется).
  • Если вы используете обходной путь для установки на уровне компьютера, описанный в этой статье, запустите PowerShell от имени администратора.

Проверка интерфейса командной строки

Выполните следующую команду, чтобы убедиться, что локальная CLI Foundry установлена и доступна в PATH.

foundry --help

Эта команда содержит список доступных команд и параметров.

Справочник по локальному CLI (интерфейсу командной строки) Foundry

Рекомендации по обеспечению безопасности

  • Запускайте Foundry Local только в тех средах, которые соответствуют политикам безопасности вашей организации.
  • Убедитесь, что устройство соответствует требованиям безопасности вашей организации при обработке конфиденциальных данных.
  • Шифрование дисков на устройствах, которые кэшируют модели, содержащие конфиденциальные данные тонкой настройки.

Соображения, связанные с лицензиями

Просмотрите последствия лицензирования для моделей, которые вы запускаете в Foundry Local. Чтобы просмотреть условия лицензии на полную модель для каждой модели в каталоге, выполните следующую команду. В следующей команде замените заполнитель <model> именем модели:

foundry model info <model> --license

Справочник по локальному CLI (интерфейсу командной строки) Foundry

Оптимальные методы повышения производительности

Если вы испытываете медленное вывод, рассмотрите следующие стратегии:

  • Остановите любой сеанс инференса AI Toolkit для VS Code перед запуском Foundry Local.
  • Используйте ускорение GPU при наличии.
  • Определите узкие места путем мониторинга использования памяти во время вывода.
  • Попробуйте использовать более квантизованные варианты модели (например, INT8 вместо FP16).
  • Настройте размеры пакетов для неинтерактивных рабочих нагрузок.

Область развертывания в рабочей среде

Foundry Local предназначен для вывода на устройстве, а не для распределенных, контейнерных или рабочих развертываний на нескольких компьютерах.

Устранение неполадок

Распространенные проблемы и решения

Проблема Возможная причина Решение
Медленный вывод Модель, работающая только на ЦП, с большим количеством параметров. Используйте варианты модели, оптимизированные для GPU, при наличии.
Сбои загрузки модели Проблемы с сетевым подключением. Проверьте подключение к Интернету и выполните проверку foundry cache list состояния кэша.
Ошибки подключения службы (Request to local service failed. Uri:http://127.0.0.1:0/foundry/list) Проблемы привязки портов или служба недоступна. Запустите foundry service restart , чтобы перезапустить службу и устранить проблемы привязки портов.
Служба не запускается. Конфликты портов или проблемы с разрешениями. Запустите foundry service restart, или сообщите о проблеме с журналами с помощью foundry zip-logs.
Intel NPU не обнаружен или не работает Отсутствует или устаревший драйвер NPU Intel. Установите драйвер Intel NPU для Windows, чтобы включить ускорение NPU.
Ошибка NPU в Qualcomm (Qnn error code 5005: "Failed to load from EpContext model. qnn_backend_manager.") Устаревший драйвер NPU Qualcomm или конфликты ресурсов NPU. Установите драйвер NPU Для Qualcomm. Если проблема сохраняется, перезагрузитесь, чтобы очистить конфликты ресурсов NPU, особенно после использования функций Windows Copilot+ .
winget install Microsoft.FoundryLocal --scope machine выдает ошибку "Текущая конфигурация этой системы не поддерживает инсталляцию этого пакета". Winget блокирует установки MSIX на уровне системы. Используйте обходное решение в проблемах с установкой.

Проблемы с установкой

Если winget install Microsoft.FoundryLocal --scope machine завершится с ошибкой "Текущая конфигурация системы не поддерживает установку этого пакета", в таком случае используйте Add-AppxProvisionedPackage.

  1. Скачайте .msix и его пакет зависимостей.
  2. Запустите PowerShell от имени администратора.
  3. Выполните следующую команду, чтобы установить Foundry Local для всех пользователей:
Add-AppxProvisionedPackage -Online -PackagePath .\FoundryLocal.msix `
  -DependencyPackagePath .\VcLibs.appx -SkipLicense
  • Last updated on