Рекомендации и руководство по устранению неполадок для Локального интерфейса командной строки Foundry (предварительная версия)

Это важно

  • Локальный интерфейс командной строки Foundry доступен в предварительной версии. Общедоступные предварительные версии предоставляют ранний доступ к функциям, которые находятся в процессе активного развертывания.
  • Функции, подходы и процессы могут изменяться или иметь ограниченные возможности до общедоступной доступности.

В этой статье перечислены рекомендации и советы по устранению неполадок для Локального интерфейса командной строки Foundry.

Предпосылки

  • Установите локальный интерфейс командной строки Foundry.
  • Для того чтобы скачать модели, рекомендуется иметь доступ к интернету.
  • Если вы используете обходной путь для установки на уровне компьютера, описанный в этой статье, запустите PowerShell от имени администратора.

Проверка интерфейса командной строки

Выполните следующую команду, чтобы убедиться, что локальная CLI Foundry установлена и доступна в PATH.

foundry --help

Эта команда содержит список доступных команд и параметров.

Справочник по локальному CLI (интерфейсу командной строки) Foundry

Рекомендации по обеспечению безопасности

  • Запускайте Foundry Local только в тех средах, которые соответствуют политикам безопасности вашей организации.
  • Убедитесь, что устройство соответствует требованиям безопасности вашей организации при обработке конфиденциальных данных.
  • Шифрование дисков на устройствах, которые кэшируют модели, содержащие конфиденциальные данные тонкой настройки.

Соображения, связанные с лицензиями

Ознакомьтесь с условиями лицензии издателя модели, прежде чем использовать модель с Foundry Local. Убедитесь, что предполагаемое использование соответствует этим условиям и политикам вашей организации.

Оптимальные методы повышения производительности

Если вы испытываете медленное вывод, рассмотрите следующие стратегии:

  • Остановите все сеансы инференса в Foundry Toolkit for VS Code перед запуском Foundry Local.
  • Используйте ускорение GPU при наличии.
  • Определите узкие места путем мониторинга использования памяти во время вывода.
  • Попробуйте использовать более квантизованные варианты модели (например, INT8 вместо FP16).
  • Настройте размеры пакетов для неинтерактивных рабочих нагрузок.

Область развертывания в рабочей среде

Foundry Local предназначен для вывода на устройстве, а не для распределенных, контейнерных или рабочих развертываний на нескольких компьютерах.

Устранение неполадок

Распространенные проблемы и решения

Проблема Возможная причина Решение
Медленный вывод Модель, работающая только на ЦП, с большим количеством параметров. Используйте варианты модели, оптимизированные для GPU, при наличии.
Сбои загрузки модели Проблемы с сетевым подключением. Проверьте подключение к Интернету и выполните проверку foundry cache list состояния кэша.
Ошибки подключения службы (Request to local service failed. Uri:http://127.0.0.1:0/foundry/list) Проблемы привязки портов или служба недоступна. Запустите foundry server restart , чтобы перезапустить управляющую программу и устранить проблемы привязки портов.
Служба не запускается. Конфликты портов или проблемы с разрешениями. Выполните команду foundry server restart. Если проблема сохраняется, запустите и запуститеfoundry server logsfoundry report, чтобы сообщить о проблеме с диагностикой.
Intel NPU не обнаружен или не работает Отсутствует или устаревший драйвер NPU Intel. Установите драйвер NPU Intel NPU для Windows, чтобы включить ускорение NPU.
Ошибка NPU в Qualcomm (Qnn error code 5005: "Failed to load from EpContext model. qnn_backend_manager.") Устаревший драйвер NPU Qualcomm или конфликты ресурсов NPU. Установите драйвер NPU Для Qualcomm. Если проблема сохраняется, перезагрузитесь, чтобы очистить конфликты ресурсов NPU, особенно после использования функций Windows Copilot+.
winget install Microsoft.FoundryLocal --scope machine завершается ошибкой с сообщением "Текущая конфигурация системы не поддерживает установку этого пакета". Winget блокирует установки MSIX на уровне системы. Используйте обходное решение в проблемах с установкой.

Проблемы с установкой

Если winget install Microsoft.FoundryLocal --scope machine завершается ошибкой "Текущая конфигурация системы не поддерживает установку этого пакета".Вместо этого используйте Add-AppxProvisionedPackage.

  1. Скачайте .msix и его пакет зависимостей.
  2. Запустите PowerShell от имени администратора.
  3. Выполните следующую команду, чтобы установить Foundry Local для всех пользователей:
Add-AppxProvisionedPackage -Online -PackagePath .\FoundryLocal.msix `
  -DependencyPackagePath .\VcLibs.appx -SkipLicense
  • Last updated on