Поделиться через

Начало работы с Foundry Local

Это важно

  • Foundry Local доступен в предварительной версии. Общедоступные предварительные выпуски предоставляют ранний доступ к функциям, которые находятся в активном развертывании.
  • Функции, подходы и процессы могут изменяться или иметь ограниченные возможности до общедоступной доступности.

В этом руководстве показано, как настроить Foundry Local для запуска моделей ИИ на устройстве.

Предпосылки

Система должна соответствовать следующим требованиям для запуска Foundry Local:

  • Операционная система: Windows 10 (x64), Windows 11 (x64/ARM), Windows Server 2025, macOS.
  • Оборудование: минимум 8 ГБ ОЗУ и 3 ГБ свободного места на диске. Рекомендуется 16 ГБ ОЗУ и свободное место на диске размером 15 ГБ.
  • Сеть: подключение к Интернету для загрузки моделей и провайдеров выполнения. После скачивания модели можно запустить кэшированные модели в автономном режиме.
  • Ускорение (необязательно): GPU NVIDIA (серии 2000 или более поздней версии), AMD GPU (6000 серии или более поздней), AMD NPU, Intel iGPU, Intel NPU (32 ГБ или больше памяти), Qualcomm Snapdl X Elite (8 ГБ или больше памяти), Qualcomm NPU или Apple Silicon.

Чтобы установить программу Foundry Local с помощью команд в этом руководстве быстрого старта:

  • На Windows убедитесь, что winget доступен.
  • В macOS установите Homebrew, если вы используете этот brew параметр.

Замечание

Новые NPUs поддерживаются только в системах под управлением Windows 24H2 или более поздней версии. Если вы используете NPU Intel в Windows, установите драйвер Intel NPU , чтобы включить ускорение NPU в Foundry Local.

Убедитесь, что у вас есть права администратора на установку программного обеспечения.

Подсказка

Если после установки появится ошибка подключения к службе (например, "Запрос к локальной службе произошел сбой"), выполните команду foundry service restart.

Быстрый старт

Быстро приступить к работе с Foundry Local:

Вариант 1. Быстрая настройка ИНТЕРФЕЙСА командной строки

  1. Установите Foundry Local.

    • Windows: откройте терминал и выполните следующую команду. 
      winget install Microsoft.FoundryLocal
    • macOS: откройте терминал и выполните следующую команду. 
      brew tap microsoft/foundrylocal
brew install foundrylocal
      Кроме того, установщик можно скачать из репозитория Foundry Local GitHub.

    Ссылка: Документация по Foundry (локальная)

  2. Проверьте установку. Запуск:

    foundry --version

    Вы увидите установленный номер версии.

    Справочник по Foundry: локальный интерфейс командной строки (CLI)

  3. Запустите первую модель. Откройте терминал и выполните следующую команду:

    foundry model run qwen2.5-0.5b

    Foundry Local скачивает модель, которая может занять несколько минут в зависимости от скорости интернета, а затем запускает ее. После запуска модели взаимодействуйте с ней с помощью интерфейса командной строки (CLI). Например, вы можете спросить:

    Why is the sky blue?

    Вы увидите ответ из модели в терминале: снимок экрана: выходные данные команды Foundry Local run.

Справочник по Foundry: локальный интерфейс командной строки (CLI)

Вариант 2. Скачивание начальных проектов

Для практического практического обучения скачайте один из начальных проектов, демонстрирующих реальные сценарии:

Каждый проект включает:

  • Пошаговые инструкции по настройке
  • Полный исходный код
  • Примеры конфигураций
  • Лучшие практики

Подсказка

Эти начальные проекты соответствуют сценариям в руководствах и обеспечивают немедленную практическую ценность.

Подсказка

Замените qwen2.5-0.5b на любой моделью из каталога (выполнив команду foundry model list, чтобы просмотреть доступные модели). Foundry Local скачивает вариант, который лучше всего соответствует конфигурации оборудования и программного обеспечения вашей системы. Например, если у вас gpu NVIDIA, Foundry Local скачивает версию CUDA. Если у вас есть NPU Qualcomm, Foundry Local загружает версию NPU. Если у вас нет GPU или NPU, Foundry Local скачивает версию ЦП.

При первом запуске foundry model list вы увидите индикатор хода загрузки, пока Foundry Local скачивает поставщиков выполнения для вашего оборудования.

Справочник по Foundry: локальный интерфейс командной строки (CLI)

Исследуйте команды

Интерфейс командной строки Foundry упорядочивает команды в следующие основные категории:

  • Модель: команды для управления и запуска моделей.
  • Служба: команды для управления локальной службой Foundry.
  • Кэш: команды для управления локальным кэшем моделей (скачанные модели на локальном диске).

Чтобы просмотреть все команды, используйте следующую команду:

foundry --help

foundry model --help

foundry --help

foundry service --help

Просмотр команд кэша :

foundry cache --help

Справочник по Foundry: локальный интерфейс командной строки (CLI)

Необязательно. Запуск последней модели GPT OSS 20B

Запустите модель gpt-oss-20b.

foundry model run gpt-oss-20b

Это важно

Если модель недоступна для устройства, запустите меньшую модель (например, qwen2.5-0.5b).

Для варианта CUDA обычно требуется GPU NVIDIA с 16 ГБ VRAM или более.

Foundry Local версии 0.6.87 или более поздней версии добавляет поддержку этой модели. Проверьте версию с помощью:

foundry --version

Справочник по Foundry: локальный интерфейс командной строки (CLI)

Подсказка

Дополнительные сведения обо всех командах CLI см. в справочнике по локальному интерфейсу командной строки Foundry.

Обновление платформы локального уровня

Выполните команду для операционной системы, чтобы обновить Foundry Local.

  • Windows: в терминале выполните следующую команду: 
    winget upgrade --id Microsoft.FoundryLocal
  • macOS: в терминале выполните следующую команду: 
    brew upgrade foundrylocal

Удаление Foundry Local

Чтобы удалить Foundry Local, выполните команду для операционной системы:

  • Windows: откройте терминал и запустите: 
    winget uninstall Microsoft.FoundryLocal
  • macOS: откройте терминал и выполните следующую команду: 
    brew rm foundrylocal
brew untap microsoft/foundrylocal
brew cleanup --scrub

Устранение неполадок

Проблемы с подключением к службе

Если эта ошибка возникает при выполнении foundry model list или аналогичной команде:

foundry model list

Exception: Request to local service failed.
Uri: http://127.0.0.1:0/foundry/list

The requested address is not valid in its context. (127.0.0.1:0)

Please check service status with 'foundry service status'.

Выполните следующую команду, чтобы перезапустить службу:

foundry service restart

Эта команда исправляет случаи, когда служба выполняется, но недоступна из-за проблемы привязки портов.

Справочник. Рекомендации и устранение неполадок

Связанный контент

  • Last updated on