Справочник локального интерфейса командной строки для Foundry

Это важно

• Foundry Local доступен в предварительной версии. Общедоступные предварительные выпуски предоставляют ранний доступ к функциям, которые находятся в активном развертывании.
• Функции, подходы и процессы могут изменяться или иметь ограниченные возможности до общедоступной доступности.

В этой статье содержится исчерпывающая справка по интерфейсу командной строки Foundry Local (CLI). Интерфейс командной строки упорядочивает команды в логические категории, помогая управлять моделями, управлять службой и поддерживать локальный кэш.

Предпосылки

• Установите Foundry Local. Инструкции по настройке см. в статье "Начало работы с Foundry Local".
• Используйте локальный терминал, где доступен интерфейс командной foundry строки.
• Убедитесь, что у вас есть доступ к Интернету для первого скачивания (поставщики и модели выполнения).
• Azure RBAC: неприменимо (выполняется локально).
• Если у вас есть NPU Intel в Windows, установите драйвер Intel NPU для оптимального ускорения NPU.

Быстрая проверка

Выполните эти команды, чтобы подтвердить, что интерфейс командной строки установлен и служба доступна.

1. Отобразить справку по CLI:

    foundry --help
   

   Эта команда выводит сведения об использовании и список доступных групп команд.

   Справочник. Обзор

2. Проверьте состояние службы:

    foundry service status
   

   Эта команда выводит, запущена ли локальная служба Foundry и включает ее локальную конечную точку.

   Справочник. Команды службы

Обзор

Используйте встроенную справку для изучения команд и параметров.

Интерфейс командной строки упорядочивает команды в три основные категории:

• Модель: команды для управления и запуска моделей ИИ
• Служба: команды для управления локальной службой Foundry
• Кэш: команды для управления локальным хранилищем моделей

Команды модели

В следующей таблице приведены команды, связанные с управлением и выполнением моделей:

Замечание

Аргумент можно указать по model или идентификатору модели. Использование псевдонима:

• Выбирает лучшую модель для доступного оборудования автоматически. Например, если у вас есть gpu Nvidia, Foundry Local выбирает лучшую модель GPU. Если у вас есть поддерживаемый NPU, Foundry Local выбирает модель NPU.
• Позволяет использовать более короткое имя без необходимости запоминать идентификатор модели.

Если вы хотите запустить определенную модель, используйте идентификатор модели. Например, чтобы запустить qwen2.5-0.5b на процессоре, независимо от наличия другого оборудования, используйте: foundry model run qwen2.5-0.5b-instruct-generic-cpu.

Command	Описание
foundry model --help	Отображает все доступные команды, связанные с моделью, и их использование.
foundry model run <model>	Запускает указанную модель, скачивает ее, если она не кэшируется и запускает взаимодействие.
foundry model list	Выводит список всех доступных моделей для локального использования. При первом запуске он загружает поставщиков исполнения (EP) для вашего оборудования.
foundry model list --filter <key>=<value>	Перечисляет модели, отфильтрованные указанными критериями (устройство, задача, псевдоним, поставщик).
foundry model info <model>	Отображает подробные сведения о конкретной модели.
foundry model info <model> --license	Отображает сведения о лицензии для конкретной модели.
foundry model download <model>	Загружает модель в локальный кэш без его запуска.
foundry model load <model>	Загружает модель в службу.
foundry model unload <model>	Выгружает модель из службы.

Сортировка списка моделей

Если для псевдонима доступно несколько вариантов идентификаторов модели, список моделей отображает модели в порядке приоритета. Первая модель в списке — это модель, которая выполняется, когда вы указываете модель с помощью alias.

Фильтрация списка моделей

Команда foundry model list поддерживает фильтрацию моделей с помощью --filter параметра. Модели можно фильтровать на основе одного атрибута с помощью пар "ключ-значение".

foundry model list --filter <key>=<value>

Эта команда выводит модели, соответствующие ключу фильтра и значению.

Справочник. Фильтрация списка моделей

Замечание

При первом запуске foundry model list после установки Foundry Local автоматически скачивает соответствующие поставщики выполнения (EPS) для конфигурации оборудования компьютера. Отображается индикатор хода выполнения, указывающий завершение загрузки перед отображением списка моделей.

Поддерживаемые ключи фильтра:

устройство — тип аппаратного устройства

Фильтрует модели по аппаратному устройству, на которое они работают.

Возможные значения:

• CPU — модели центрального процессора
• GPU — модели единиц обработки графики
• NPU — модели единиц нейронной обработки

provider — поставщик выполнения

Фильтрует модели по поставщику выполнения или среде выполнения.

Возможные значения:

• CPUExecutionProvider — выполнение на базе ЦПУ
• CUDAExecutionProvider — выполнение GPU NVIDIA CUDA
• WebGpuExecutionProvider — выполнение WebGPU
• QNNExecutionProvider - Выполнение нейронной сети Qualcomm (NPU)
• OpenVINOExecutionProvider — Выполнение Intel OpenVINO
• NvTensorRTRTXExecutionProvider — выполнение NVIDIA TensorRT
• VitisAIExecutionProvider — выполнение ИИ AMD Vitis

задача — тип задачи модели

Фильтрует модели по их предполагаемому варианту использования или задаче.

Общие значения:

• chat-completion: модели общения с искусственным интеллектом
• text-generation: модели создания текста

псевдоним — псевдоним модели

Фильтрует модели по идентификатору псевдонима. Включает поддержку сопоставления символов-заместителей с суффиксом *.

Примеры значений:

• phi4-cpu
• qwen2.5-coder-0.5b-instruct-generic-cpu
• deepseek-r1-distill-qwen-1.5b-generic-cpu
• phi-4-mini-instruct-generic-cpu

Специальные функции фильтра

Поддержка отрицания: Добавьте префикс к любому значению !, чтобы исключить соответствующие модели.

foundry model list --filter device=!GPU

Эта команда исключает модели GPU из результатов.

Справочник. Специальные функции фильтра

Сопоставление подстановочных знаков (только псевдоним): Добавьте * для сопоставления префиксов при фильтрации по псевдониму.

foundry model list --filter alias=qwen*

Эта команда возвращает модели, псевдоним которых начинается с qwen.

Справочник. Специальные функции фильтра

Примеры

foundry model list --filter device=GPU
foundry model list --filter task=chat-completion
foundry model list --filter provider=CUDAExecutionProvider

Эти примеры фильтруют список моделей по устройству, задаче и поставщику выполнения.

Справочник. Фильтрация списка моделей

Замечание

• Все сравнения не учитывают регистр.
• Для каждой команды можно использовать только один фильтр.
• Нераспознанные ключи фильтров приводят к ошибке.

Команды сервиса

В следующей таблице приведены команды, связанные с управлением и запуском локальной службы Foundry:

Command	Описание
foundry service --help	Отображает все доступные команды, связанные со службой, и их использование.
foundry service start	Запускает локальную службу Foundry.
foundry service stop	Останавливает локальную службу Foundry.
foundry service restart	Перезапуск локальной службы Foundry.
foundry service status	Отображает текущее состояние локальной службы Foundry.
foundry service ps	Выводит список всех моделей, загруженных в локальную службу Foundry.
foundry service diag	Отображает журналы локальной службы Foundry.
foundry service set <options>	Задает конфигурацию локальной службы Foundry.

Команды кэша

В следующей таблице приведены команды для управления локальным кэшем, в котором хранятся модели:

Command	Описание
foundry cache --help	Отображает все доступные команды, связанные с кэшем, и их использование.
foundry cache location	Отображает текущий каталог кэша.
foundry cache list	Выводит список всех моделей, хранящихся в локальном кэше.
foundry cache cd <path>	Изменяет каталог кэша на указанный путь.
foundry cache remove <model>	Удаляет модель из локального кэша.

Поставщики выполнения

Поставщики выполнения — это аппаратно-специфичные библиотеки ускорения, которые выполняют модели как можно эффективнее на вашем устройстве.

Встроенные поставщики выполнения

Foundry Local включает исполнителя процессора, исполнителя WebGPU и исполнителя CUDA.

Поставщик выполнения ЦП использует Microsoft Linear Algebra Subroutines (MLAS) для работы на любом ЦП и является резервным вариантом ЦП для Foundry Local.

Поставщик выполнения WebGPU использует Dawn, собственную реализацию веб-API для ускорения на любом GPU и служит резервным вариантом для GPU в Foundry Local.

Поставщик выполнения CUDA использует NVIDIA CUDA для ускорения на GPU NVIDIA. Для этого требуется серия NVIDIA GeForce RTX 30 и более поздних версий с минимальным рекомендуемым драйвером версии 32.0.15.5585 и CUDA версии 12.5. Это действует в соответствии с условиями следующего лицензионного соглашения: Лицензионное соглашение для комплектов средств разработки программного обеспечения NVIDIA — EULA.

Поставщики выполнения подключаемого модуля

Поставщики выполнения, перечисленные в следующей таблице, доступны для динамического скачивания и регистрации в Windows в зависимости от совместимости устройств и драйверов. Они подчиняются указанным условиям лицензии.

Foundry Local автоматически загружает эти поставщики выполнения при первом запуске. Провайдеры выполнения плагинов автоматически обновляются при появлении новых версий.

Имя (поставщик)	Требования	Условия лицензии
NvTensorRTRTXExecutionProvider (NVIDIA)	NVIDIA GeForce RTX 30XX и более поздних версий с минимальным рекомендуемым драйвером версии 32.0.15.5585 и CUDA версии 12.5	Лицензионное соглашение для комплектов средств разработки программного обеспечения NVIDIA — EULA
OpenVINOExecutionProvider (Intel)	ЦП: Intel TigerLake (11-го поколения) и более поздних версий с минимальным рекомендуемым драйвером 32.0.100.9565 GPU: Intel AlderLake (12-го поколения) и более поздние версии с минимальным рекомендуемым драйвером 32.0.101.1029 NPU: Intel ArrowLake 15-го поколения и более поздние версии с минимальным рекомендуемым драйвером 32.0.100.4239	Лицензионное соглашение о коммерческом использовании дистрибутива Intel OBL версии 2025.02.12
QNNExecutionProvider (Qualcomm)	Snapdragon(R) X Elite - X1Exxxxx - Qualcomm(R) Hexagon(TM) NPU с минимальной версией драйвера 30.0.140.0 и более поздними версиями Snapdragon(R) X Plus - X1Pxxxxx - Qualcomm(R) Hexagon(TM) NPU с минимальной версией драйвера 30.0.140.0 и выше	Чтобы просмотреть лицензию QNN, скачайте пакет SDK для Нейронной обработки Qualcomm®, извлеките ZIP-файл и откройте файл LICENSE.pdf.
VitisAIExecutionProvider (AMD)	Min: Adrenalin Edition 25.6.3 с драйвером NPU 32.00.0203.280 Max: Adrenalin Edition 25.9.1 с драйвером NPU 32.00.0203.297	Дополнительная лицензия не требуется