Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Применяется только к:
Портал Foundry (классический). Эта статья недоступна для нового портала Foundry.
Дополнительные сведения о новом портале.
Замечание
Ссылки в этой статье могут открывать содержимое в новой документации Майкрософт Foundry вместо классической документации Foundry, которую вы просматриваете в данный момент.
Модели Майкрософт Foundry включают полный каталог моделей, организованных в две категории — модели, продаваемые непосредственно через Azure, и модели от партнеров и сообщества. Модели партнеров и сообщества, которые можно развернуть на управляемых вычислительных ресурсах, являются открытыми или защищенными моделями. В этой статье вы узнаете, как использовать защищенные модели от партнеров и сообщества, предлагаемых через Azure Marketplace, для развертывания на управляемых вычислительных ресурсах с выставлением счетов по мере использования.
Предпосылки
Подписка Azure с допустимым методом оплаты. Бесплатные или пробные Azure подписки не работают. Если у вас нет подписки Azure, создайте платную учетную запись Azure.
Если у вас его нет, создайте проект-концентратор для Foundry. Вы можете развернуть на управляемой вычислительной среде, используя проект-концентратор. Проект Foundry не подойдет для этой цели.
Для вашей подписки Azure доступна возможность покупок в Azure Marketplace.
Контроли доступа к операциям в Foundry на основе ролей Azure (Azure RBAC) предоставляют доступ к операциям в портале Foundry. Чтобы выполнить действия, описанные в этой статье, учетная запись пользователя должна быть назначена настраиваемой роли со следующими разрешениями. Учетные записи пользователей, назначенные на роли Owner или Contributor для подписки Azure, также могут создавать развертывания. Дополнительные сведения о разрешениях см. в разделе Контроль доступа, основанный на ролях в портале Foundry.
В подписке Azure — оформить подписку рабочему пространству или проекту на предложение Azure Marketplace:
- Майкрософт.MarketplaceOrdering/agreements/offers/plans/read
- Майкрософт. MarketplaceOrdering/agreements/offers/plans/sign/action
- Майкрософт.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/чтение
- Майкрософт.Marketplace/offerTypes/publishers/offers/plans/agreements/чтение
- Майкрософт. SaaS/register/action
Для создания и использования ресурса SaaS в группе ресурсов выполните следующие действия.
- Майкрософт. SaaS/resources/read
- Майкрософт. SaaS/resources/write
В рабочей области — для развертывания конечных точек:
- Майкрософт. MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
- Майкрософт. MachineLearningServices/workspaces/onlineEndpoints/*
Область подписки и единица измерения для предложения Azure Marketplace
Foundry предоставляет простой интерфейс подписки и транзакций для защищенных моделей при создании и использовании развертываний выделенной модели в большом масштабе. Развертывание защищенных моделей на управляемых вычислительных ресурсах включает выставление счетов по мере использования для клиента в двух измерениях:
- Ежечасная оплата за использование вычислительных мощностей виртуальных машин Машинное обучение Azure, задействованных в развертывании.
- Выставление счетов за дополнительные сборы, установленные издателем модели в предложении на платформе Azure Marketplace.
Выставление счетов по тарифу "оплата по мере использования" для вычислений и надбавки за модели в Azure производится пропорционально за минуту, основанную на времени работы управляемых онлайн-развертываний. Плата за модель составляет цену за час GPU, установленную партнером (или издателем модели) на Azure Marketplace для всех поддерживаемых GPU, которые можно использовать для развертывания модели на управляемых вычислительных ресурсах Foundry.
Подписка пользователя на предложения Azure Marketplace распространяется на ресурсы проекта в системе Foundry. Если подписка на предложение Azure Marketplace для конкретной модели уже существует в проекте, пользователь сообщает мастеру развертывания, что подписка уже существует для проекта.
Замечание
Для микросервисов вывода NVIDIA (NIM) несколько моделей привязаны к одному предложению Marketplace, поэтому вам нужно подписаться на предложение NIM только один раз в проекте, чтобы иметь возможность развертывать все NIM, предлагаемые NVIDIA в каталоге моделей Foundry. Если вы хотите развернуть NIM в другом проекте без существующей подписки на SaaS, вам необходимо повторно оформить подписку на предложение.
Чтобы найти все подписки SaaS, существующие в Azure подписке, выполните следующие действия.
Войдите на портал Azure и перейдите к подписке Azure.
Выберите Subscriptions и выберите подписку Azure, чтобы открыть страницу обзора.
Выберите "Параметры>, чтобы просмотреть список ресурсов.
Используйте фильтр "Тип" , чтобы выбрать тип ресурса SaaS.
Дополнительная плата за потребление применяется к соответствующей подписке SaaS и взымается с пользователя через Azure Marketplace. Счет можно просмотреть на вкладке "Обзор " соответствующей подписки SaaS.
Подпишитесь и разверните в управляемой вычислительной среде
Подсказка
Поскольку вы можете настроить левую панель на портале Майкрософт Foundry, вы можете увидеть другие элементы, чем те, что показаны в этих шагах. Если вы не видите, что вы ищете, выберите ... Подробнее в нижней части левой панели.
-
Войдите в Майкрософт Foundry. Убедитесь, что переключатель New Foundry отключен. Эти действия относятся к Foundry (классическая).
Если вы еще не в своем проекте, выберите его.
Выберите каталог моделей в левой области.
Отфильтруйте список моделей, выбрав коллекцию и модель выбранной модели. В этой статье используется cohere Command A из списка поддерживаемых моделей для иллюстрации.
На странице модели выберите "Использовать эту модель ", чтобы открыть мастер развертывания.
Если представлены варианты покупки, выберите "Управляемые вычисления".
Если у вас нет выделенной квоты, установите флажок рядом с инструкцией: я хочу использовать общую квоту, и я признаю, что эта конечная точка будет удалена в 168 часов.
Выберите один из поддерживаемых номеров SKU виртуальной машины для модели. Вы должны иметь квоту ресурсов Машинное обучение Azure для этого ресурса SKU в вашей подписке на Azure.
Выберите "Настроить", чтобы указать конфигурацию развертывания для параметров, таких как число экземпляров. Можно также выбрать существующую конечную точку для развертывания или создать новую. В этом примере укажите число экземпляров 1 и создайте новую конечную точку для развертывания.
Нажмите кнопку "Далее", чтобы перейти на страницу разбивки цен .
Просмотрите разбивку цен на развертывание, условия использования и лицензионное соглашение, связанное с предложением модели на Azure Marketplace. Разбивка цен указывает, что будет агрегированная цена на развернутую модель, где дополнительная плата за модель является функцией количества GPU в экземпляре виртуальной машины, выбранном на предыдущих шагах. В дополнение к применяемым сборам за модель, также применяются расходы на вычисления Azure в зависимости от конфигурации развертывания. Если у вас есть существующие резервирования или план экономии Azure, счет за расходы на вычисления учитывает и отражает скидочные цены на виртуальные машины.
Установите флажок, чтобы подтвердить, что вы понимаете и согласны с условиями использования. Затем нажмите кнопку "Развернуть". Foundry создает подписку на предложение на торговой площадке, а затем осуществляет развертывание модели на управляемых вычислительных ресурсах. Для завершения развертывания потребуется около 15–20 минут.
Потребление развертываний
После успешного создания развертывания выполните следующие действия для его использования:
- Выберите Models + Endpoints в разделе Мои активы в проекте Foundry.
- Выберите развертывание на вкладке "Развертывания модели ".
- Перейдите на вкладку "Тест" для примера вывода в конечную точку.
- Вернитесь на вкладку "Сведения ", чтобы скопировать целевой URI развертывания, который можно использовать для выполнения вывода с кодом.
- Перейдите на вкладку "Использование " развертывания, чтобы найти примеры кода для потребления.
Сетевая изоляция развертываний
Коллекции можно развертывать в каталоге моделей в изолированных сетях с помощью управляемой рабочей областью виртуальной сети. Для получения дополнительной информации о том, как настроить управляемые сети рабочей области, посетите Настройка управляемой виртуальной сети для разрешения исходящего интернет-трафика.
Ограничение
Проект Foundry с отключенным доступом к общедоступной сети для входящих подключений может поддерживать только одно активное развертывание одной из защищенных моделей из каталога. Попытки создать более активные развертывания приводят к сбоям в создании развертываний.
Поддерживаемые модели
В следующих разделах перечислены поддерживаемые модели для управляемого развертывания вычислительных ресурсов с оплатой по факту потребления, сгруппированные по коллекции.
Босон ИИ
| Модель | Задача |
|---|---|
| bosonai-higgs-audio-v3-stt | Автоматическое распознавание речи |
| Higgs-Audio-v2.5 | Создание звука |
Cohere
| Модель | Задача |
|---|---|
| Команда A | Завершение чата |
| Внедрение версии 4 | Встраивания |
| Пересчет v3.5 | Классификация текстов |
| Cohere-rerank-v4.0-pro | пересортировка классификации текста |
| Cohere-rerank-v4.0-fast | пересортировка классификации текста |
Домин
| Модель | Задача |
|---|---|
| Domyn-Large | Завершение чата |
Инсепшн Лабс
| Модель | Задача |
|---|---|
| Mercury | Завершение чата, создание текста, сводка |
NVIDIA
Микрослужбы вывода NVIDIA (NIM) — это контейнеры, которые NVIDIA создает для оптимизированных предварительно обученных и настроенных моделей ИИ, обслуживаемых на GPU NVIDIA. Вы можете развернуть виртуальные машины NVIDIA, доступные в каталоге моделей Foundry, с помощью стандартной подписки на предложение NVIDIA NIM NiM SaaS на Azure Marketplace.
Некоторые особые моменты, которые стоит отметить о NIMs:
NIMs включают 90-дневную пробную версию. Пробная версия распространяется на все NIM, связанные с выбранной подпиской SaaS, начиная с момента её создания.
Область подписок на SaaS-проект. Поскольку несколько моделей ассоциированы с одним предложением Azure Marketplace, вам достаточно подписаться на предложение NIM в рамках проекта один раз, после чего вы сможете развернуть все NIM, предлагаемые NVIDIA в каталоге моделей Foundry. Если вы хотите развернуть NIM в другом проекте без существующей подписки на SaaS, вам необходимо повторно оформить подписку на предложение.
Использование развертываний NVIDIA NIM
После создания развертывания выполните действия, описанные в разделе "Использование развертываний для его использования".
Модули сетевого интерфейса NVIDIA в Foundry предоставляют API, совместимый с OpenAI. Чтобы узнать больше о поддерживаемой нагрузке, см. справочник по API. Параметр model для NIMs в Foundry установлен на значение по умолчанию в контейнере и не требуется в полезных данных запроса к конечной точке вашего онлайн-сервиса. Вкладка «Использование» развертывания NIM в Foundry содержит примеры кода для инференции с использованием целевого URL-адреса вашего развертывания.
Вы также можете использовать развертывания NIM с помощью пакета SDK Foundry Models SDK с ограничениями, которые включают:
- Нет поддержки создания и проверки подлинности клиентов с помощью
load_client. - Необходимо вызвать метод клиента
get_model_info, чтобы получить информацию о модели.
Разработка и запуск агентов с помощью конечных точек NIM
Следующие NIMs NVIDIA типа задачи завершения чата в каталоге моделей можно использовать для создания и запуска агентов с использованием службы агента с различными средствами, поддерживаемыми инструментами, с учетом следующих дополнительных требований:
- Создайте подключение Serverless Connection к проекту, используя конечную точку и ключ NIM. Целевой URL-адрес конечной точки NIM в соединении должен быть
https://<endpoint-name>.region.inference.ml.azure.com/v1/. - Задайте параметр model в теле запроса в форме
https://<endpoint>.region.inference.ml.azure.com/v1/@<parameter value per table below>, при создании и запуске агентов.
| NVIDIA NIM |
model значение параметра |
|---|---|
| Llama-3.3-70B-Instruct-NIM-microservice | meta/llama-3.3-70b-instruct |
| Llama-3.1-8B-Instruct-NIM-microservice | meta/llama-3.1-8b-instruct |
| Mistral-7B-Instruct-v0.3-NIM-микросервис | mistralai/mistral-7b-instruct-v0.3 |
проверка безопасности;
NVIDIA обеспечивает безопасность и надежность образов контейнеров NVIDIA NIM с помощью лучшего в классе сканирования уязвимостей, строгого управления исправлениями и прозрачных процессов. Майкрософт сотрудничает с NVIDIA, чтобы обеспечить интеграцию последних исправлений NIMs для доставки защищенного, стабильного и надежного программного обеспечения промышленного уровня в Foundry.
Вы можете обратиться к времени последнего обновления для NIM на правой панели страницы обзора модели. Вы можете переразвернуть, чтобы использовать последнюю версию NIM от NVIDIA на платформе Foundry.
Paige AI
| Модель | Задача |
|---|---|
| Virchow2G | Извлечение признаков изображения |
| Virchow2G-Mini | Извлечение признаков изображения |
Путешествие ИИ
| Модель | Задача |
|---|---|
| voyage-3.5-embedding-model | Встраивания |