Каталог моделей и коллекции в Azure AI Studio
Внимание
Некоторые функции, описанные в этой статье, могут быть доступны только в предварительной версии. Эта предварительная версия предоставляется без соглашения об уровне обслуживания, и мы не рекомендуем ее для рабочих нагрузок. Некоторые функции могут не поддерживаться или их возможности могут быть ограничены. Дополнительные сведения см. в статье Дополнительные условия использования Предварительных версий Microsoft Azure.
Каталог моделей в Azure AI Studio — это центр для обнаружения и использования широкого спектра моделей для создания создаваемых приложений ИИ. Каталог моделей включает сотни моделей в таких поставщиках моделей, как Azure OpenAI Service, Mistral, Meta, Cohere, NVIDIA и Hugging Face, включая модели, обученные Корпорацией Майкрософт. Модели от поставщиков, отличных от корпорации Майкрософт, являются продуктами, не являющихся корпорацией Майкрософт, как определено в условиях продуктов Майкрософт, и применяются к условиям, предоставленным моделями.
Коллекции моделей
Каталог моделей упорядочивает модели в три коллекции типов:
Курируется ИИ Azure: самые популярные модели, отличные от Корпорации Майкрософт с открытым весом и закрытыми моделями, упакованными и оптимизированными для эффективной работы на платформе ИИ Azure. Использование этих моделей распространяется на условия лицензионного соглашения поставщиков моделей. При развертывании этих моделей в Azure AI Studio их доступность распространяется на применимое соглашение об уровне обслуживания Azure (SLA), а корпорация Майкрософт предоставляет поддержку проблем с развертыванием.
Модели от партнеров, таких как Meta, NVIDIA и Mistral AI, являются примерами моделей, доступных в этой коллекции в каталоге. Эти модели можно определить, найдите зеленый флажок на плитках модели в каталоге. Вы также можете отфильтровать данные по коллекции ИИ Azure.
Модели Azure OpenAI доступны исключительно в Azure: флагманские модели Azure OpenAI, доступные через интеграцию со службой Azure OpenAI. Корпорация Майкрософт поддерживает эти модели и их использование в соответствии с условиями продукта и соглашением об уровне обслуживания для Azure OpenAI Service.
Откройте модели из концентратора распознавания лиц Hugging: сотни моделей из концентратора распознавания лиц для вывода в режиме реального времени с управляемыми вычислениями. Hugging Face создает и поддерживает модели, перечисленные в этой коллекции. Чтобы помочь, воспользуйтесь форумом hugging Face или Hugging Face support. Дополнительные сведения см. в разделе "Развертывание открытых моделей с помощью Azure AI Studio".
Вы можете отправить запрос на добавление модели в каталог моделей с помощью этой формы.
Общие сведения о возможностях каталога моделей
Вы можете развернуть некоторые модели в управляемых моделях Azure AI и Open из коллекций Концентратора распознавания лиц с управляемым параметром вычислений. Некоторые модели доступны для развертывания с помощью бессерверных API с выставлением счетов по мере использования.
Вы можете обнаруживать, сравнивать, оценивать, настраивать (при поддержке) и развертывать эти модели в масштабе. Затем вы можете интегрировать модели в созданные приложения ИИ с корпоративной безопасностью и управлением данными. В следующем списке подробно описаны действия.
- Обнаружение: просмотр карточек моделей, пример вывода и просмотр примеров кода для оценки, точной настройки или развертывания модели.
- Сравнение: сравнивайте тесты между моделями и наборами данных, доступными в отрасли, чтобы оценить, какой из них соответствует вашему бизнес-сценарию.
- Оценка. Оцените, подходит ли модель для конкретной рабочей нагрузки, предоставив собственные тестовые данные. Используйте метрики оценки, чтобы визуализировать, насколько хорошо выбранная модель выполняется в вашем сценарии.
- Тонкой настройки: настройте точно настраиваемые модели с помощью собственных обучающих данных и выберите лучшую модель, сравнивая метрики во всех заданиях точной настройки. Встроенные оптимизации ускоряют настройку и сокращают необходимую память и вычислительные ресурсы.
- Развертывание: развертывание предварительно обученных моделей или точно настроенных моделей для вывода. Можно также скачать модели, которые можно развернуть для управляемых вычислений.
Дополнительные сведения о моделях Azure OpenAI см. в статье "Что такое Служба Azure OpenAI?".
Развертывание модели: управляемые вычислительные ресурсы и бессерверный API (оплата по мере использования)
Каталог моделей предлагает два различных способа развертывания моделей для использования: управляемых вычислительных и бессерверных API.
Варианты развертывания и функции, доступные для каждой модели, зависят, как описано в следующих таблицах. Дополнительные сведения об обработке данных с параметрами развертывания.
| Функции | Управляемые вычисления | Бессерверный API (оплата по мере использования) |
|---|---|---|
| Интерфейс развертывания и выставление счетов | Весы модели развертываются на выделенных виртуальных машинах с управляемыми вычислительными ресурсами. Управляемые вычислительные ресурсы, которые могут иметь одно или несколько развертываний, предоставляет REST API для вывода. Плата взимается за основные часы виртуальных машин, которые используются развертываниями. | Доступ к моделям осуществляется через развертывание, которое подготавливает API для доступа к модели. API предоставляет доступ к модели, в которую майкрософт размещается и управляет ими, для вывода. Плата за входные и выходные данные в API обычно взимается в токенах. Сведения о ценах предоставляются перед развертыванием. |
| Проверка подлинности API | Ключи и проверка подлинности Microsoft Entra. | Только ключи. |
| Безопасность содержимого | Используйте API службы безопасности содержимого Azure. | Фильтры безопасности содержимого ИИ Azure доступны как интегрированные с API вывода. Фильтры безопасности содержимого Azure оплачиваются отдельно. |
| Сетевая изоляция | Настройте управляемые сети для центров Azure AI Studio. | Управляемые вычисления следуют параметру флага доступа к общедоступной сети (PNA) концентратора. Дополнительные сведения см. в разделе " Сетевая изоляция для моделей, развернутых с помощью бессерверных API" далее в этой статье. |
| Модель | Управляемые вычисления | Бессерверный API (оплата по мере использования) |
|---|---|---|
| Модели семейства Llama | Лама-2-7b Лама-2-7b-чат Лама-2-13b Ллома-2-13b-чат Лама-2-70b Ллома-2-70b-чат Лама-3-8B-Instruct Лама-3-70B-Instruct Лама-3-8B Llama-3-70B |
Лама-3-70B-Instruct Лама-3-8B-Instruct Лама-2-7b Лама-2-7b-чат Лама-2-13b Ллома-2-13b-чат Лама-2-70b Llama-2-70b-chat |
| Модели семейства Mistral | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Мистраль-большой (2402) Мистраль-большой (2407) Мистраль-маленький Мистраль-NeMo |
| Модели семейства Cohere | Недоступно | Cohere-command-r-plus-08-2024 Cohere-command-r-08-2024 Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-многоязычный Cohere-rerank-v3-english Cohere-rerank-v3-многоязычный |
| JAIS | Недоступно | jais-30b-chat |
| Семейные модели Phi-3 | Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct Phi-3-vision-128k-Instruct Phi-3.5-mini-Instruct Phi-3.5-vision-instruct Phi-3.5-MoE-Instruct |
Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct Phi-3.5-mini-Instruct Phi-3.5-vision-instruct Phi-3.5-MoE-Instruct |
| Nixtla | Недоступно | TimeGEN-1 |
| Другие модели | Доступно | Недоступно |
Управляемые вычисления
Возможность развертывания моделей в качестве управляемых вычислительных ресурсов основана на возможностях платформы Машинное обучение Azure для обеспечения простой интеграции широкой коллекции моделей в каталоге моделей во всем жизненном цикле операций с крупной языковой моделью (LLM).
Доступность моделей для развертывания как управляемых вычислений
Модели становятся доступными с помощью Машинное обучение Azure реестров. Эти реестры позволяют использовать подход машинного обучения к размещению и распределению Машинное обучение Azure ресурсов. К этим ресурсам относятся весы моделей, среды выполнения контейнеров для выполнения моделей, конвейеры для оценки и точной настройки моделей, а также наборы данных для тестов и примеров.
Реестры создаются на основе высокомасштабируемой и корпоративной инфраструктуры, которая:
Предоставляет артефакты модели доступа с низкой задержкой во всех регионах Azure с встроенной георепликацией.
Поддерживает требования корпоративной безопасности, такие как ограничение доступа к моделям с помощью Политика Azure и безопасного развертывания с помощью управляемых виртуальных сетей.
Развертывание моделей для вывода с помощью управляемых вычислений
Модели, доступные для развертывания для управляемых вычислений, можно развернуть для Машинное обучение Azure управляемых вычислений для вывода в режиме реального времени. При развертывании на управляемых вычислительных ресурсах требуется квота виртуальной машины в подписке Azure для определенных продуктов, которые необходимо оптимально запустить модель. Некоторые модели позволяют развертывать временно общую квоту для тестирования моделей.
Дополнительные сведения о развертывании моделей:
Создание созданных приложений ИИ с помощью управляемых вычислений
Функция потока запросов в Машинное обучение Azure предлагает отличный интерфейс для создания прототипов. Модели, развернутые с управляемыми вычислительными ресурсами в потоке запросов, можно использовать с помощью средства Open Model LLM. Вы также можете использовать REST API, предоставляемый управляемыми вычислениями, в популярных инструментах LLM, таких как LangChain с расширением Машинное обучение Azure.
Безопасность содержимого для моделей, развернутых как управляемые вычислительные ресурсы
Служба безопасности содержимого ИИ Azure доступна для использования с управляемыми вычислительными ресурсами на экране для различных категорий вредного содержимого, таких как сексуальное содержимое, насилие, ненависть и самоповредение. Вы также можете использовать службу для просмотра дополнительных угроз, таких как обнаружение рисков в тюрьме и обнаружение защищенного текста материала.
Эту записную книжку можно использовать для справки по интеграции с безопасностью содержимого ИИ Azure для Llama 2. Кроме того, вы можете использовать средство "Безопасность содержимого ( текст) в потоке запроса для передачи ответов от модели в Службу безопасности содержимого ИИ Azure для проверки. Плата взимается отдельно за использование, как описано в ценах на безопасность содержимого ИИ Azure.
Бессерверные API с выставлением счетов по мере использования
Вы можете развернуть определенные модели в каталоге моделей в качестве бессерверных API с выставлением счетов по мере использования. Этот метод развертывания, иногда называемый моделью как услуга (MaaS), предоставляет способ использования моделей в качестве API без размещения их в подписке. Модели размещаются в управляемой корпорацией Майкрософт инфраструктуре, которая обеспечивает доступ на основе API к модели поставщика моделей. Доступ на основе API может значительно сократить затраты на доступ к модели и упростить процесс подготовки.
Модели, доступные для развертывания в качестве бессерверных API с выставлением счетов по мере использования, предлагаются поставщиком моделей, но они размещаются в инфраструктуре, управляемой Корпорацией Майкрософт, и доступ к ним осуществляется через API. Поставщики моделей определяют условия лицензии и устанавливают цену на использование своих моделей. Служба Машинное обучение Azure:
- Управляет инфраструктурой размещения.
- Делает интерфейсы API вывода доступными.
- Выступает в качестве обработчика данных для запросов, отправленных и выходных данных содержимого моделями, развернутыми с помощью MaaS.
Дополнительные сведения об обработке данных для MaaS см. в статье о конфиденциальности данных.
Выставление счетов
Интерфейс обнаружения, подписки и потребления моделей, развернутых с помощью MaaS, находится в Azure AI Studio и Студия машинного обучения Azure. Пользователи принимают условия лицензии для использования моделей. Сведения о ценах на потребление предоставляются во время развертывания.
Счета за модели от поставщиков, отличных от Майкрософт, выставляются через Azure Marketplace в соответствии с условиями использования Коммерческой платформы Майкрософт.
Счета за модели от Корпорации Майкрософт выставляются через метры Azure в качестве служб потребления первой стороны. Как описано в условиях продукта, вы приобретаете службы потребления первой стороны с помощью счетчиков Azure, но они не применяются к условиям службы Azure. Использование этих моделей распространяется на указанные условия лицензионного соглашения.
Модели точной настройки
Некоторые модели также поддерживают бессерверную настройку. Для этих моделей можно воспользоваться преимуществами размещенной точной настройки с выставлением счетов по мере использования, чтобы настроить модели с помощью предоставленных данных. Дополнительные сведения см. в обзоре тонкой настройки.
RAG с моделями, развернутыми как бессерверные API
В Azure AI Studio можно использовать векторные индексы и расширенное поколение (RAG). Вы можете использовать модели, которые можно развернуть с помощью бессерверных API для создания внедрения и вывода на основе пользовательских данных. Эти внедрения и вывод могут затем создавать ответы, относящиеся к вашему варианту использования. Дополнительные сведения см. в статье о сборке и использовании векторных индексов в Azure AI Studio.
Региональная доступность предложений и моделей
Выставление счетов по мере использования доступно только пользователям, подписка Azure которой принадлежит учетной записи выставления счетов в стране, где поставщик моделей сделал предложение доступным. Если предложение доступно в соответствующем регионе, пользователь должен иметь концентратор или проект в регионе Azure, где модель доступна для развертывания или тонкой настройки, как применимо. Доступность регионов для моделей в конечных точках API без сервера | Azure AI Studio для получения подробных сведений.
Безопасность содержимого для моделей, развернутых с помощью бессерверных API
Для языковых моделей, развернутых с помощью бессерверных API, Azure AI реализует конфигурацию по умолчанию фильтров модерации текста безопасности содержимого ИИ Azure, которые обнаруживают вредное содержимое, например ненависть, самоповредение, сексуальное и насильственное содержимое. Дополнительные сведения о фильтрации содержимого (предварительная версия) см. в статьях "Безопасность содержимого ИИ Azure".
Совет
Фильтрация содержимого (предварительная версия) недоступна для определенных типов моделей, развернутых через бессерверные API. Эти типы моделей включают внедрение моделей и моделей временных рядов.
Фильтрация содержимого (предварительная версия) выполняется синхронно, так как процессы службы запрашивают создание содержимого. Вы можете выставлять счета отдельно в соответствии с ценами на безопасность содержимого искусственного интеллекта Azure для такого использования. Вы можете отключить фильтрацию содержимого (предварительная версия) для отдельных бессерверных конечных точек:
- Во время первого развертывания языковой модели
- Позже, выбрав переключатель фильтрации содержимого на странице сведений о развертывании
Предположим, вы решите использовать API, отличный от API вывода модели ИИ Azure, для работы с моделью, развернутой через бессерверный API. В такой ситуации фильтрация содержимого (предварительная версия) не включена, если только вы не реализуете его отдельно с помощью безопасности содержимого ИИ Azure.
Сведения о начале работы с безопасностью содержимого ИИ Azure см . в кратком руководстве по анализу текстового содержимого. Если при работе с моделями, развернутыми через бессерверные API, не используется фильтрация содержимого (предварительная версия), то при работе с моделями, развернутыми через бессерверные API, возникает более высокий риск предоставления пользователям вредного содержимого.
Сетевая изоляция для моделей, развернутых с помощью бессерверных API
Управляемые вычисления для моделей, развернутых как бессерверные API, следуют параметру флага доступа к общедоступной сети концентратора AI Studio, в котором находится проект, в котором существует развертывание. Чтобы защитить управляемые вычислительные ресурсы, отключите флаг доступа к общедоступной сети в концентраторе AI Studio. Вы можете защитить входящий трафик от клиента к управляемому вычислению с помощью частной конечной точки для концентратора.
Чтобы задать флаг доступа к общедоступной сети для центра AI Studio, выполните следующие действия.
- Переход на портал Azure.
- Найдите группу ресурсов, к которой принадлежит концентратор, и выберите центр AI Studio из ресурсов, перечисленных для этой группы ресурсов.
- На странице обзора концентратора на левой панели перейдите в раздел "Параметры>сети".
- На вкладке "Общедоступный доступ" можно настроить параметры для флага доступа к общедоступной сети.
- Сохранение изменений. Для распространения изменений может потребоваться до пяти минут.
Ограничения
Если у вас есть центр AI Studio с управляемыми вычислительными ресурсами, созданными до 11 июля 2024 г., управляемые вычисления, добавленные в проекты в этом концентраторе, не будут соответствовать конфигурации сети концентратора. Вместо этого необходимо создать управляемые вычислительные ресурсы для концентратора и создать в проекте новые бессерверные развертывания API, чтобы новые развертывания могли следовать конфигурации сети концентратора.
Если у вас есть центр AI Studio с развертываниями MaaS, созданными до 11 июля 2024 г., и вы включите управляемые вычисления в этом концентраторе, существующие развертывания MaaS не будут соответствовать конфигурации сети концентратора. Для развертываний бессерверных API в концентраторе, чтобы следовать конфигурации сети центра, необходимо снова создать развертывания.
В настоящее время поддержка Azure OpenAI On Your Data недоступна для развертываний MaaS в частных центрах, так как частные центры отключили флаг доступа к общедоступной сети.
Любое изменение конфигурации сети (например, включение или отключение флага доступа к общедоступной сети) может занять до пяти минут.