Изучение моделей Microsoft Foundry в Машинное обучение Azure

Модели Microsoft Foundry — это универсальное место для обнаружения, оценки и развертывания мощных моделей ИИ. Независимо от того, разрабатываете ли вы индивидуального помощника, создаете агента, улучшаете существующее приложение или изучаете новые возможности искусственного интеллекта, модели Foundry предложат вам все необходимое.

С помощью моделей Foundry можно:

  • Изучите широкий каталог передовых моделей от Майкрософт, OpenAI, DeepSeek, Hugging Face, Meta и многое другое.
  • Сравнивайте и оценивайте модели, используя реальные задачи и собственные данные.
  • Благодаря встроенным инструментам для точной настройки, наблюдаемости и ответственного ИИ вы можете развёртывать с уверенностью.
  • Выберите свой путь— принесите собственную модель, используйте размещенную или легко интегрируйте с службами Azure.
  • Независимо от того, является ли вы разработчиком, специалистом по обработке и анализу данных или корпоративным архитектором, Foundry Models, предоставляет гибкость и контроль над созданием решений искусственного интеллекта, которые масштабируемы , безопасно, ответственно и быстро.

Foundry предлагает полный каталог моделей искусственного интеллекта. Существует более 1900 моделей, начиная от базовых моделей, моделей причин, небольших языковых моделей, многомодальных моделей, моделей предметной области, отраслевых моделей и т. д.

Каталог организован в две основные категории:

Понимание различий между этими категориями помогает выбрать правильные модели на основе конкретных требований и стратегических целей.

Модели Foundry, предлагаемые Azure

Корпорация Майкрософт размещает и продает эти модели в соответствии с условиями продукта Майкрософт. Эти модели проходят строгую оценку и глубоко интегрируются в экосистему ИИ Azure. Они приходят от различных ведущих поставщиков и предлагают расширенную интеграцию, оптимизированную производительность и прямую поддержку Майкрософт, включая соглашения об уровне обслуживания корпоративного уровня (SLA).

Характеристики этих прямых моделей:

  • Официальная поддержка от корпорации Майкрософт
  • Высокий уровень интеграции со службами и инфраструктурой Azure
  • Расширенное тестирование производительности и проверка
  • Соблюдение стандартов ответственного искусственного интеллекта Майкрософт
  • Масштабируемость, надежность и безопасность корпоративного уровня

Эти модели также имеют преимущество взаимозаменяемой выделенной пропускной способности, что означает, что вы можете гибко использовать квоту и резервирования в любую из этих моделей.

Модели от партнеров и сообщества

Эти модели составляют большую часть моделей Foundry. Доверенные организации, партнеры, исследовательские лаборатории и участники сообщества предоставляют эти модели. Они предлагают специализированные и разнообразные возможности ИИ, охватывающие широкий спектр сценариев, отраслей и инноваций.

Характеристики моделей от партнеров и сообщества:

  • Разработан и поддерживается внешними партнерами и участниками сообщества
  • Разнообразный спектр специализированных моделей, предназначенных для нишевых или более широких вариантов использования.
  • Как правило, проверяется самими поставщиками с рекомендациями по интеграции, предоставляемыми Azure
  • Инновации, управляемые сообществом, и быстрая доступность передовых моделей
  • Стандартная интеграция Azure ИИ с поддержкой и обслуживанием, управляемыми соответствующими поставщиками

Вы можете развертывать модели с помощью управляемых вычислений или стандартных (по мере использования) вариантов развертывания. Поставщик модели выбирает способ развертывания моделей.

Выбор между прямыми моделями и моделями партнеров и сообщества

При выборе моделей из Foundry Models учитывайте следующие факторы:

  • Вариант использования и требования. Модели, проданные Azure, идеально подходят для сценариев, требующих глубокой интеграции Azure, гарантированной поддержки и корпоративных соглашений об уровне обслуживания. Модели экосистем Azure можно использовать в специализированных сценариях использования и сценариях, управляемых инновациями.
  • Ожидания поддержки: модели, проданные Azure, обеспечивают надежную поддержку и обслуживание, предоставляемые Microsoft. Поставщики поддерживают свои модели с различными уровнями соглашения об уровне обслуживания и структурами поддержки.
  • Инновации и специализация. Модели от партнеров и сообщества предлагают быстрый доступ к специализированным инновациям и нишевым возможностям, часто разработанным ведущими исследовательскими лабораториями и новыми поставщиками ИИ.

Коллекции моделей

Каталог моделей упорядочивает модели в разные коллекции:

  • Azure модели OpenAI, доступные исключительно на Azure: флагманские модели Azure OpenAI, доступные через интеграцию с Azure OpenAI в Foundry Models. Корпорация Майкрософт поддерживает эти модели и их использование в соответствии с условиями продукта и SLA для Azure OpenAI в модели Foundry.

  • Откройте модели из хаба Hugging Face: сотни моделей из хаба Hugging Face для инференции в реальном времени с управляемыми вычислениями. Hugging Face создает и поддерживает модели, перечисленные в этой коллекции. Для получения помощи воспользуйтесь форумом Hugging Face или обращайтесь в поддержку Hugging Face. Дополнительные сведения см. в разделе "Развертывание открытых моделей с помощью Foundry".

Чтобы запросить добавление модели в каталог моделей, используйте эту форму.

Общие сведения о возможностях каталога моделей

Каталог моделей на портале Foundry — это центр для обнаружения и использования широкого спектра моделей для создания создаваемых приложений ИИ. Каталог моделей содержит сотни моделей в разных поставщиках моделей, таких как Azure OpenAI, Mistral, Meta, Cohere, NVIDIA и Hugging Face, включая модели, обученные Корпорацией Майкрософт. Модели от поставщиков, отличных от корпорации Майкрософт, являются продуктами, не являющихся корпорацией Майкрософт, как определено в условиях продуктов Майкрософт, и применяются к условиям, предоставленным моделями.

Вы можете искать и обнаруживать модели, соответствующие вашим требованиям, с помощью поиска ключевых слов и фильтров. Каталог моделей также предлагает таблицу лидеров производительности моделей и эталонные метрики для выбранных моделей. Их можно получить доступ, выбрав Просмотреть таблицу лидеров и Сравнить модели. Данные бенчмарка также доступны на вкладке "Эталонная карта модели".

В фильтрах каталога моделей вы найдете:

  • Коллекция: фильтрация моделей на основе коллекции поставщиков моделей.
  • Отрасль: отбор моделей, обученных на наборе данных, специфическом для отрасли.
  • Возможности: фильтрация для уникальных функций модели, таких как причины и вызов инструментов.
  • Варианты развертывания: фильтрация моделей, поддерживающих определенные варианты развертывания.
    • Стандартный: оплата за вызов API.
    • Подготовленная модель: лучше всего подходит для оценки в режиме реального времени для большого постоянного объема.
    • Пакетная обработка: лучше всего подходит для оптимизированных по затратам пакетных заданий, но не для работы, требующей низкой задержки. Для пакетного развертывания не предоставляется поддержка игровой площадки.
    • Управляемые вычислительные ресурсы: развертывание модели на виртуальной машине Azure. Вы оплачиваете хостинг и инференс.
  • Задачи вывода: модели фильтрации на основе типа задачи вывода.
  • Задачи точной настройки: фильтрация моделей на основе типа настраиваемой задачи.
  • Лицензии: фильтрация моделей на основе типа лицензии.

На карточке модели вы найдете:

  • Краткие факты: основная информация о модели в одном взгляде.
  • Подробные сведения о модели, включая описание, сведения о версии, поддерживаемый тип данных и многое другое.
  • Тесты: метрики теста производительности для выборки моделей.
  • Существующие развертывания: если вы уже развернули модель, ее можно найти на вкладке "Существующие развертывания ".
  • Лицензия: юридическая информация, связанная с лицензированием модели.
  • Артефакты: отображаются только для открытых моделей. Вы можете просмотреть модельные активы и скачать их через пользовательский интерфейс.

Развертывание модели: управляемые вычислительные ресурсы и бессерверные развертывания

Помимо моделей Azure OpenAI, каталог моделей предлагает два различных способа развертывания моделей для использования: управляемых вычислений и бессерверных развертываний.

Варианты развертывания и функции, доступные для каждой модели, зависят, как описано в следующих таблицах. Узнайте больше об обработке данных с параметрами развертывания.

Возможности параметров развертывания модели

Функции Управляемые вычисления Бессерверные развертывания
Опыт развертывания и выставления счетов Развертывание весов модели на выделенных виртуальных машинах с помощью управляемых вычислений. Управляемые вычисления могут иметь одно или несколько развертываний и предоставляют доступ к REST API для проведения выводов. С вас взимается плата за часы работы ядер виртуальных машин, которые используются развертываниями. Доступ к моделям через развертывание, которое подготавливает API для доступа к модели. API предоставляет доступ к модели, которую размещает и управляет Майкрософт для инференса. Плата за входные и выходные данные в API обычно взимается в токенах. Сведения о ценах предоставляются перед развертыванием.
Проверка подлинности API Ключи и проверка подлинности Microsoft Entra. Ключи и проверка подлинности Microsoft Entra.
Безопасность содержимого Используйте API службы Безопасность содержимого ИИ Azure. Фильтры системы безопасности контента Azure AI доступны в интеграции с API вывода. Безопасность содержимого ИИ Azure фильтры оплачиваются отдельно.
Сетевая изоляция Настройте управляемые сети для центров Foundry. Бессерверные развертывания следуют параметру флага доступа к общедоступной сети (PNA) центра. Дополнительные сведения см. в разделе " Сетевая изоляция для моделей, развернутых с помощью стандартных развертываний " далее в этой статье.

Управляемые вычисления

Возможность развертывания моделей с использованием управляемых вычислительных мощностей, основанных на платформах Машинное обучение Azure, обеспечивает бесшовную интеграцию на протяжении всего жизненного цикла GenAIOps (иногда называемого LLMOps) для широкой коллекции моделей в каталоге моделей.

Схема жизненного цикла LLMops.

Доступность моделей для развертывания как управляемых вычислительных сервисов

Эти модели можно получить через реестры Машинного обучения Azure. Они позволяют использовать подход ml-first для размещения и распределения ресурсов машинного обучения, таких как веса модели, контейнерные среды выполнения для выполнения моделей, конвейеры для оценки и точной настройки моделей, а также наборы данных для испытаний и образцов. Эти реестры машинного обучения создаются на основе высокомасштабируемой и корпоративной инфраструктуры, которая:

Развертывание моделей для вывода с помощью управляемых вычислений

Разверните модели, доступные для развертывания с управляемыми вычислительными ресурсами в онлайн-конечных точках Машинное обучение Azure для выполнения вывода в реальном времени, или используйте их для пакетного вывода Машинное обучение Azure, чтобы выполнить пакетную обработку ваших данных. Для развертывания управляемых вычислений требуется квота виртуальных машин в вашей подписке Azure для конкретных SKU, необходимых для оптимальной работы модели. Некоторые модели позволяют развертывать временно выделенную квоту для тестирования модели. Дополнительные сведения о развертывании моделей:

Создание генеративных ИИ приложений с помощью управляемых вычислительных ресурсов

Поток подсказок предлагает возможности для создания прототипов, экспериментирования, чередования и развертывания ваших ИИ-приложений. Модели, развернутые с управляемыми вычислительными ресурсами в потоке запросов, можно использовать с помощью средства LLM, поддерживающего все модели, доступные через API вывода модели ИИ Azure. Вы также можете использовать REST API, предоставляемый управляемыми вычислениями, в популярных инструментах LLM, таких как LangChain с пакетом langchain-azure-ai.

Безопасность содержимого для моделей, развернутых как управляемые вычислительные ресурсы

Безопасность содержимого искусственного интеллекта Azure доступна для использования с моделями, развернутыми на управляемых вычислительных мощностях, для проверки различных категорий вредного содержимого, таких как сексуальное содержимое, насилие, ненависть и самоповреждение, а также для предотвращения дополнительных угроз, как, например, обнаружение рисков взлома и защищенное обнаружение материалов. Используйте средство "Безопасность содержимого (текст) в потоке запросов", чтобы передать ответы модели для проверки их с помощью Безопасность содержимого ИИ Azure, или интегрируйте непосредственно с помощью API служб безопасности содержимого Azure. Выставление счетов производится отдельно в соответствии с тарифами на обеспечение безопасности содержимого Azure AI для такого использования.

Бессерверные развертывания

В каталоге моделей можно развернуть определенные модели в качестве бессерверных развертываний. Корпорация Майкрософт размещает модели в управляемой инфраструктуре, которая обеспечивает доступ на основе API к модели поставщика моделей. Доступ на основе API может значительно сократить затраты на доступ к модели и значительно упростить процесс подготовки. Большинство бессерверных развертываний используют оплату на основе токенов.

Как модели, отличные от Майкрософт, становятся доступными в качестве бессерверных развертываний?

Диаграмма, показывающая цикл службы модель издателя.

Поставщики моделей предлагают модели для бессерверного развертывания, но Корпорация Майкрософт размещает эти модели в инфраструктуре Azure и предоставляет доступ через API. Поставщики моделей устанавливают условия лицензии и цену для своих моделей. Служба машинного обучения Azure управляет инфраструктурой размещения, предоставляет доступные API вывода и выступает в качестве обработчика данных для отправки запросов и вывода содержимого моделями, развернутыми в качестве бессерверных развертываний. Дополнительные сведения об обработке данных см. в статье о конфиденциальности данных .

Замечание

Подписки поставщика облачных решений (CSP) не могут приобретать стандартные модели развертывания.

Выставление счетов

Портал Foundry и Студия машинного обучения Azure предоставляют возможности обнаружения, подписки и потребления моделей, развернутых в качестве бессерверных развертываний. Пользователи принимают условия лицензии для использования моделей. Сведения о ценах на потребление предоставляются во время развертывания.

Вы оплачиваете модели от поставщиков, отличных от Майкрософт, через Azure Marketplace, в соответствии с условиями использования Microsoft Commercial Marketplace.

Вы оплачиваете модели от Microsoft через метрики Azure в качестве услуг потребления первого лица. Как описано в условиях продукта, вы приобретаете службы потребления первой стороны с помощью счетчиков Azure, но эти службы не применяются к условиям службы Azure. Использование этих моделей подпадает под указанные лицензионные условия.

Тонкая настройка моделей

Для моделей, доступных в качестве бессерверных развертываний, которые поддерживают точную настройку, можно воспользоваться преимуществами размещенной тонкой настройки для настройки моделей с помощью собственных данных. Для получения дополнительной информации см. раздел тонкой настройки моделей на портале Foundry.

RAG с моделями, которые развернуты как стандартные конфигурации.

Foundry позволяет пользователям использовать векторные индексы и получение дополненного поколения. Вы можете использовать модели, которые развертываются в стандартной конфигурации, для формирования эмбеддингов и вывода на основе пользовательских данных с целью получения ответов, специфичных для вашего случая использования. Дополнительные сведения см. в разделе "Получение дополненного поколения" и индексов.

Региональная доступность предложений и моделей

Пользователи могут получить доступ к бессерверным развертываниям, только если их подписка Azure принадлежит платежному аккаунту в стране или регионе, где поставщик моделей предоставляет свою услугу. Если предложение доступно в соответствующем регионе, пользователь должен иметь концентратор или проект в регионе Azure, где модель доступна для развертывания или тонкой настройки, как применимо. Подробные сведения см. в разделе "Доступность регионов" для моделей в стандартных развертываниях.

Безопасность содержимого для моделей, развернутых с помощью стандартных развертываний

Это важно

Эта функция сейчас доступна в общедоступной предварительной версии. Эта предварительная версия предоставляется без соглашения об уровне обслуживания, и мы не рекомендуем использовать её для производственных нагрузок. Некоторые функции могут не поддерживаться или их возможности могут быть ограничены.

Дополнительные сведения см. в разделе Supplemental Terms of Use for Microsoft Azure Previews.

Для языковых моделей, развернутых через бессерверный API, Azure ИИ реализует фильтры модерации текста Безопасность содержимого ИИ Azure по умолчанию, которые обнаруживают вредный контент, например ненависть, самоповреждение, сексуальный и насильственный контент. Дополнительные сведения о фильтрации контента см. в разделе Ограничения и элементы управления для моделей, продаваемых в Azure.

Подсказка

Фильтрация содержимого недоступна для определенных типов моделей, развернутых через бессерверный API. Эти типы моделей включают модели встраивания и модели временных рядов.

Фильтрация содержимого выполняется синхронно, когда служба обрабатывает запросы на создание контента. Вам может быть выставлен отдельный счет в соответствии с ценами Безопасность содержимого ИИ Azure за такое использование. Вы можете отключить фильтрацию содержимого для отдельных бессерверных конечных точек:

  • Во время первого развертывания языковой модели
  • Позже, выбрав переключатель фильтрации содержимого на странице сведений о развертывании

Предположим, что вы решили использовать API, отличный от пакета SDK Azure OpenAI, с api Azure OpenAI версии 1 для работы с моделью, развернутой с помощью бессерверного API. В такой ситуации фильтрация содержимого не включена, если только вы не реализуете его отдельно с помощью Безопасность содержимого ИИ Azure.

Чтобы начать работу с Безопасность содержимого ИИ Azure, см. Quickstart: анализ текстового содержимого. Если при работе с моделями, развернутыми через бессерверный API, вы не используете фильтрацию содержимого, вы рискуете предоставить пользователям вредное содержимое.

Сетевая изоляция для моделей, развернутых в стандартных развертываниях

Конечные точки для моделей, развернутых в формате стандартных развертываний, следуют флагу доступа к общедоступной сети (PNA) рабочей области, где осуществляется развертывание. Чтобы защитить конечную точку развертывания без сервера, отключите флаг PNA в рабочей области. Вы можете защитить входящий трафик от клиента к конечной точке с помощью частной конечной точки для рабочей области.

Чтобы задать флаг PNA для рабочей области, выполните следующие действия.

  • Перейдите к Azure portal.
  • Найдите Машинное обучение Azure и выберите рабочую область из списка рабочих областей.
  • На странице "Обзор " перейдите в раздел "Параметры>сети" с помощью левой панели.
  • На вкладке "Общедоступный доступ" настройте параметры для флага доступа к общедоступной сети.
  • Сохраните ваши изменения. Для распространения изменений может потребоваться до пяти минут.

Ограничения

  • Если у вас есть рабочая область с частной конечной точкой, созданной до 11 июля 2024 года, новые бессерверные конечные точки развертывания, добавленные в эту рабочую область, не следуют его конфигурации сети. Вместо этого необходимо создать частную конечную точку для рабочей области и создать новые бессерверные развертывания в рабочей области, чтобы новые развертывания могли следовать конфигурации сети рабочей области.
  • Если у вас есть рабочая область с бессерверными развертываниями, созданными до 11 июля 2024 г., и вы включите частную конечную точку в этой рабочей области, существующие бессерверные развертывания не соответствуют конфигурации сети рабочей области. Чтобы привести бессерверные развертывания в рабочем пространстве в соответствие с требованиями сети, необходимо снова создать развертывания.
  • В настоящее время поддержка функции On Your Data недоступна для бессерверных развертываний в частных рабочих областях, поскольку в частных рабочих областях отключен флаг PNA.
  • Любое изменение конфигурации сети (например, включение или отключение флага PNA) может занять до пяти минут для распространения.

Связанный контент

  • Last updated on