Архитектура Microsoft Foundry (классическая)

В настоящее время просмотр:Версия портала Foundry (классическая версия) - Переключиться на версию для нового портала Foundry

Примечание

Содержание в новой документации Microsoft Foundry может открываться по ссылкам в этой статье вместо документации Foundry (классической версии), которую вы просматриваете сейчас.

Microsoft Foundry упорядочивает рабочие нагрузки ИИ с помощью многоуровневой архитектуры: ресурс Foundry верхнего уровня для управления, проектов для изоляции разработки и подключенных служб Azure для хранения, поиска и управления секретами.

В этой статье содержатся сведения об ит-операциях и группах безопасности с подробными сведениями об ресурсе Foundry и базовой архитектуре службы Azure, его компонентах и его отношениях с другими типами ресурсов Azure. Используйте эти сведения, чтобы настроить развертывание Foundry в соответствии с требованиями вашей организации. Дополнительные сведения о том, как развернуть Foundry в организации, см. в разделе "Развертывание Foundry".

Когда следует использовать эту архитектуру

Рассмотрим модель ресурсов Foundry, если этот сценарий включает в себя следующее:

  • При первой настройке: вы запускаете новый проект ИИ и хотите один ресурс, который объединяет доступ к модели, размещение агентов и средства оценки.
  • Доступ к нескольким командам: для нескольких команд требуются изолированные проекты с развертываниями общей модели и централизованным управлением.
  • Проектирование на основе соответствия требованиям. Для вашей организации требуется частное сетевое подключение, шифрование, управляемое клиентом, или область действия Azure RBAC на уровне ресурсов и проектов.
  • Миграция Azure OpenAI. Вы переходите из автономного ресурса Azure OpenAI и хотите сохранить существующие политики и RBAC при добавлении возможностей агента и оценки.

Для исследования, проводимого одним разработчиком, рекомендуемым по умолчанию является ресурс Foundry с одним проектом. Если для вашей рабочей нагрузки нужны только завершения Azure OpenAI без хостинга или оценки агента, автономного ресурса Azure OpenAI может быть достаточно.

Типы ресурсов и поставщики ресурсов ИИ Azure

В семействе продуктов ИИ Azure можно использовать эти поставщики ресурсов Azure , которые поддерживают потребности пользователей на разных уровнях в стеке.

Поставщик ресурсов Цель Поддерживаемые службы
Microsoft.CognitiveServices Поддерживает разработку приложений Agentic и GenAI для создания и настройки предварительно созданных моделей. Литейное производство; Azure OpenAI; Azure Speech в средствах Foundry; Azure Language в средствах Foundry; Azure Vision в средствах Foundry
Microsoft.Search Поддерживает извлечение знаний из ваших данных Поиск по искусственному интеллекту Azure

Для большинства сценариев разработки ИИ, включая сборку агентов, развертывание модели и рабочие процессы оценки, ресурс Foundry является рекомендуемой отправной точкой. Ресурсы foundry используют пространство имен поставщика Microsoft.CognitiveServices совместно с такими службами, как Azure OpenAI, Speech, Vision и Language. Это пространство имен общего поставщика помогает выровнять API управления, шаблоны управления доступом, сетевые сети и поведение политики в связанных ресурсах ИИ.

Используйте следующую таблицу, чтобы определить тип ресурса, соответствующий рабочей нагрузке. В нем показаны определенные типы ресурсов и возможности в поставщике Microsoft.CognitiveServices:

Тип ресурса Поставщик ресурсов и тип Тип Поддерживаемые возможности
Microsoft Foundry Microsoft.CognitiveServices/accounts AIServices Агенты, оценки, Azure OpenAI, речь, визуальное распознавание, язык и понимание содержимого
Проект Foundry Microsoft.CognitiveServices/accounts/projects AIServices Подресурс, относящийся к вышеупомянутому
Речь Azure в инструментах Foundry Microsoft.CognitiveServices/accounts Speech Речи
Язык Azure в средствах Foundry Microsoft.CognitiveServices/accounts Language Язык
Azure Vision в средствах литейного производства Microsoft.CognitiveServices/accounts Vision Видение

Типы ресурсов в одном пространстве имен поставщика используют одинаковые API управления и используют аналогичные действия управления доступом на основе ролей Azure (Azure RBAC), конфигурации сети и псевдонимы для конфигурации политики Azure. Если вы обновляете Azure OpenAI до Foundry, существующие пользовательские политики Azure и действия Azure RBAC продолжают применяться.

Иерархия ресурсов Foundry

На следующей схеме показан ресурс Foundry с развертываниями моделей, параметрами безопасности, подключениями и двумя проектами. Подключенные службы Azure, такие как хранилище, Key Vault и поиск Azure AI, являются отдельными ресурсами Azure в соответствии с собственными границами управления:

Схема, на которой показана иерархия ресурсов Foundry с границей управления, содержащей развертывания моделей, параметры безопасности, подключения и два проекта. Подключенные ресурсы, такие как хранилище, Key Vault и поиск ИИ Azure, отображаются как отдельные границы управления.

Важно

Подключенные ресурсы, такие как хранилище, Key Vault и поиск ИИ Azure, являются независимыми ресурсами Azure с собственными границами управления. Вы управляете сетями, политиками доступа и параметрами соответствия для этих ресурсов отдельно от ресурса Foundry.

Используйте эту модель при планировании архитектуры и границ доступа:

  • Ресурс Foundry: ресурс Azure верхнего уровня, где вы управляете настройками, такими как сетевые, безопасность и развертывание моделей.
  • Проект: граница разработки в ресурсе Foundry, где команды создают и оценивают варианты использования. Проекты позволяют командам создавать прототипы в предварительно настроенной среде, повторно использовать существующие развертывания моделей и подключения без повторной настройки ИТ-отдела.
  • Ресурсы проекта: файлы, агенты, оценки и связанные артефакты, относящиеся к проекту.
  • Подключенные ресурсы: службы Azure, такие как Azure Хранилище, Key Vault и Azure AI Search, на которые ресурс Foundry ссылается через подключения. Эти ресурсы имеют отдельные границы управления, поэтому вы управляете своими сетями и политиками доступа независимо.

Это разделение позволяет ИТ-командам применять централизованные элементы управления на уровне ресурсов, а команды разработчиков работают в границах уровня проекта.

Примечание

Большинство новых API доступны в области проекта. Однако некоторые возможности, изначально поддерживаемые на уровне учетной записи с помощью Azure OpenAI, Speech, Vision и Language services, доступны только на уровне ресурсов Foundry, а не в области проекта. Например, API Переводчика доступен только на уровне ресурса Foundry. Запланируйте структуру развертывания на основе областей API, необходимых для рабочих нагрузок.

Разделение проблем на основе безопасности

Foundry обеспечивает четкое разделение между операциями управления и разработки, чтобы обеспечить безопасные и масштабируемые рабочие нагрузки искусственного интеллекта.

Управление ресурсами верхнего уровня

Операции управления ресурсами верхнего уровня Foundry, такие как настройка безопасности, установка подключения к другим службам Azure и управление развертываниями. Выделенные контейнеры проектов изолируют действия разработки и предоставляют границы для управления доступом, файлов, агентов и оценки.

Управление доступом на основе ролей

Действия Azure RBAC отражают это разделение проблем. Действия уровня управления, такие как создание развертываний и проектов, отличаются от действий плоскости данных, таких как создание агентов, выполнение оценки и отправка файлов. Назначения RBAC можно применять как на уровне ресурса верхнего уровня, так и на уровне отдельного проекта. Назначьте управляемые удостоверения на любом уровне для поддержки безопасной автоматизации и доступа к службам. Дополнительные сведения см. в разделе "Управление доступом на основе ролей" для Microsoft Foundry.

Распространенные начальные задания для внедрения с минимальными привилегиями включают:

  • Пользователь ИИ Azure для каждой учетной записи разработчика-пользователя в пределах области ресурсов Foundry.
  • Пользователь ИИ Azure для каждого управляемого удостоверения проекта в области ресурсов Foundry.

Инструкции по планированию ролей и области см. в разделе "Управление доступом на основе ролей" для Microsoft Foundry.

Мониторинг и наблюдаемость

Azure Monitor сегментирует метрики по области. Вы можете просматривать метрики управления и использования на ресурсе верхнего уровня, а метрики, относящиеся к проекту, такие как производительность оценки или действие агента, относятся к отдельным контейнерам проектов.

К ключевым возможностям мониторинга относятся:

  • Метрики уровня ресурсов: потребление маркеров, задержка модели, количество запросов и частота ошибок во всех проектах.
  • Метрики уровня проекта: результаты выполнения оценки, количество вызовов агента и действие операции с файлами.
  • Ведение журнала диагностики: включение параметров диагностики для маршрутизации журналов в Log Analytics, хранилище или Центры событий для анализа и хранения.

Дополнительные сведения см. в обзоре Azure Monitor.

Инфраструктура вычислений

Foundry управляет вычислительной инфраструктурой для размещения моделей, выполнения агента и пакетной обработки.

Типы развертывания модели

Стандартное развертывание в среде Foundry предоставляет архитектуру размещения моделей.

Управляемые вычисления для агентов и оценок

Агенты, оценки и пакетные задания выполняются в управляемой контейнерной вычислительной среде, полностью управляемой компанией Майкрософт. Оценки вызывают конечные точки модели и сравнивают выходные данные с критериями оценки. Foundry хранит результаты в области проекта, доступные на портале или пакете SDK.

Интеграция виртуальной сети

При подключении агентов к внешним системам можно изолировать сетевой трафик с помощью внедрения контейнеров, где платформа внедряет подсеть в виртуальную сеть, обеспечивая локальную связь с ресурсами Azure в одной виртуальной сети.

Foundry поддерживает две сетевые модели для исходящей изоляции:

Модель Принцип работы Компромисс
Управляемая клиентом виртуальная сеть (BYO) Вы предоставляете виртуальную сеть и выделенную подсеть, делегированную Microsoft.App/environments. Платформа интегрируется в вашу подсеть, обеспечивая возможность локальной связи с вашими частными ресурсами Azure. Полный контроль над конфигурацией сети; требует собственного управления сетью.
Управляемая виртуальная сеть (предварительная версия) Foundry управляет виртуальной сетью от вашего имени. Упрощенная настройка; ограничивает параметры настройки. Дополнительные сведения см. в разделе "Настройка управляемой виртуальной сети".

Примечание

Для некоторых сценариев, изолированных от сети, вместо портала требуется пакет SDK или CLI. Например, развертывания с частными конечными точками, которые блокируют весь общий доступ, не настраиваются с помощью пользовательского интерфейса портала. Дополнительные сведения см. в разделе "Настройка приватного канала для Foundry".

Изоляция клиента

Управляемые корпорацией Майкрософт вычислительные ресурсы выполняют рабочие нагрузки в логически изолированных средах для каждого проекта. Клиентский код не предоставляет общий доступ к контейнерам среды выполнения с другими клиентами.

Безопасность содержимого и ограничители

Foundry интегрирует элементы управления безопасностью содержимого в конвейер вывода модели и агента. Ограничители определяют риски для обнаружения, точки вмешательства для анализа (входные данные пользователя, выходные данные, вызовы инструментов (предварительная) и ответы инструментов (предварительная)) и действия в ответ при обнаружении риска. Фильтры содержимого выполняются вместе с запросами модели и могут быть настроены для каждого развертывания. Дополнительные сведения см. в разделе Обзор систем защиты и элементов управления и Уровни серьезности фильтрации контента.

Масштабирование

Управляемые вычислительные ресурсы для агентов и оценок масштабируются автоматически в зависимости от спроса на рабочую нагрузку. Масштабирование размещения модели на основе конфигурации развертывания.

Региональная доступность

Возможности вычислений зависят от региона Azure. Доступность модели, параметры типа развертывания и поддержка функций, например агенты или оценки, могут отличаться в разных регионах. Убедитесь, что целевой регион поддерживает необходимые возможности перед подготовкой. Сведения о текущей доступности см. в разделе "Доступность компонентов" в облачных регионах.

Хранилище данных

Foundry предоставляет гибкие и безопасные возможности хранения данных для поддержки широкого спектра рабочих нагрузок ИИ.

Управляемое хранилище для отправки файлов

В настройке по умолчанию Foundry использует управляемые корпорацией Майкрософт учетные записи хранения, которые логически разделены и поддерживают прямые отправки файлов для выбора вариантов использования, таких как модели OpenAI и агенты, не требуя учетной записи хранения, предоставленной клиентом.

Создание собственного хранилища

Вы можете при необходимости подключить собственные учетные записи хранения Azure. Инструменты литейного производства, такие как анализы и пакетная обработка, могут считывать данные из этих учетных записей и записывать результаты. Дополнительные сведения о поддерживаемых сценариях см. в статье "Перенос собственных ресурсов" со службой агента.

Хранилище состояний агента

  • При базовой настройке агента служба агента хранит потоки, сообщения и файлы в управляемом корпорацией Майкрософт мультитенантном хранилище с логическим разделением.
  • При настройке стандартного агента вы предоставляете собственные ресурсы Azure для всех данных клиента, включая файлы, беседы и векторные хранилища. В этой конфигурации данные изолированы проектом в учетных записях хранения.

Шифрование ключей, управляемых клиентом

По умолчанию службы Azure шифруют данные в состоянии покоя и в процессе передачи с помощью ключей, управляемых Корпорацией Майкрософт, с шифрованием AES с 256-битным ключом, соответствующим стандарту FIPS 140-2. Никаких изменений кода не требуется.

Чтобы вместо этого использовать собственные ключи, подтвердите выполнение этих предварительных условий перед включением ключей, управляемых клиентом, для Foundry:

  • Key Vault развертывается в том же регионе Azure, что и ресурс Foundry.
  • Защита от необратимого удаления и защита от очистки включены в Key Vault.
  • Управляемые удостоверения имеют необходимые разрешения ключа, такие как роль пользователя шифрования Key Vault при использовании Azure RBAC.

Используйте свое собственное хранилище ключей

По умолчанию Foundry хранит все секреты подключения на основе ключей API в управляемом Хранилище ключей Azure Key Vault. Если вы предпочитаете самостоятельно управлять секретами, подключите хранилище ключей к ресурсу Foundry. Одно подключение Azure Key Vault управляет всеми секретами подключения на уровне проекта и ресурсов. Дополнительные сведения см. в статье о настройке подключения Azure Key Vault к Foundry.

Дополнительные сведения о шифровании данных см. в разделе ключей, управляемых клиентом, для шифрования с помощью Foundry.

Размещение данных и соответствие требованиям

Foundry хранит все данные в состоянии покоя в указанной географии Azure. Данные для вывода (запросы и завершения) обрабатываются в соответствии с типом развертывания: глобальные развертывания могут направляться в любой регион Azure, развертывания в зоне хранения данных остаются в пределах зоны США или ЕС, а стандартные и региональные развертывания обрабатываются в своем регионе развертывания. Дополнительные сведения см. в разделе "Типы развертывания". Foundry не поддерживает автоматическое переключение при отказе между регионами. Если для организации требуется доступность с несколькими регионами, разверните отдельные ресурсы Foundry в каждом целевом регионе и управляйте синхронизацией данных и маршрутизацией на уровне приложений. Сведения о сертификации соответствия см. в документации по соответствию Azure.

Проверка решений по архитектуре

Перед развертыванием проверьте следующее для целевой среды:

Связанное содержимое

  • Last updated on