Развертывание моделей машинного обучения в AKS с помощью Kubeflow

Хранилище BLOB-объектов
Реестр контейнеров
Служба Kubernetes

Идеи, связанные с решением

Эта статья является идеей решения. Если вы хотите, чтобы мы дополнили содержимое дополнительными сведениями, такими как потенциальные варианты использования, альтернативные службы, рекомендации по реализации или рекомендации по ценообразованию, сообщите нам об этом, предоставив отзыв на GitHub.

В этой статье представлено решение для вывода в режиме реального времени по Служба Azure Kubernetes (AKS).

Архитектура

Схема архитектуры, показывающая развертывание моделей машинного обучения в Службах Azure Kubernetes (AKS).

Скачайте файл Visio этой архитектуры.

Поток данных

  1. Модель машинного обучения упаковывается в контейнер и публикуется в Реестр контейнеров Azure.
  2. Хранилище BLOB-объектов Azure размещает наборы данных для обучения и обученную модель.
  3. Kubeflow используется для развертывания заданий обучения в AKS, включая серверы параметров и рабочие узлы.
  4. Kubeflow используется для того, чтобы сделать рабочую модель доступной. Этот шаг способствует согласованной среде для тестирования, управления и рабочей среды.
  5. AKS поддерживает виртуальные машины с поддержкой GPU.
  6. Разработчики создают функции для запроса модели, которая выполняется в кластере AKS.

Компоненты

  • Хранилище BLOB-объектов — это служба, которая является частью службы хранилища Azure. Хранилище BLOB-объектов предлагает оптимизированное облачное хранилище для больших объемов неструктурированных данных.
  • Реестр контейнеров создает, хранит образы контейнеров и управляет ими, а также может хранить контейнерные модели машинного обучения.
  • AKS — это высокодоступная, защищенная и полностью управляемая служба Kubernetes. AKS упрощает развертывание контейнерных приложений и управление ими.
  • Машинное обучение — это облачная среда, которую можно использовать для обучения, развертывания, автоматизации, управления и отслеживания моделей машинного обучения. Модели можно использовать для прогнозирования будущего поведения, результатов и тенденций.

Сведения о сценарии

AKS полезен, когда требуется крупномасштабное развертывание моделей машинного обучения в рабочей среде. Крупномасштабное развертывание включает в себя быстрое время отклика, автомасштабирование развернутой службы и ведение журнала. Дополнительные сведения приведены в статье Развертывание модели в кластере Службы Azure Kubernetes.

Это решение использует Kubeflow для управления развертыванием в AKS. Модели машинного обучения выполняются в кластерах AKS, которые поддерживаются виртуальными машинами с поддержкой GPU.

Потенциальные варианты использования

Это решение применяется к сценариям, в котором для машинного обучения используются виртуальные машины с поддержкой AKS и GPU. Примеры приведены ниже.

  • Системы классификации изображений.
  • Алгоритмы обработки естественного языка.
  • Системы прогнозного обслуживания.

Дальнейшие действия