Развертывание моделей машинного обучения в AKS с помощью Kubeflow

хранилище BLOB-объектов Azure
Реестр контейнеров Azure
Служба Azure Kubernetes (AKS)

Идеи решения

Эта статья является идеей решения. Если вы хотите расширить содержимое с дополнительными сведениями, такими как потенциальные варианты использования, альтернативные службы, рекомендации по реализации или рекомендации по ценам, сообщите нам, предоставив отзыв GitHub.

В этой статье представлено решение для вывода в режиме реального времени на Служба Azure Kubernetes (AKS).

Архитектура

Architecture diagram that shows how machine learning models are deployed to Azure Kubernetes Services (AKS).

Скачайте файл Visio для этой архитектуры.

Поток данных

  1. Модель машинного обучения упаковается в контейнер и публикуется в Реестр контейнеров Azure.
  2. Хранилище BLOB-объектов Azure размещает обучающие наборы данных и обученную модель.
  3. Kubeflow используется для развертывания заданий обучения в AKS, включая серверы параметров и рабочие узлы.
  4. Kubeflow используется для доступности рабочей модели. Этот шаг повышает согласованность среды для тестирования, управления и рабочей среды.
  5. AKS поддерживает виртуальные машины с поддержкой GPU.
  6. Разработчики создают функции для запроса модели, работающей в кластере AKS.

Компоненты

  • Служба хранилища BLOB-объектов — это служба, которая является частью служба хранилища Azure. Хранилище BLOB-объектов предлагает оптимизированное облачное хранилище для больших объемов неструктурированных данных.
  • Реестр контейнеров создает, хранит образы контейнеров и управляет ими и может хранить контейнерные модели машинного обучения.
  • AKS — это высокодоступная, защищенная и полностью управляемая служба Kubernetes. AKS упрощает развертывание контейнерных приложений и управление ими.
  • Машинное обучение — это облачная среда, которую можно использовать для обучения, развертывания, автоматизации, управления и отслеживания моделей машинного обучения. Модели можно использовать для прогнозирования будущего поведения, результатов и тенденций.

Подробности сценария

AKS полезен, если вам нужны высокомасштабные производственные развертывания моделей машинного обучения. Высокомасштабное развертывание включает быстрое время отклика, автомасштабирование развернутой службы и ведение журнала. Дополнительные сведения приведены в статье Развертывание модели в кластере Службы Azure Kubernetes.

Это решение использует Kubeflow для управления развертыванием в AKS. Модели машинного обучения выполняются в кластерах AKS, поддерживаемых виртуальными машинами с поддержкой GPU.

Потенциальные варианты использования

Это решение применяется к сценариям, используюющим виртуальные машины с поддержкой AKS и GPU для машинного обучения. Вот некоторые примеры.

  • Системы классификации изображений.
  • Алгоритмы обработки естественного языка.
  • Системы прогнозного обслуживания.

Следующие шаги

Искусственный интеллект (ИИ) — обзор архитектуры