Что такое конвейеры Машинного обучения Azure?

ОТНОСИТСЯ К:Расширение ml для Azure CLI v2 (текущая версия)Python SDK azure-ai-ml v2 (текущая версия)

Конвейер машинного обучения Azure — это рабочий процесс, который автоматизирует полную задачу машинного обучения. Он стандартизирует рекомендации, поддерживает совместную работу команды и повышает эффективность.

Чем полезны конвейеры Машинного обучения Azure?

• Стандартизирует операции машинного обучения (MLOps) и поддерживает масштабируемую совместную работу команд
• Повышение эффективности обучения и снижение затрат

Конвейер разбивает задачу машинного обучения на шаги. Каждый шаг — это управляемый компонент, который может быть разработан и автоматизирован отдельно. Машинное обучение Azure управляет зависимостями между шагами. Этот модульный подход:

• Стандартизирует MLOps и поддерживает совместную работу команды
• Повышение эффективности обучения и снижение затрат
• Стандартизирует операции машинного обучения (MLOps) и поддерживает масштабируемую совместную работу команд
• Повышение эффективности обучения и снижение затрат

Стандартизация практики MLOps и поддержка масштабируемой совместной работы команд

MLOps автоматизирует создание и развертывание моделей. Конвейеры упрощают этот процесс, сопоставляя каждый шаг с определенной задачей, чтобы команды могли работать независимо.

Например, проект может включать сбор данных, подготовку, обучение, оценку и развертывание. Инженеры по обработке и анализу данных, ученые и инженеры машинного обучения имеют каждый свой шаг. Шаги лучше всего создавать как компоненты, а затем интегрироваться в один рабочий процесс. Конвейеры можно версионировать, автоматизировать и стандартизировать с помощью практик DevOps.

Эффективность обучения и сокращение затрат.

Конвейеры также повышают эффективность и сокращают затраты. Они повторно используют результаты неизменённых шагов и позволяют выполнять каждый шаг на наиболее подходящем вычислительном ресурсе для этой задачи.

Рекомендации по началу работы

Конвейер можно создать несколькими способами в зависимости от начальной точки.

Если вы не знакомы с конвейерами, начните с разделения существующего кода на шаги, параметризации входных данных и упаковки всего в конвейер.

Чтобы масштабировать, используйте шаблоны конвейеров для распространенных проблем. Команды создают форк шаблона, работают над назначенными этапами и при необходимости обновляют только свою часть.

С помощью повторно используемых конвейеров и компонентов команды могут быстро создавать новые рабочие процессы путем клонирования или объединения существующих частей.

Конвейеры можно создавать с помощью интерфейса командной строки, пакета SDK для Python или пользовательского интерфейса конструктора.

Какую технологию конвейера Azure следует использовать?

Azure предоставляет несколько типов конвейеров для различных целей:

Сценарий	Первичный персонаж	Предложение Azure	Предложение OSS	Канонический канал	Преимущества
Оркестрация модели (машинное обучение)	Специалист по обработке и анализу данных	Конвейеры Машинного обучение Azure	Конвейеры Kubeflow	Данные —> Модель	Распространение, кэширование, сначала код, повторное использование
Оркестрация данных (подготовка данных)	Инженер данных	Конвейеры фабрики данных Azure	Apache Airflow	Данные -> Данные	Строго типизированное перемещение, действия, ориентированные на данные
Согласование кода & приложений (CI/CD)	Разработчик приложений / Операции	Azure Pipelines	Дженкинс	Код + Модель —> Приложения или службы	Поддержка наиболее открытых и гибких действий, очереди утверждений, фазы с ограничением

Следующие шаги

Конвейеры машинного обучения Azure добавляют ценность с начала разработки.

• Определение конвейеров с помощью Интерфейса командной строки машинного обучения Azure версии 2
• Определение конвейеров с помощью пакета SDK машинного обучения Azure версии 2
• Определение конвейеров с помощью конструктора
• Попробуйте пример конвейера CLI v2
• Попробуйте пример конвейера с использованием Python SDK версии 2
• Узнайте о выражениях SDK и CLI версии 2, которые можно использовать в конвейере.