Что такое конвейеры Машинного обучения Azure?

ОБЛАСТЬ ПРИМЕНЕНИЯ:Расширение машинного обучения Azure CLI версии 2 (current)Python SDK azure-ai-ml версии 2 (current)

Конвейер машинного обучения Azure — это рабочий процесс, который автоматизирует полную задачу машинного обучения. Он стандартизирует рекомендации, поддерживает совместную работу команды и повышает эффективность.

Чем полезны конвейеры Машинного обучения Azure?

• Стандартизирует операции машинного обучения (MLOps) и поддерживает масштабируемую совместную работу команд
• Повышение эффективности обучения и снижение затрат

Конвейер разбивает задачу машинного обучения на шаги. Каждый шаг — это управляемый компонент, который может быть разработан и автоматизирован отдельно. Машинное обучение Azure управляет зависимостями между шагами. Этот модульный подход:

• Стандартизирует MLOps и поддерживает совместную работу команды
• Повышение эффективности обучения и снижение затрат
• Стандартизирует операции машинного обучения (MLOps) и поддерживает масштабируемую совместную работу команд
• Повышение эффективности обучения и снижение затрат

Стандартизация практики MLOps и поддержка масштабируемой совместной работы команд

MLOps автоматизирует создание и развертывание моделей. Конвейеры упрощают этот процесс, сопоставляя каждый шаг с определенной задачей, чтобы команды могли работать независимо.

Например, проект может включать сбор данных, подготовку, обучение, оценку и развертывание. Инженеры по обработке и анализу данных, ученые и инженеры машинного обучения имеют каждый свой шаг. Шаги лучше всего создавать как компоненты, а затем интегрироваться в один рабочий процесс. Конвейеры могут быть версиями, автоматизированными и стандартизированными методами DevOps.

Эффективность обучения и сокращение затрат.

Конвейеры также повышают эффективность и сокращают затраты. Они повторно используют выходные данные из без изменений и позволяют выполнять каждый шаг на лучшем вычислительном ресурсе для задачи.

Рекомендации по началу работы

Конвейер можно создать несколькими способами в зависимости от начальной точки.

Если вы не знакомы с конвейерами, начните с разделения существующего кода на шаги, параметризации входных данных и упаковки всего в конвейер.

Чтобы масштабировать, используйте шаблоны конвейеров для распространенных проблем. Команды вилки шаблона, работают над назначенными шагами и обновляют только свою часть по мере необходимости.

С помощью повторно используемых конвейеров и компонентов команды могут быстро создавать новые рабочие процессы путем клонирования или объединения существующих частей.

Конвейеры можно создавать с помощью интерфейса командной строки, пакета SDK для Python или пользовательского интерфейса конструктора.

Какую технологию конвейера Azure следует использовать?

Azure предоставляет несколько типов конвейеров для различных целей:

Сценарий	Первичный персонаж	Предложение Azure	Предложение OSS	Канонический канал	Преимущества
Оркестрация модели (машинное обучение)	Специалист по обработке и анализу данных	Конвейеры Машинного обучение Azure	Конвейеры Kubeflow	Данные —> Модель	Распространение, кэширование, сначала код, повторное использование
Оркестрация данных (подготовка данных)	Инженер данных	Конвейеры фабрики данных Azure	Apache Airflow	Данные —> Данные	Строго типизированное перемещение, действия, ориентированные на данные
Согласование кода & приложений (CI/CD)	Разработчик приложений / рабочие процессы	Azure Pipelines	Дженкинс	Код + Модель —> Приложения или службы	Поддержка наиболее открытых и гибких действий, очереди утверждений, фазы с ограничением

Следующие шаги

Конвейеры машинного обучения Azure добавляют ценность с начала разработки.

• Определение конвейеров с помощью Интерфейса командной строки машинного обучения Azure версии 2
• Определение конвейеров с помощью пакета SDK машинного обучения Azure версии 2
• Определение конвейеров с помощью конструктора
• Пример конвейера на основе CLI версии 2
• Пример конвейера на основе пакета SDK для Python версии 2
• Узнайте о выражениях SDK и CLI версии 2, которые можно использовать в конвейере.