Beschreibung von Azure Machine Learning-Pipelines

GILT FÜR:Azure CLI ML-Erweiterung v2 (aktuell)Python-SDK azure-ai-ml v2 (aktuell)

Eine Azure Machine Learning-Pipeline ist ein Workflow, der eine vollständige ML-Aufgabe automatisiert. Sie standardisiert bewährte Methoden, unterstützt die Teamzusammenarbeit und verbessert die Effizienz.

Wofür sind Azure Machine Learning-Pipelines erforderlich?

• Standardisiert Machine Learning Operations (MLOps) und unterstützt skalierbare Teamzusammenarbeit
• Verbessert die Trainingseffizienz und reduziert Kosten

Eine Pipeline teilt eine ML-Aufgabe in mehrere Schritte auf. Jeder Schritt ist eine verwaltbare Komponente, die separat entwickelt und automatisiert werden kann. Azure Machine Learning verwaltet Abhängigkeiten zwischen Schritten. Dieser modulare Ansatz ermöglicht Folgendes:

• Standardisieren von MLOps und Unterstützen der Teamzusammenarbeit
• Verbessern der Trainingseffizienz und Reduzieren der Kosten
• Standardisiert Machine Learning Operations (MLOps) und unterstützt skalierbare Teamzusammenarbeit
• Verbessert die Trainingseffizienz und reduziert Kosten

Standardisierung der Machine Learning-Vorgangspraxis (MLOPs) und Unterstützung von skalierbarer Teamzusammenarbeit

MLOps automatisiert das Erstellen und Bereitstellen von Modellen. Pipelines vereinfachen diesen Prozess, indem jeder Schritt einer bestimmten Aufgabe zugeordnet wird, sodass Teams unabhängig arbeiten können.

Ein Projekt kann z. B. Datensammlung, Vorbereitung, Training, Auswertung und Bereitstellung umfassen. Dateningenieure, Wissenschaftler und ML-Ingenieure besitzen jeweils ihre eigenen Schritte. Die Schritte werden am besten als Komponenten erstellt und dann in einen einzelnen Workflow integriert. Pipelines können durch DevOps-Praktiken versioniert, automatisiert und standardisiert werden.

Trainingseffizienz und Kostensenkung

Pipelines verbessern auch die Effizienz und senken die Kosten. Sie verwenden Ausgaben aus unveränderten Schritten wieder und ermöglichen es Ihnen, jeden Schritt für die beste Computeressource für den Vorgang auszuführen.

Bewährte Methoden für erste Schritte

Je nach Ausgangspunkt können Sie eine Pipeline auf verschiedene Arten erstellen.

Wenn Sie mit Pipelines noch nicht vertraut sind, teilen Sie zunächst vorhandenen Code in Schritte auf, parametrisieren Sie Eingaben und umschließen Sie alles in einer Pipeline.

Verwenden Sie zum Skalieren Pipelinevorlagen für allgemeine Probleme. Teams forken eine Vorlage, arbeiten an zugewiesenen Schritten und aktualisieren nur ihren Teil nach Bedarf.

Mit wiederverwendbaren Pipelines und Komponenten können Teams schnell neue Workflows erstellen, indem sie vorhandene Teile klonen oder kombinieren.

Sie können Pipelines mit der CLI, dem Python SDK oder der Designer-Benutzeroberfläche erstellen.

Welche Azure-Pipelinetechnologie sollte ich verwenden?

Azure bietet verschiedene Arten von Pipelines für unterschiedliche Zwecke:

Szenario	Primäre Persona	Angebot von Azure	OSS-Angebot	Kanonische Pipe	Stärken
Modellorchestrierung (maschinelles Lernen)	Data Scientist	Azure Machine Learning-Pipelines	Kubeflow-Pipelines	Daten -> Modell	Verteilung, Caching, Code-First, Wiederverwendung
Datenorchestrierung (Datenvorbereitung)	Datentechniker	Azure Data Factory-Pipelines	Apache Airflow	Daten -> Daten	Stark typisierte Verschiebung, datenorientierte Aktivitäten
Code- und App-Orchestrierung (CI/CD)	App-Entwickler/Vorgänge	Azure-Pipelines	Jenkins	Code + Modell -> App/Dienst	Offenste und flexibelste Aktivitätsunterstützung, Genehmigungswarteschlangen, Phasen mit Beschränkung

Nächste Schritte

Azure Machine Learning-Pipelines fügen von Beginn der Entwicklung an einen Mehrwert hinzu.

• Definieren von Pipelines mit Azure Machine Learning CLI v2
• Definieren von Pipelines mit Azure Machine Learning SDK v2
• Definieren von Pipelines mit Designer
• Probieren Sie das CLI v2-Pipelinebeispiel.
• Probieren Sie das Python SDK v2-Pipelinebeispiel.
• Erfahren Sie mehr über SDK- und CLI v2-Ausdrücke, die in einer Pipeline verwendet werden können.