Migrieren von Azure Data Lake Analytics zu Azure Synapse Analytics
Azure Data Lake Analytics wird am 29. Februar 2024 eingestellt. In dieser Ankündigung erhalten Sie weitere Informationen.
Wenn Sie Azure Data Lake Analytics bereits verwenden, können Sie einen Plan für die Migration zu Azure Synapse Analytics für Ihre Organisation erstellen.
Microsoft hat Azure Synapse Analytics eingeführt, um Data Lakes und Data Warehouse zu vereinen und dadurch eine einzigartige Umgebung für die Big Data-Analyse zu ermöglichen. Azure Synapse Analytics hilft Ihnen beim Erfassen und Analysieren Ihrer Daten, um die Effizienz von Daten zu verbessern und die Zusammenarbeit Ihrer Teams zu ermöglichen. Darüber hinaus bietet die Integration von Synapse mit Azure Machine Learning und Power BI Organisationen die Möglichkeit, Erkenntnisse aus ihren Daten zu gewinnen und maschinelles Lernen für alle intelligenten Apps auszuführen.
In diesem Dokument erfahren Sie, wie Sie die Migration von Azure Data Lake Analytics zu Azure Synapse Analytics ausführen können.
Empfohlene Vorgehensweise
- Schritt 1: Bewerten der Bereitschaft
- Schritt 2: Vorbereiten der Migration
- Schritt 3: Migrieren von Daten und Anwendungsworkloads
- Schritt 4: Umstellung von Azure Data Lake Analytics auf Azure Synapse Analytics
Schritt 1: Bewerten der Bereitschaft
Sehen Sie sich Apache Spark auf Azure Synapse Analytics an, und machen Sie sich mit den wichtigsten Unterschieden zwischen Azure Data Lake Analytics und Spark auf Azure Synapse Analytics vertraut.
Element Azure Data Lake Analytics Spark unter Synapse Preise Pro Analyseeinheit pro Stunde Pro virtueller Kern-Stunde Engine Azure Data Lake Analytics Apache Spark Standardprogrammiersprache U-SQL T-SQL, Python, Scala, Spark SQL und .NET Projektmappen-Explorer Azure Data Lake Storage Azure Blob Storage, Azure Data Lake Storage Überprüfen Sie den Fragebogen für die Migrationsbewertung und listen Sie alle potenziellen, zu berücksichtigenden Risiken auf.
Schritt 2: Vorbereiten der Migration
Identifizieren Sie Aufträge und Daten, die Sie migrieren möchten.
- Nutzen Sie diese Gelegenheit, um die Aufträge zu bereinigen, die Sie nicht mehr verwenden. Wenn Sie nicht alle Aufträge gleichzeitig migrieren möchten, nutzen Sie die Zeit, um logische Auftragsgruppen zu finden, die Sie in Phasen migrieren können.
- Werten Sie die Größe der Daten aus und machen Sie sich mit dem Datenformat von Apache Spark vertraut. Überprüfen Sie Ihre U-SQL Skripts, bewerten Sie die Neuverfassungen von Skripts, und machen Sie sich mit dem Codekonzept von Apache Spark vertraut.
Ermitteln Sie, welche Auswirkungen eine Migration auf Ihr Unternehmen hat. Berücksichtigen Sie beispielsweise, ob Sie sich Ausfallzeiten während der Migration leisten können.
Erstellen Sie einen Migrationsplan.
Schritt 3: Migrieren von Daten und Anwendungsworkload
Migrieren Sie Ihre Daten aus Azure Data Lake Storage Gen1 zu Azure Data Lake Storage Gen2.
Azure Data Lake Storage Gen1 wird im Februar 2024 auslaufen. Weitere Informationen finden Sie in der offiziellen Ankündigung. Wir empfehlen ihnen, die Daten zunächst zu Gen2 zu migrieren. Weitere Informationen finden Sie unter Grundlegendes zu Apache Spark-Datenformaten für Azure Data Lake Analytics U-SQL-Entwickler. Verschieben Sie die in U-SQL-Tabellen gespeicherten Daten und Datei, um sie für Azure Synapse Analytics zugänglich zu machen. Mehr Informationen über die Migrations-Führungslinie finden Sie hier.Transformieren Ihrer U-SQL-Skripts in Spark. Navigieren Sie zu Grundlegendes zu Apache Spark-Codekonzepten für Azure Data Lake Analytics-U-SQL-Entwickler, um Ihre U-SQL-Skripts in Spark zu transformieren.
Transformieren oder erstellen Sie Ihre Auftragsorchestrierung-Pipeline in dem neuen Spark-Programm erneut.
Schritt 4: Umstellung von Azure Data Lake Analytics auf Azure Synapse Analytics
Nachdem Sie sicher sind, dass Ihre Anwendungen und Workloads stabil ausgeführt werden, können Sie mit der Verwendung von Azure Synapse Analytics entsprechend Ihren geschäftlichen Szenarien beginnen. Deaktivieren Sie alle verbleibenden Pipelines, die auf Azure Data Lake Analytics ausgeführt werden, und setzen Sie Ihre Azure Data Lake Analytics-Konten außer Kraft.
Fragebogen zur Migrationsbewertung
| Category | Fragen | Referenz |
|---|---|---|
| Auswertung der Größe der Migration | Über wie viele Azure Data Lake Analytics-Konten verfügen Sie? Wie viele Pipelines werden verwendet? Wie viele U-SQL-Skripts werden verwendet? | Je mehr Daten und Skripts migriert werden müssen, desto mehr UDO/UDF werden in Skripts verwendet, wodurch die Migration erschwert wird. Die für die Migration erforderliche Zeit und Ressourcen müssen entsprechend der Größe des Projekts gut eingeplant werden. |
| Datenquelle | Wie groß ist die Datenquelle? Welche Arten von Datenformaten werden verarbeitet? | Grundlegendes zu Apache Spark-Datenformaten für Azure Data Lake Analytics-U-SQL-Entwickler |
| Datenausgabe | Behalten Sie die Ausgabedaten zur späteren Verwendung bei? Wie werden die Ausgabedaten in U-SQL-Tabellen gespeichert? | Wenn die Ausgabedaten häufig verwendet und in U-SQL gespeichert werden, müssen Sie die Skripts ändern und die Ausgabedaten auf das von Spark unterstützte Datenformat anpassen. |
| Datenmigration | Haben Sie den Speichermigrationsplan ausgeführt? | Migrieren von Azure Data Lake Storage von Gen1 zu Gen2 |
| Transformieren von U-SQL-Skripts | Verwenden Sie UDO/UDF (.NET, Python usw.)? Falls ja, welche Sprache verwenden Sie in Ihrer UDO/UDF und für Probleme, die während der Transformation auftreten? Wird die Sammelabfrage in U-SQL verwendet? | Grundlegendes zu Apache Spark-Codekonzepten für Azure Data Lake Analytics-U-SQL-Entwickler |