Azure Data Lake Analytics migreren naar Azure Synapse Analytics

  • Artikel

Azure Data Lake Analytics wordt op 29 februari 2024 buiten gebruik gesteld. Meer informatie over deze aankondiging.

Als u Azure Data Lake Analytics al gebruikt, kunt u een migratieplan maken voor Azure Synapse Analytics voor uw organisatie.

Microsoft heeft Azure Synapse Analytics gelanceerd die erop gericht is zowel data lakes als datawarehouse samen te brengen voor een unieke ervaring met big data-analyse. Het helpt u bij het verzamelen en analyseren van uw gegevens om inefficiëntie van gegevens op te lossen en helpt uw teams om samen te werken. Bovendien biedt de integratie van Synapse met Azure Machine Learning en Power BI organisaties de verbeterde mogelijkheid om inzichten te verkrijgen uit de gegevens en machine learning uit te voeren op alle slimme apps.

In het document ziet u hoe u de migratie uitvoert van Azure Data Lake Analytics naar Azure Synapse Analytics.

  • Stap 1: Gereedheid beoordelen
  • Stap 2: De migratie voorbereiden
  • Stap 3: gegevens- en toepassingsworkloads migreren
  • Stap 4: Cutover van Azure Data Lake Analytics naar Azure Synapse Analytics

Stap 1: Gereedheid beoordelen

  1. Bekijk Apache Spark in Azure Synapse Analytics en begrijp de belangrijkste verschillen tussen Azure Data Lake Analytics en Spark in Azure Synapse Analytics.

    Item Azure Data Lake Analytics Spark op Synapse
    Prijzen Per uur per analytische eenheid Per vCore-uur
    Engine Azure Data Lake Analytics Apache Spark
    Standaardprogrammataal U-SQL T-SQL, Python, Scala, Spark SQL en .NET
    Gegevensbronnen Azure Data Lake Storage Azure Blob Storage, Azure Data Lake Storage

  2. Bekijk de vragenlijst voor migratie-evaluatie en vermeld de mogelijke risico's die u kunt overwegen.

Stap 2: De migratie voorbereiden

  1. Identificeer taken en gegevens die u gaat migreren.

    • Maak van deze gelegenheid gebruik om de taken op te schonen die u niet meer gebruikt. Tenzij u van plan bent om al uw taken tegelijk te migreren, moet u deze tijd nemen om logische groepen taken te identificeren die u in fasen kunt migreren.
    • Evalueer de grootte van de gegevens en begrijp de Apache Spark-gegevensindeling. Controleer uw U-SQL-scripts en evalueer de herschrijfinspanningen van scripts en begrijp het apache Spark-codeconcept.

  2. Bepaal de impact van een migratie op uw bedrijf. Bijvoorbeeld of u zich downtime kunt veroorloven tijdens de migratie.

  3. Maak een migratieplan.

Stap 3: Gegevens en toepassingsworkload migreren

  1. Migreer uw gegevens van Azure Data Lake Storage Gen1 naar Azure Data Lake Storage Gen2.

    Azure Data Lake Storage de buitengebruikstelling van Gen1 in februari 2024 valt, raadpleegt u de officiële aankondiging. We raden u aan om de gegevens in de eerste plaats te migreren naar Gen2. Zie Apache Spark-gegevensindelingen begrijpen voor Azure Data Lake Analytics U-SQL-ontwikkelaars en verplaats zowel het bestand als de gegevens die zijn opgeslagen in U-SQL-tabellen om ze toegankelijk te maken voor Azure Synapse Analytics. Meer informatie over de migratiehandleiding vindt u hier.

  2. Transformeer uw U-SQL-scripts naar Spark. Raadpleeg Apache Spark-codeconcepten voor Azure Data Lake Analytics U-SQL-ontwikkelaars begrijpen om uw U-SQL-scripts te transformeren naar Spark.

  3. Transformeer of maak uw taakindelingspijplijnen naar een nieuw Spark-programma.

Stap 4: Overstappen van Azure Data Lake Analytics naar Azure Synapse Analytics

Nadat u zeker weet dat uw toepassingen en workloads stabiel zijn, kunt u Azure Synapse Analytics gaan gebruiken om aan uw bedrijfsscenario's te voldoen. Schakel alle resterende pijplijnen uit die worden uitgevoerd in Azure Data Lake Analytics en stel uw Azure Data Lake Analytics-accounts buiten gebruik.

Vragenlijst voor migratie-evaluatie

Categorie Vragen Referentie
De grootte van de migratie evalueren Hoeveel Azure Data Lake Analytics-accounts hebt u? Hoeveel pijplijnen worden er gebruikt? Hoeveel U-SQL-scripts worden er gebruikt? Hoe meer gegevens en scripts moeten worden gemigreerd, hoe meer UDO/UDF in scripts worden gebruikt, hoe moeilijker het is om te migreren. De benodigde tijd en resources voor migratie moeten goed worden gepland op basis van de schaal van het project.
Gegevensbron Wat is de grootte van de gegevensbron? Welke soorten gegevensindelingen voor verwerking? Informatie over Apache Spark-gegevensindelingen voor Azure Data Lake Analytics U-SQL-ontwikkelaars
Gegevensuitvoer Bewaart u de uitvoergegevens voor later gebruik? Als de uitvoergegevens worden opgeslagen in U-SQL-tabellen, hoe kunt u dit dan afhandelen? Als de uitvoergegevens vaak worden gebruikt en opgeslagen in U-SQL-tabellen, moet u de scripts wijzigen en de uitvoergegevens wijzigen in de door Spark ondersteunde gegevensindeling.
Gegevensmigratie Hebt u het opslagmigratieplan gemaakt? Azure Data Lake Storage migreren van Gen1 naar Gen2
Transformatie van U-SQL-scripts Gebruikt u UDO/UDF (.NET, Python, enzovoort)? Als het bovenstaande antwoord ja is, welke taal gebruikt u dan in uw UDO/UDF en eventuele problemen voor de transformatie tijdens de transformatie? Wordt de federatieve query gebruikt in U-SQL? Informatie over Apache Spark-codeconcepten voor Azure Data Lake Analytics U-SQL-ontwikkelaars

Volgende stappen