Migrera Azure Data Lake Analytics till Azure Synapse Analytics

  • Artikel

Azure Data Lake Analytics dras tillbaka den 29 februari 2024. Läs mer med det här meddelandet.

Om du redan använder Azure Data Lake Analytics kan du skapa en migreringsplan för att Azure Synapse Analytics för din organisation.

Microsoft lanserade Azure Synapse Analytics som syftar till att sammanföra både datasjöar och informationslager för en unik upplevelse av stordataanalys. Det hjälper dig att samla in och analysera dina data för att lösa dataineffektivitet och hjälpa dina team att arbeta tillsammans. Dessutom kommer Synapse-integreringen med Azure Machine Learning och Power BI att göra det möjligt för organisationer att få insikter från sina data och köra maskininlärning till alla sina smarta appar.

Dokumentet visar hur du migrerar från Azure Data Lake Analytics till Azure Synapse Analytics.

  • Steg 1: Utvärdera beredskap
  • Steg 2: Förbereda migreringen
  • Steg 3: Migrera data och programarbetsbelastningar
  • Steg 4: Snabb från Azure Data Lake Analytics till Azure Synapse Analytics

Steg 1: Utvärdera beredskap

  1. Titta på Apache Spark på Azure Synapse Analytics och förstå viktiga skillnader mellan Azure Data Lake Analytics och Spark i Azure Synapse Analytics.

    Objekt Azure Data Lake Analytics Spark på Synapse
    Prissättning Per analysenhetstimmes Per virtuell kärna-timme
    Motor Azure Data Lake Analytics Apache Spark
    Standardprogramspråk U-SQL T-SQL, Python, Scala, Spark SQL och .NET
    Datakällor Azure Data Lake Storage Azure Blob Storage, Azure Data Lake Storage

  2. Granska enkäten för migreringsutvärdering och lista de möjliga riskerna för att överväga.

Steg 2: Förbereda migreringen

  1. Identifiera jobb och data som du ska migrera.

    • Ta tillfället i akt att rensa de jobb som du inte längre använder. Om du inte planerar att migrera alla jobb samtidigt kan du ta den här gången för att identifiera logiska grupper av jobb som du kan migrera i faser.
    • Utvärdera datastorleken och förstå Apache Spark-dataformatet. Granska dina U-SQL-skript och utvärdera skriptens omskrivningsarbete och förstå Apache Spark-kodkonceptet.

  2. Fastställ vilken inverkan en migrering kommer att ha på din verksamhet. Till exempel om du har råd med stilleståndstid under migreringen.

  3. Skapa en migreringsplan.

Steg 3: Migrera data och programarbetsbelastning

  1. Migrera dina data från Azure Data Lake Storage Gen1 till Azure Data Lake Storage Gen2.

    Azure Data Lake Storage Gen1 går i pension i februari 2024, se det officiella tillkännagivandet. Vi rekommenderar att du migrerar data till Gen2 i första hand. Se Förstå Apache Spark-dataformat för Azure Data Lake Analytics U-SQL-utvecklare och flytta både filen och data som lagras i U-SQL-tabeller för att göra dem tillgängliga för Azure Synapse Analytics. Mer information om migreringsguiden finns här.

  2. Transformera dina U-SQL-skript till Spark. Se Förstå Apache Spark-kodbegrepp för Azure Data Lake Analytics U-SQL-utvecklare för att transformera dina U-SQL-skript till Spark.

  3. Transformera eller återskapa dina jobborkestreringspipelines till det nya Spark-programmet.

Steg 4: Klipp ut från Azure Data Lake Analytics till Azure Synapse Analytics

När du är säker på att dina program och arbetsbelastningar är stabila kan du börja använda Azure Synapse Analytics för att uppfylla dina affärsscenarier. Inaktivera eventuella återstående pipelines som körs på Azure Data Lake Analytics och dra tillbaka dina Azure Data Lake Analytics-konton.

Enkät för migreringsutvärdering

Kategori Frågor Referens
Utvärdera migreringens storlek Hur många Azure Data Lake Analytics-konton har du? Hur många pipelines används? Hur många U-SQL-skript används? Ju mer data och skript som ska migreras, desto mer UDO/UDF används i skript, desto svårare är det att migrera. Den tid och de resurser som krävs för migreringen måste planeras väl i enlighet med projektets omfattning.
Datakälla Hur stor är datakällan? Vilka typer av dataformat för bearbetning? Förstå Apache Spark-dataformat för Azure Data Lake Analytics U-SQL-utvecklare
Datautdata Behåller du utdata för senare användning? Hur hanterar du utdata om de sparas i U-SQL-tabeller? Om utdata används ofta och sparas i U-SQL-tabeller behöver du ändra skripten och ändra utdata till Spark-dataformat som stöds.
Datamigrering Har du gjort lagringsmigreringsplanen? Migrera Azure Data Lake Storage från Gen1 till Gen2
Transformera U-SQL-skript Använder du UDO/UDF (.NET, python osv.)? Om svaret ovan är ja, vilket språk använder du i UDO/UDF och eventuella problem med transformeringarna under transformering? Används den federerade frågan i U-SQL? Förstå Apache Spark-kodbegrepp för Azure Data Lake Analytics U-SQL-utvecklare

Nästa steg