Bermigrasi Data Lake Analytics ke Azure Synapse Analytics
Azure Data Lake Analytics akan dihentikan pada 29 Februari 2024. Pelajari lebih lanjut dengan pengumuman ini.
Jika sudah menggunakan Azure Data Lake Analytics, Anda dapat membuat rencana migrasi untuk Azure Synapse Analytics untuk organisasi Anda.
Microsoft meluncurkan Azure Synapse Analytics yang bertujuan untuk menyatukan data lake dan gudang data untuk pengalaman analitik big data yang unik. Ini akan membantu Anda mengumpulkan dan menganalisis data Anda untuk memecahkan ketidakefisienan data, dan membantu tim Anda bekerja sama. Selain itu, integrasi Synapse dengan Azure Machine Learning dan Power BI akan memungkinkan peningkatan kemampuan bagi organisasi untuk mendapatkan wawasan dari datanya dan menjalankan pembelajaran mesin ke semua aplikasi pintarnya.
Dokumen ini menunjukkan kepada Anda cara bermigrasi dari Data Lake Analytics ke Azure Synapse Analytics.
Pendekatan yang disarankan
- Langkah 1: Menilai kesiapan
- Langkah 2: Bersiaplah untuk bermigrasi
- Langkah 3: Memigrasikan data dan beban kerja aplikasi
- Langkah 4: Bermigrasi langsung dari Data Lake Analytics ke Azure Synapse Analytics
Langkah 1: Menilai kesiapan
Lihat Apache Spark di Azure Synapse Analytics, dan pahami perbedaan utama Azure Data Lake Analytics dan Spark di Azure Synapse Analytics.
Item Azure Data Lake Analytics Spark on Synapse Harga Per Unit Analitik-jam Per vCore-jam Mesin Azure Data Lake Analytics Apache Spark Bahasa Pemrograman Default U-SQL T-SQL, Python, Scala, Spark SQL dan .NET Sumber Data Azure Data Lake Storage Azure Blob Storage, Azure Data Lake Storage Review Kuesioner Penilaian Migrasi dan cantumkan kemungkinan risiko tersebut sebagai pertimbangan.
Langkah 2: Bersiaplah untuk bermigrasi
Identifikasi pekerjaan dan data yang akan Anda migrasikan.
- Ambil kesempatan ini untuk membersihkan pekerjaan yang tidak lagi Anda gunakan. Kecuali Anda berencana untuk memigrasikan semua data sekaligus, luangkan waktu ini untuk mengidentifikasi grup logis pekerjaan yang dapat Anda migrasikan secara bertahap.
- Evaluasi ukuran data dan pahami format data Apache Spark. Tinjau skrip U-SQL Anda dan evaluasi upaya penulisan ulang skrip dan pahami konsep kode Apache Spark.
Tentukan dampak migrasi terhadap bisnis Anda. Misalnya, pertimbangkan kemampuan Anda dalam melakukan penghentian saat migrasi berlangsung.
Membuat rencana migrasi.
Langkah 3: Memigrasikan data dan beban kerja aplikasi
Migrasikan data Anda dari Azure Data Lake Storage Gen1 ke Azure Data Lake Storage Gen2.
Azure Data Lake Storage Gen1 akan dihentikan pada februari 2024, lihat pengumuman resmi. Sebaiknya, migrasikan data ke Gen2 di awal. Lihat Memahami format data Apache Spark untuk pengembang U-SQL Azure Data Lake Analytics dan memindahkan file dan data yang disimpan dalam tabel U-SQL agar dapat diakses oleh Azure Synapse Analytics. Detail panduan migrasi selengkapnya dapat dilihat disini.Ubah skrip U-SQL Anda menjadi Spark. Rujuk ke Memahami konsep kode Apache Spark untuk pengembang U-SQL Azure Data Lake Analytics untuk mengubah skrip U-SQL menjadi Spark.
Ubah atau buat ulang alur orkestrasi pekerjaan Anda ke program Spark baru.
Langkah 4: Bermigrasi langsung dari Data Lake Analytics ke Azure Synapse Analytics
Setelah yakin bahwa aplikasi dan beban kerja Anda stabil, Anda dapat mulai menggunakan Azure Synapse Analytics untuk memenuhi skenario bisnis Anda. Nonaktifkan alur yang tersisa yang berjalan di Azure Data Lake Analytics dan hentikan akun Azure Data Lake Analytics Anda.
Kuesioner Penilaian Migrasi
| Kategori | Pertanyaan | Referensi |
|---|---|---|
| Mengevaluasi ukuran Migrasi | Berapa banyak akun Data Lake Analytics yang Anda miliki? Berapa banyak alur yang digunakan? Berapa banyak skrip U-SQL yang digunakan? | Semakin banyak data dan skrip yang akan dimigrasikan, semakin banyak UDO/UDF yang digunakan dalam skrip, semakin sulit untuk bermigrasi. Waktu dan sumber daya yang diperlukan untuk migrasi perlu direncanakan dengan baik sesuai dengan skala proyek. |
| Sumber data | Berapa ukuran sumber data? Apa jenis format data untuk pemrosesan? | Memahami format data Apache Spark untuk pengembang U-SQL Azure Data Lake Analytics |
| Output data | Akankan Anda menyimpan data output untuk digunakan nanti? Jika data output disimpan dalam tabel U-SQL, bagaimana cara menanganinya? | Jika data output akan sering digunakan dan disimpan dalam tabel U-SQL, Anda perlu mengubah skrip dan mengubah data output ke format data yang didukung Spark. |
| Migrasi Data | Sudahkah Anda membuat rencana migrasi penyimpanan? | Migrasikan Azure Data Lake Storage dari Gen1 ke Gen2 |
| Perubahan skrip U-SQL | Apakah Anda menggunakan UDO/UDF (.NET, python, dll)? Jika jawaban di atas adalah iya, bahasa pemrogram apa yang Anda gunakan di UDO/UDF dan adakah masalah pada perubahan selama prosesnya? Apakah kueri federasi digunakan di U-SQL? | Memahami konsep kode Apache Spark untuk pengembang U-SQL Azure Data Lake Analytics |