Menyerap data ke Azure Data Lake Storage Gen2

Dalam artikel ini, Anda akan mempelajari cara menyerap data dari satu lokasi ke lokasi lain di akun penyimpanan Azure Data Lake Gen 2 (Azure Data Lake Gen 2) menggunakan Azure Synapse Analytics.

Prasyarat

• Langganan Azure: Jika Anda belum memiliki langganan Azure, buat akun Azure gratis sebelum memulai.
• akun Azure Storage: Anda menggunakan Azure Data Lake Gen 2 sebagai sumber penyimpanan data. Jika Anda tidak memiliki akun penyimpanan, lihat Membuat akun Azure Storage langkah-langkah membuatnya.

Membuat layanan yang terhubung

Di Azure Synapse Analytics, layanan tertaut adalah tempat Anda menentukan informasi koneksi ke layanan lain. Di bagian ini, Anda akan menambahkan Azure Synapse Analytics dan Azure Data Lake Gen 2 sebagai layanan tertaut.

1. Buka UX Azure Synapse Analytics dan buka tab Kelola .
2. Di bawah Koneksi eksternal, pilih Layanan tertaut.
3. Untuk menambahkan layanan tertaut, pilih Baru.
4. Pilih petak peta Azure Data Lake Storage Gen2 dari daftar dan pilih Lanjutkan.
5. Masukkan info masuk autentikasi Anda. Kunci akun, perwakilan layanan, dan identitas terkelola saat ini adalah jenis autentikasi yang didukung. Pilih uji koneksi untuk memverifikasi kredensial Anda sudah benar.
6. Pilih Buat saat selesai.

Buat pipa

Sebuah pipeline berisi arus logika untuk pelaksanaan serangkaian aktivitas. Di bagian ini, Anda akan membuat alur yang berisi aktivitas salin yang menyerap data dari Azure Data Lake Gen 2 ke dalam kumpulan SQL khusus.

1. Buka tab Orchestrate. Pilih ikon plus di samping header pipelines dan pilih Pipeline.
2. Di bawah Pindahkan dan Transformasi di panel aktivitas, seret Salin data ke kanvas alur.
3. Pilih aktivitas salin dan buka tab Sumber . Pilih Baru untuk membuat himpunan data sumber baru.
4. Pilih Azure Data Lake Storage Gen2 sebagai penyimpanan data Anda dan pilih lanjutkan.
5. Pilih DelimitedText sebagai format Anda dan pilih lanjutkan.
6. Di jendela pengaturan properti, pilih layanan tertaut ADLS yang Anda buat. Tentukan jalur file data sumber Anda dan tentukan apakah baris pertama memiliki header. Anda dapat mengimpor skema dari penyimpanan file atau file sampel. Pilih OK setelah selesai.
7. Buka tab Sink . Pilih Baru untuk membuat himpunan data sink baru.
8. Pilih Azure Data Lake Storage gen2 sebagai penyimpanan data Anda dan pilih lanjutkan.
9. Pilih DelimitedText sebagai format Anda dan pilih lanjutkan.
10. Di jendela pengaturan properti, pilih layanan tertaut ADLS yang Anda buat. Tentukan jalur folder tempat Anda ingin menulis data. Pilih OK setelah selesai.

Men-debug dan menerbitkan alur

Setelah selesai mengonfigurasi alur, Anda dapat menjalankan eksekusi debug sebelum menerbitkan artefak untuk memverifikasi semuanya benar.

1. Untuk men-debug alur, pilih Debug pada toolbar. Anda akan melihat status eksekusi alur di tab Output di bagian bawah jendela.
2. Setelah alur berhasil dijalankan, di toolbar atas, pilih Terbitkan Semua. Tindakan ini menerbitkan entitas (himpunan data, dan alur) yang Anda buat ke layanan Synapse Analytics.
3. Tunggu hingga Anda melihat pesan Berhasil diterbitkan. Untuk melihat pesan pemberitahuan, pilih tombol bel di kanan atas.

Memicu dan memantau jalur pemrosesan

Dalam langkah ini, Anda secara manual memicu alur yang diterbitkan pada langkah sebelumnya.

1. Pilih Tambahkan Pemicu pada toolbar, lalu pilih Picu Sekarang. Pada halaman Jalankan Pipeline, pilih Selesai.
2. Buka tab Monitor yang terletak di bar samping kiri. Anda melihat eksekusi alur yang dipicu oleh pemicu manual. Anda bisa menggunakan tautan di kolom Tindakan untuk menampilkan detail aktivitas dan untuk mengeksekusi ulang alur.
3. Untuk melihat eksekusi aktivitas yang terkait dengan eksekusi alur, pilih tautan Tampilkan Eksekusi Aktivitas di kolom Tindakan . Dalam contoh ini, hanya ada satu aktivitas, sehingga Anda hanya melihat satu entri dalam daftar. Untuk detail tentang operasi salin, pilih tautan Detail (ikon kacamata) di kolom Tindakan . Pilih Pipeline Runs di bagian atas untuk kembali ke tampilan Pipeline Runs. Untuk me-refresh tampilan, pilih Refresh.
4. Verifikasi bahwa data Anda ditulis dengan benar di kumpulan SQL khusus.

Langkah berikutnya

Untuk informasi selengkapnya tentang integrasi data untuk Azure Synapse Analytics, lihat artikel Menyerap data ke dalam kumpulan SQL khusus .