Bagikan melalui

Menyerap data ke dalam kumpulan SQL khusus

Dalam artikel ini, Anda akan mempelajari cara menyerap data dari akun penyimpanan Azure Data Lake Gen 2 ke dalam kumpulan SQL khusus di Azure Synapse Analytics.

Prasyarat

  • Langganan Azure: Jika Anda belum memiliki langganan Azure, buat akun Azure gratis sebelum memulai.
  • Akun penyimpanan Azure: Anda menggunakan Azure Data Lake Storage Gen 2 sebagai penyimpanan data sumber . Jika Anda tidak memiliki akun penyimpanan, lihat Membuat akun Azure Storage langkah-langkah membuatnya.
  • Azure Synapse Analytics: Anda menggunakan kumpulan SQL khusus sebagai penyimpanan data sink .

Membuat layanan tertaut

Di Azure Synapse Analytics, layanan tertaut adalah tempat Anda menentukan informasi koneksi ke layanan lain. Di bagian ini, Anda akan menambahkan layanan tertaut Azure Synapse Analytics dan Azure Data Lake Storage Gen2.

  1. Buka UX Azure Synapse Analytics dan buka tab Kelola .
  2. Di bawah Koneksi eksternal, pilih Layanan tertaut.
  3. Untuk menambahkan layanan tertaut, pilih Baru.
  4. Pilih petak peta Azure Data Lake Storage Gen2 dari daftar dan pilih Lanjutkan.
  5. Masukkan info masuk autentikasi Anda. Kunci akun, perwakilan layanan, dan identitas terkelola saat ini adalah jenis autentikasi yang didukung. Pilih uji koneksi untuk memverifikasi kredensial Anda sudah benar. Pilih Buat saat selesai.
  6. Ulangi langkah 3-5, tetapi alih-alih Azure Data Lake Storage Gen2, pilih petak peta Azure Synapse Analytics dan masukkan kredensial koneksi yang sesuai. Untuk Azure Synapse Analytics, autentikasi SQL, identitas terkelola, dan perwakilan layanan saat ini didukung.

Buat pipa

Sebuah pipeline berisi arus logika untuk pelaksanaan serangkaian aktivitas. Di bagian ini, Anda akan membuat alur yang berisi aktivitas salin yang menyerap data dari ADLS Gen2 ke dalam kumpulan SQL khusus.

  1. Buka tab Integrasikan . Pilih ikon plus di samping header alur dan pilih Alur.
  2. Di bawah Pindahkan dan Transformasi di panel aktivitas, seret Salin data ke kanvas alur.
  3. Pilih aktivitas salin dan buka tab Sumber . Pilih Baru untuk membuat himpunan data sumber baru.
  4. Pilih Azure Data Lake Storage gen2 sebagai penyimpanan data Anda dan pilih lanjutkan.
  5. Pilih DelimitedText sebagai format Anda dan pilih lanjutkan.
  6. Di jendela pengaturan properti, pilih layanan tertaut ADLS yang Anda buat. Tentukan jalur file data sumber Anda dan tentukan apakah baris pertama memiliki header. Anda dapat mengimpor skema dari penyimpanan file atau file sampel. Pilih OK setelah selesai.
  7. Buka tab Sink . Pilih Baru untuk membuat himpunan data sink baru.
  8. Pilih Azure Synapse Analytics sebagai penyimpanan data Anda dan pilih lanjutkan.
  9. Di panel atur properti, pilih layanan tertaut Azure Synapse Analytics yang Anda buat. Jika Anda menulis ke tabel yang sudah ada, pilih dari menu dropdown. Jika tidak, centang Edit dan masukkan nama tabel baru Anda. Pilih OK setelah selesai
  10. Jika Anda membuat tabel, aktifkan Buat tabel otomatis di bidang opsi tabel.

Men-debug dan menerbitkan alur

Setelah selesai mengonfigurasi alur, Anda dapat menjalankan eksekusi debug sebelum menerbitkan artefak untuk memverifikasi semuanya benar.

  1. Untuk men-debug alur, pilih Debug pada toolbar. Anda akan melihat status eksekusi alur di tab Output di bagian bawah jendela.
  2. Setelah alur berhasil dijalankan, di toolbar atas, pilih Terbitkan Semua. Tindakan ini menerbitkan entitas (himpunan data, dan alur) yang Anda buat ke layanan Synapse Analytics.
  3. Tunggu hingga Anda melihat pesan Berhasil diterbitkan. Untuk melihat pesan pemberitahuan, pilih tombol bel di kanan atas.

Memicu dan memantau alur

Dalam langkah ini, Anda secara manual memicu alur yang diterbitkan pada langkah sebelumnya.

  1. Pilih Tambahkan Pemicu pada toolbar, lalu pilih Picu Sekarang. Pada halaman Jalankan Pipeline, pilih Selesai.
  2. Buka tab Monitor yang terletak di bar samping kiri. Anda melihat sebuah pelaksanaan alur kerja yang dipicu oleh pemicu manual. Anda bisa menggunakan tautan di kolom Tindakan untuk menampilkan detail aktivitas dan untuk mengeksekusi ulang alur.
  3. Untuk melihat eksekusi aktivitas yang terkait dengan eksekusi alur, pilih tautan Tampilkan Eksekusi Aktivitas di kolom Tindakan . Dalam contoh ini, hanya ada satu aktivitas, sehingga Anda hanya melihat satu entri dalam daftar. Untuk detail tentang operasi salin, pilih tautan Detail (ikon kacamata) di kolom Tindakan . Pilih Jalankan Pipeline di bagian atas untuk kembali ke antarmuka Jalankan Pipeline. Untuk me-refresh tampilan, pilih Refresh.
  4. Verifikasi bahwa data Anda ditulis dengan benar di kumpulan SQL khusus.

Langkah berikutnya

Untuk informasi selengkapnya tentang integrasi data untuk Azure Synapse Analytics, lihat artikel Menyerap data ke dalam Azure Data Lake Storage Gen2 .

  • Last updated on