Bagikan melalui


Mulai cepat: Memuat data ke kumpulan SQL khusus menggunakan aktivitas salin

Azure Synapse Analytics menawarkan berbagai mesin analitik untuk membantu Anda menyerap, mengubah, memodelkan, dan menganalisis data Anda. Kumpulan SQL khusus menawarkan kemampuan komputasi dan penyimpanan berbasis T-SQL. Setelah membuat kumpulan SQL khusus di ruang kerja Synapse Anda, data dapat dimuat, dimodelkan, diproses, dan dikirimkan untuk wawasan analitik yang lebih cepat.

Dalam panduan cepat ini, Anda mempelajari cara memuat data dari Azure SQL Database ke dalam Azure Synapse Analytics. Anda dapat mengikuti langkah serupa untuk menyalin data dari jenis penyimpanan data lainnya. Alur serupa ini berlaku untuk salinan data untuk sumber dan sink lain juga.

Prasyarat

  • Langganan Azure: Jika Anda tidak memiliki langganan Azure, buat akun Azure gratis sebelum Memulai.
  • Ruang kerja Azure Synapse: Membuat ruang kerja Synapse menggunakan portal Microsoft Azure mengikuti instruksi di Mulai Cepat: Membuat ruang kerja Synapse.
  • Azure SQL Database: Tutorial ini menyalin data dari himpunan data sampel Adventure Works LT di Azure SQL Database. Anda bisa membuat database sampel ini di SQL Database dengan mengikuti instruksi di Membuat database sampel di Azure SQL Database. Atau Anda dapat menggunakan penyimpanan data lain dengan mengikuti langkah-langkah serupa.
  • Akun penyimpanan Azure: Azure Storage digunakan sebagai area staging dalam operasi salin. Jika Anda tidak memiliki akun penyimpanan Azure, lihat instruksi di Membuat akun penyimpanan.
  • Azure Synapse Analytics: Anda menggunakan kumpulan SQL khusus sebagai penyimpanan data sink. Jika Anda tidak memiliki instans Azure Synapse Analytics, lihat Membuat kumpulan SQL khusus untuk langkah-langkah membuatnya.

Setelah ruang kerja Synapse dibuat, Anda memiliki dua cara untuk membuka Synapse Studio:

Dalam panduan mulai cepat ini, kami menggunakan ruang kerja bernama "adftest2020" sebagai contoh. Ini akan secara otomatis menavigasi Anda ke beranda Synapse Studio.

Beranda Synapse Studio

Buat layanan terhubung

Di Azure Synapse Analytics, layanan tertaut adalah tempat Anda menentukan informasi koneksi ke layanan lain. Di bagian ini, Anda akan membuat dua jenis layanan tertaut berikut: Layanan tertaut Azure SQL Database dan Azure Data Lake Storage Gen2 (ADLS Gen2).

  1. Pada beranda Synapse Studio, pilih tab Kelola di navigasi kiri.

  2. Di bawah Koneksi eksternal, pilih Layanan tertaut.

    Membuat layanan tertaut baru

  3. Untuk menambahkan layanan tertaut, pilih Baru.

  4. Pilih Azure SQL Database dari galeri, lalu pilih Lanjutkan. Anda dapat mengetik "sql" di kotak pencarian untuk memfilter konektor.

    Membuat layanan tertaut Azure SQL Database baru

  5. Di halaman Layanan Tertaut Baru, pilih nama server dan nama DB Anda dari daftar dropdown, dan tentukan nama pengguna dan kata sandi. Klik Uji koneksi untuk memvalidasi pengaturan, lalu pilih Buat.

    Mengonfigurasi layanan tertaut Azure SQL Database

  6. Ulangi langkah 3-4, tetapi pilih Azure Data Lake Storage Gen2 sebagai gantinya dari galeri. Di halaman Layanan yang Tertaut Baru, pilih nama akun penyimpanan Anda dari daftar tarik-turun. Klik Uji koneksi untuk memvalidasi pengaturan, lalu pilih Buat.

    Mengonfigurasi Azure Data Lake Storage Gen2

Membuat alur

Pipeline berisi alur logis untuk eksekusi serangkaian aktivitas. Di bagian ini, Anda akan membuat alur yang berisi aktivitas salin yang menyerap data dari Azure SQL Database ke dalam kumpulan SQL khusus.

  1. Buka tab Integrasi. Pilih ikon plus di samping judul pipelines dan pilih Pipeline.

    Membuat alur baru

  2. Di bawah Pindah dan Transformasi di panel Aktivitas, seret Salin data ke kanvas pipeline.

  3. Pilih aktivitas salin dan buka tab Sumber. Pilih Baru untuk membuat himpunan data sumber baru.

    Membuat himpunan data sumber

  4. Pilih Azure SQL Database sebagai penyimpanan data Anda dan pilih Lanjutkan.

  5. Di panel Atur properti , pilih layanan tertaut Azure SQL Database yang Anda buat di langkah sebelumnya.

  6. Di bawah Nama tabel, pilih tabel sampel yang akan digunakan dalam aktivitas salin berikut. Dalam panduan cepat ini, kami menggunakan tabel "SalesLT.Customer" sebagai contoh.

    Menyiapkan properti himpunan data sumber

  7. Pilih OK setelah selesai.

  8. Pilih aktivitas salin dan buka tab Sink. Pilih Baru untuk membuat himpunan data sink baru.

  9. Pilih kumpulan SQL khusus Azure Synapse sebagai penyimpanan data Anda dan pilih Lanjutkan.

  10. Di panel Atur properti , pilih kumpulan Analitik SQL yang Anda buat di langkah sebelumnya. Jika Anda menulis ke tabel yang sudah ada, pilih tabel dari menu dropdown di bawah Nama Tabel. Jika tidak, centang "Edit" dan masukkan nama tabel baru Anda. Pilih OK setelah selesai.

  11. Untuk pengaturan himpunan data Sink, aktifkan Buat tabel otomatis di bidang opsi Tabel.

    Aktifkan pembuatan otomatis

  12. Di halaman Pengaturan, pilih kotak centang untuk Aktifkan pengaturan tahap. Opsi ini berlaku jika data sumber Anda tidak kompatibel dengan PolyBase. Di bagian Pengaturan penahapan , pilih layanan tertaut Azure Data Lake Storage Gen2 yang Anda buat di langkah sebelumnya sebagai penyimpanan penahapan.

    Penyimpanan digunakan untuk menyiapkan data sebelum dimuat ke Azure Synapse Analytics dengan menggunakan PolyBase. Setelah salinan selesai, data sementara di Azure Data Lake Storage Gen2 secara otomatis dibersihkan.

    Aktifkan penahapan

  13. Untuk memvalidasi alur, pilih Validasi pada toolbar. Anda melihat hasil output validasi Alur di sisi kanan halaman.

Men-debug dan menerbitkan alur

Setelah selesai mengonfigurasi alur, Anda dapat menjalankan eksekusi debug sebelum menerbitkan artefak untuk memverifikasi semuanya benar.

  1. Untuk men-debug alur, pilih Debug pada toolbar. Anda akan melihat status eksekusi alur di tab Output di bagian bawah jendela.

    Memecahkan debug jalur proses

  2. Setelah eksekusi alur berhasil, di toolbar atas, pilih Terbitkan semua. Tindakan ini menerbitkan entitas (himpunan data, dan alur) yang Anda buat ke layanan Synapse Analytics.

  3. Tunggu hingga Anda melihat pesan Berhasil diterbitkan. Untuk melihat pesan pemberitahuan, pilih tombol bel di kanan atas.

Memicu dan memantau jalur pemrosesan

Di bagian ini, Anda secara manual memicu alur yang diterbitkan di langkah sebelumnya.

  1. Pilih Tambahkan Pemicu pada toolbar, lalu pilih Picu Sekarang. Pada halaman Eksekusi alur, pilih OK.

  2. Buka tab Monitor yang terletak di bar samping kiri. Anda melihat eksekusi alur yang dipicu oleh pemicu manual.

  3. Saat eksekusi alur berhasil diselesaikan, pilih tautan di bawah kolom Nama alur untuk melihat detail eksekusi aktivitas atau untuk menjalankan ulang alur. Dalam contoh ini, hanya ada satu aktivitas, sehingga Anda hanya melihat satu entri dalam daftar.

  4. Untuk detail tentang operasi pembuatan salinan, pilih tautan Detail (ikon kacamata) di bawah kolom Nama aktivitas. Anda dapat memantau detail seperti volume data yang disalin dari sumber ke sink, throughput data, langkah-langkah eksekusi dengan durasi terkait, dan konfigurasi yang digunakan.

    Detail aktivitas

  5. Untuk beralih kembali ke tampilan eksekusi alur, pilih tautan Semua eksekusi alur di bagian atas. Pilih Refresh untuk menyegarkan daftar.

  6. Verifikasi bahwa data Anda ditulis dengan benar di kumpulan SQL khusus.

Langkah selanjutnya

Lanjutkan ke artikel berikut ini untuk mempelajari dukungan Azure Synapse Analytics: