Memuat data ke Azure Synapse Analytics dengan menggunakan Azure Data Factory atau alur Synapse
BERLAKU UNTUK:
Azure Data Factory Azure Synapse Analytics
Tip
Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!
Azure Synapse Analytics adalah database skala besar berbasis cloud yang mampu memproses data dalam volume besar, baik relasional maupun non-relasional. Azure Synapse Analytics dibangun pada arsitektur pemrosesan paralel secara masif (massively parallel processing/MPP) yang dioptimalkan untuk beban kerja gudang data perusahaan. Azure Synapse Analytics menawarkan elastisitas cloud dengan fleksibilitas untuk menskalakan penyimpanan dan komputasi secara independen.
Mulai menggunakan Azure Synapse Analytics sekarang lebih mudah daripada sebelumnya. Azure Data Factory dan fitur alur yang setara dalam Azure Synapse sendiri menyediakan layanan integrasi data berbasis cloud yang dikelola penuh. Anda dapat menggunakan layanan ini untuk mengisi Azure Synapse Analytics dengan data dari sistem Anda dan menghemat waktu saat membangun solusi analitik Anda.
Azure Data Factory dan alur Synapse menawarkan manfaat berikut untuk memuat data ke Azure Synapse Analytics:
- Mudah diatur: Wizard intuitif 5 langkah tanpa memerlukan pembuatan skrip.
- Dukungan penyimpanan data yang kaya: Dukungan bawaan untuk set penyimpanan data lokal dan berbasis cloud yang kaya. Untuk daftar detailnya, lihat tabel Penyimpanan data yang didukung.
- Aman dan patuh: Data ditransfer melalui HTTPS atau ExpressRoute. Kehadiran layanan global memastikan bahwa data Anda tidak pernah meninggalkan batas geografis.
- Performa yang tak tertandingi dengan menggunakan PolyBase: Polybase adalah cara paling efisien untuk memindahkan data ke Azure Synapse Analytics. Gunakan fitur blob penahapan untuk mencapai kecepatan muat tinggi dari semua jenis penyimpanan data, termasuk penyimpanan Azure Blob dan Data Lake Store. (Polybase mendukung penyimpanan Azure Blob dan Azure Data Lake Storage secara default.) Untuk detailnya, lihat Performa aktivitas salin.
Artikel ini memperlihatkan kepada Anda cara menggunakan alat Copy Data untuk memuat data dari Azure SQL Database ke Azure Synapse Analytics. Anda dapat mengikuti langkah serupa untuk menyalin data dari jenis penyimpanan data lainnya.
Catatan
Untuk informasi selengkapnya, lihat Menyalin data dari atau ke Azure Synapse Analytics.
Prasyarat
- Langganan Azure: Jika Anda belum memiliki langganan Azure, buat akun gratis sebelum memulai.
- Azure Synapse Analytics: Gudang data menyimpan data yang disalin dari database SQL. Jika Anda tidak memiliki Azure Synapse Analytics, lihat instruksi di Membuat Azure Synapse Analytics.
- Azure SQL Database: Tutorial ini menyalin data dari himpunan data sampel Adventure Works LT di Azure SQL Database. Anda bisa membuat database sampel ini di SQL Database dengan mengikuti instruksi di Membuat database sampel di Azure SQL Database.
- Akun penyimpanan Azure: Azure Storage digunakan sebagai blob penahapan dalam operasi penyalinan massal. Jika Anda tidak memiliki akun penyimpanan Azure, lihat instruksi di Membuat akun penyimpanan.
Membuat pabrik data
Apabila Anda belum membuat pabrik data, ikuti langkah-langkah di Mulai Cepat: Membuat pabrik data menggunakan portal Azure dan Studio Azure Data Factory untuk membuatnya. Setelah membuat pabrik data, telusuri ke pabrik data di portal Azure.
Pilih Buka pada petak peta Buka Azure Data Factory Studio untuk meluncurkan Aplikasi Integrasi Data di tab terpisah.
Memuat data ke Azure Synapse Analytics
Di beranda ruang kerja Azure Data Factory atau Azure Synapse, pilih petak peta Penyerapan untuk meluncurkan alat Copy Data. Lalu pilih Tugas salin bawaan.
Di halaman Properti, pilih Tugas salin bawaan di bawah Jenis tugas, lalu pilih Berikutnya.
Di halaman Penyimpanan data sumber, selesaikan langkah-langkah berikut ini:
Tip
Dalam tutorial ini, Anda menggunakan Autentikasi SQL sebagai jenis autentikasi penyimpanan data sumber Anda, tetapi Anda dapat memilih metode autentikasi lain yang didukung: Perwakilan Layanan dan Identitas Terkelola jika diperlukan. Lihat bagian terkait dalam artikel ini untuk detailnya. Untuk menyimpan rahasia untuk penyimpanan data dengan aman, disarankan juga untuk menggunakan Azure Key Vault. Lihat artikel ini untuk ilustrasi lebih detail.
Pilih + Koneksi baru.
Pilih Azure SQL Database dari galeri, lalu pilih Lanjutkan. Anda dapat mengetik "SQL" dalam kotak pencarian untuk memfilter konektor.
Di halaman Koneksi baru (Azure SQL Database), pilih nama server dan nama DB Anda dari menu drop-down, dan tentukan nama pengguna dan kata sandi. Klik Uji koneksi untuk memvalidasi pengaturan, lalu pilih Buat.
Di halaman Penyimpanan data sumber, pilih koneksi yang baru dibuat sebagai sumber di bagian Koneksi.
Dalam bagian Tabel sumber, masukkan SalesLT untuk menyaring tabel. Pilih kotak (Pilih semua) untuk menggunakan semua tabel untuk salinan, lalu pilih Berikutnya.
Di halaman Terapkan filter tentukan pengaturan Anda atau pilih Berikutnya. Anda dapat melihat pratinjau data dan melihat skema data input dengan memilih tombol Pratinjau data di halaman ini.
Di halaman Penyimpanan data tujuan, selesaikan langkah-langkah berikut ini:
Tip
Dalam tutorial ini, Anda menggunakan Autentikasi SQL sebagai jenis autentikasi penyimpanan data tujuan Anda, tetapi Anda dapat memilih metode autentikasi lain yang didukung: Perwakilan Layanan dan Identitas Terkelola jika diperlukan. Lihat bagian terkait dalam artikel ini untuk detailnya. Untuk menyimpan rahasia untuk penyimpanan data dengan aman, disarankan juga untuk menggunakan Azure Key Vault. Lihat artikel ini untuk ilustrasi lebih detail.
Pilih + Sambungan baru untuk menambahkan sambungan.
Pilih Azure Synapse Analytics dari galeri, dan pilih Lanjutkan.
Di halaman Koneksi baru (Azure Synapse Analytics), pilih nama server dan nama DB Anda dari menu drop-down, dan tentukan nama pengguna dan kata sandi. Klik Uji koneksi untuk memvalidasi pengaturan, lalu pilih Buat.
Di halaman Penyimpanan data tujuan, pilih koneksi yang baru dibuat sebagai sink di bagian Koneksi.
Di halaman Pemetaan tabel, tinjau kontennya, dan pilih Berikutnya. Pemetaan tabel cerdas ditampilkan. Tabel sumber dipetakan ke tabel tujuan berdasarkan nama tabel. Jika tabel sumber tidak ada dalam tujuan, layanan membuat tabel tujuan dengan nama yang sama secara default. Anda juga bisa memetakan tabel sumber ke tabel tujuan yang sudah ada.
Di halaman Pemetaan tabel, tinjau kontennya, dan pilih Berikutnya. Pemetaan tabel cerdas didasarkan pada nama kolom. Jika Anda membiarkan layanan membuat tabel secara otomatis, konversi jenis data dapat terjadi ketika ada ketidakcocokan antara penyimpanan sumber dan tujuan. Jika ada konversi jenis data yang tidak didukung antara kolom sumber dan tujuan, Anda akan melihat pesan kesalahan di samping tabel terkait.
Di halaman Pengaturan, lakukan langkah-langkah berikut ini:
Tentukan CopyFromSQLToSQLDW untuk bidang Nama tugas.
Di bagian Pengaturan penahapan, klik + Baru ke penyimpanan penahapan baru. Penyimpanan digunakan untuk menyiapkan data sebelum dimuat ke Azure Synapse Analytics dengan menggunakan PolyBase. Setelah salinan selesai, data interim dalam Azure Blob Storage secara otomatis dibersihkan.
Pada halaman Layanan trertaut baru, pilih akun penyimpanan Anda, dan pilih Buat untuk menyebarkan layanan tertaut.
Batalkan opsi Gunakan tipe default, lalu pilih Berikutnya.
Di halaman Ringkasan, tinjau pengaturan, dan pilih Berikutnya.
Pada Halaman penyebaran, pilih Monitor untuk memantau alur (tugas).
Perhatikan bahwa tab Pemantauan di sebelah kiri dipilih secara otomatis. Ketika eksekusi alur berhasil, pilih tautan CopyFromSQLToSQLDW di bawah kolom NANama alur untuk menampilkan detail eksekusi aktivitas atau untuk menjalankan ulang alur.
Untuk beralih kembali ke tampilan eksekusi alur, pilih tautan Semua eksekusi alur di bagian atas. Pilih Refresh untuk menyegarkan daftar.
Untuk memantau detail eksekusi untuk setiap aktivitas salin, pilih tautan Detail (ikon kacamata) di bawah Nama Aktivitas dalam tampilan eksekusi aktivitas. Anda dapat memantau detail seperti volume data yang disalin dari sumber ke sink, throughput data, langkah-langkah eksekusi dengan durasi terkait, dan konfigurasi yang digunakan.
Konten terkait
Lanjutkan ke artikel berikut ini untuk mempelajari dukungan Azure Synapse Analytics: