Memahami alat pergerakan data yang tersedia

  • 8 menit

Titik akhir REST adalah sumber daya yang berguna untuk mengimpor data ke Azure SQL Database. Namun, alat lain untuk pergerakan data termasuk Azure Data Factory (ADF), Bulk Copy Program (BCP), Wizard Impor dan Ekspor SQL Server, dan skrip di Azure CLI dan PowerShell. Alat-alat ini menawarkan berbagai opsi untuk pergerakan data, masing-masing cocok untuk skenario yang berbeda.

Dalam unit ini, kita akan melihat contoh langkah demi langkah untuk beberapa alat ini, sementara yang lain akan dijelaskan secara rinci.

Menggunakan Sinkronisasi Data SQL untuk menyinkronkan data

Sinkronisasi Data SQL adalah fitur di Azure SQL Database yang memungkinkan Anda menyinkronkan data di beberapa database, baik di cloud maupun lokal. Kemampuan ini sangat penting untuk mempertahankan konsistensi data dan mengaktifkan skenario cloud hibrid. Sinkronisasi Data SQL adalah layanan yang dibangun di Azure SQL Database yang memungkinkan Anda menyinkronkan data yang dipilih secara dua arah di beberapa database. Ini menggunakan topologi hub-and-spoke, di mana satu database bertindak sebagai hub dan lainnya sebagai anggota. Database hub harus berupa Azure SQL Database, sementara database anggota dapat berupa Database Azure SQL atau database SQL Server.

Diagram memperlihatkan arsitektur Sinkronisasi Data SQL.

Menyiapkan Sinkronisasi Data SQL

  1. Membuat grup sinkronisasi: Untuk menyiapkan sinkronisasi data, masuk ke portal Azure dan navigasikan ke Azure SQL Database Anda. Di bawah bagian Manajemen data , pilih Sinkronkan ke database lain. Kemudian, pilih Grup Sinkronisasi Baru dan konfigurasikan pengaturan grup sinkronisasi, termasuk nama grup sinkronisasi dan database metadata sinkronisasi.

    Cuplikan layar memperlihatkan cara membuat Grup Sinkronisasi Data di portal Azure.

  2. Tambahkan anggota sinkronisasi: Untuk menambahkan database yang ingin Anda sinkronkan, Anda bisa menyertakan Database Azure SQL atau database SQL Server lokal lainnya. Untuk database lokal, Anda perlu menginstal dan mengonfigurasi agen sinkronisasi lokal.

  3. Mengonfigurasi pengaturan sinkronisasi: Untuk menentukan skema sinkronisasi, tentukan tabel dan kolom yang akan disinkronkan. Atur arah sinkronisasi (dua arah, hub-ke-anggota, atau anggota-ke-hub) dan frekuensi sinkronisasi. Terakhir, pilih kebijakan resolusi konflik (hub menang atau anggota menang) untuk menangani konflik data.

  4. Memantau dan mengelola sinkronisasi: Untuk memantau status sinkronisasi dan log, gunakan portal Azure. Periksa kesalahan sinkronisasi apa pun dan atasi sesuai kebutuhan.

Menggunakan Azure Data Factory untuk memanipulasi data di Azure SQL Database

Azure Data Factory (ADF) adalah layanan integrasi data berbasis cloud yang dikelola sepenuhnya yang memungkinkan Anda membuat alur kerja berbasis data untuk mengatur dan mengotomatiskan pergerakan data dan transformasi data. Ini mendukung beragam sumber data dan tujuan serta proses hybrid extract-transform-load (ETL) yang kompleks dan extract-load-transform (ELT), menjadikannya alat yang fleksibel untuk tugas integrasi data.

Dengan ADF, Anda dapat merancang orkestrasi data dan proses integrasi Anda sendiri.

  1. Membuat sumber daya Data Factory: Ini adalah sumber daya yang merangkum semua integrasi data dan aktivitas transformasi.

    • Pada portal Azure, navigasi ke Buat sumber daya dan cari "Pabrik data".
    • Isi detail yang diperlukan seperti langganan, grup sumber daya, dan wilayah, lalu pilih Buat.

  2. Membuat layanan tertaut: Layanan tertaut digunakan untuk menentukan informasi koneksi untuk sumber data dan tujuan.

    • Di Azure Data Factory, pilih Kelola lalu pilih Layanan tertaut.
    • Buat layanan tertaut baru untuk Azure SQL Database Anda dengan memberikan detail koneksi yang diperlukan.

  3. Membuat himpunan data: Himpunan data mewakili struktur data dalam penyimpanan data yang digunakan aktivitas dalam alur.

    • Di Azure Data Factory, buka tab Penulis .
    • Pilih + (plus) dan pilih Set Data.
    • Pilih jenis penyimpanan data (misalnya, Azure SQL Database, Azure Blob Storage). Selain itu, berikan detail koneksi dan properti himpunan data yang diperlukan.

  4. Membuat alur: Alur adalah pengelompokan logis aktivitas yang melakukan unit kerja.

    • Di Azure Data Factory, pilih Penulis dan buat alur baru.
    • Tambahkan aktivitas Salin Data ke alur untuk menyalin data dari himpunan data sumber ke himpunan data tujuan.

  5. Jalankan alur: Menjalankan alur menjalankan rangkaian aktivitas yang Anda konfigurasikan.

    • Picu alur untuk memulai proses salin data.
    • Pantau eksekusi alur untuk memastikan data berhasil diimpor.

Menggunakan BACPAC untuk mengimpor dan mengekspor data

File BACPAC pada dasarnya adalah file ZIP dengan ekstensi .bacpac, yang berisi skema database dan data. Ini digunakan untuk tujuan migrasi database, pencadangan, dan pengarsipan. Anda dapat mengekspor database ke file BACPAC dan menyimpannya di Azure Blob Storage atau lokal, dan kemudian mengimpornya kembali ke Azure SQL Database, Azure SQL Managed Instance, atau SQL Server. Selain itu, Anda dapat menggunakan file BACPAC untuk mengimpor hanya subset data. Fleksibilitas ini memungkinkan pendekatan yang lebih disesuaikan untuk pergerakan data.

Anda dapat mengimpor dan mengekspor data dengan file BACPAC menggunakan portal Azure dan SQL Server Management Studio (SSMS), tetapi Anda juga dapat menggunakan utilitas SQLPackage.

Jalankan perintah contoh berikut untuk mengimpor data ke file BACPAC menggunakan SQLPackage. Ganti <ServerName>, , <DatabaseName><UserName>, <Password>, dan <PathToBacpacFile> dalam skrip berikut dengan nama server, nama database, kredensial pengguna, dan jalur aktual untuk file BACPAC.

sqlpackage.exe /Action:Import /tsn:<ServerName> /tdn:<DatabaseName> /tu:<UserName> /tp:<Password> /sf:<PathToBacpacFile>

Jalankan perintah contoh berikut untuk mengekspor data ke file BACPAC menggunakan SQLPackage.

sqlpackage.exe /Action:Export /ssn:<ServerName> /sdn:<DatabaseName> /su:<UserName> /sp:<Password> /tf:<PathToBacpacFile>

Gunakan Program Salin Massal (BCP)

Utilitas BCP adalah alat baris perintah yang mengekspor tabel ke file sehingga Anda dapat mengimpornya. Gunakan pendekatan ini untuk bermigrasi dari satu SQL Database ke SQL Managed Instance dan kembali.

Menggunakan Wizard Impor dan Ekspor SQL Server

Wizard Impor dan Ekspor SQL Server adalah alat grafis dalam SQL Server Management Studio (SSMS) untuk mengimpor dan mengekspor data antara SQL Server dan berbagai sumber data. Keuntungan dari Wizard Impor dan Ekspor SQL Server adalah menggunakan SQL Server Integration Services (SSIS) untuk menyalin data. SSIS adalah alat yang sangat dapat dikonfigurasi untuk membuat proses ekstraksi, transformasi, dan pemuatan (ETL) yang dapat dijalankan pada instans SQL Server dan Azure SQL Database.

Menggunakan Azure CLI dan PowerShell

Anda dapat menggunakan skrip di Azure CLI dan PowerShell untuk mengotomatiskan proses impor dan ekspor. Menggunakan skrip untuk impor atau ekspor cocok untuk diintegrasikan ke dalam alur CI/CD, namun setiap skrip memerlukan tingkat kustomisasi yang tinggi dibandingkan dengan metode lain.

Untuk mempelajari selengkapnya tentang alat lain yang tersedia untuk mengekspor dan mengimpor data, lihat Mengimpor dan mengekspor data dari SQL Server dan Azure SQL Database.