Menyalin data dari database SQL Server ke penyimpanan Azure Blob

BERLAKU UNTUK:Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Dalam tutorial ini, Anda menggunakan antarmuka pengguna Azure Data Factory untuk membuat alur pabrik data yang menyalin data dari database Microsoft SQL Server ke penyimpanan Azure Blob. Anda membuat dan menggunakan runtime integrasi yang dihosting sendiri, yang memindahkan data antara penyimpanan data lokal dan cloud.

Catatan

Artikel ini tidak menyediakan pengenalan terperinci ke Azure Data Factory. Untuk informasi selengkapnya, lihat Pengantar Azure Data Factory.

Di tutorial ini, Anda melakukan langkah-langkah berikuti:

• Membuat pabrik data.
• Membuat runtime integrasi yang dihost sendiri.
• Buat layanan tertaut SQL Server dan Azure Storage.
• Buat himpunan data SQL Server dan Blob Azure.
• Buat alur dengan aktivitas salin untuk memindahkan data.
• Memulai eksekusi alur.
• Pantau eksekusi alur.

Prasyarat

Langganan Azure

Sebelum memulai, jika Anda belum memiliki langganan Azure, buat akun gratis.

Peran Azure

Untuk membuat instans data factory, akun pengguna yang Anda gunakan untuk masuk ke Azure harus ditetapkan peran Kontributor atau Pemilik atau admin langganan Azure.

Untuk menampilkan izin yang Anda miliki dalam langganan, masuk ke portal Microsoft Azure. Di sudut kanan atas, pilih nama pengguna Anda, lalu pilih Izin. Jika Anda memiliki akses ke beberapa langganan, pilih langganan yang sesuai. Untuk sampel instruksi tentang cara menambahkan pengguna ke peran, lihat Tetapkan peran Azure menggunakan portal Microsoft Azure.

SQL Server 2014, 2016, dan 2017

Dalam tutorial ini, Anda menggunakan database Microsoft SQL Server sebagai penyimpanan data sumber. Alur di pabrik data yang Anda buat dalam tutorial ini menyalin data dari database Microsoft SQL Server ini (sumber) ke penyimpanan Blob (sink). Anda kemudian membuat tabel bernama emp di database SQL Server Anda dan menyisipkan beberapa sampel entri ke dalam tabel.

1. Mulailah SQL Server Management Studio. Jika belum terpasang di komputer Anda, buka Mengunduh Microsoft SQL Server Management Studio.

2. Sambungkan ke instans SQL Server Anda dengan menggunakan kredensial Anda.

3. Buat sampel database. Dalam tampilan pohon, klik kanan Database, lalu pilih Database Baru.

4. Di jendela Database Baru, masukkan nama untuk database, lalu pilih OK.

5. Untuk membuat tabel emp dan menyisipkan beberapa sampel data ke dalamnya, jalankan skrip kueri berikut ini terhadap database. Dalam tampilan pohon, klik kanan database yang Anda buat, lalu pilih Kueri Baru.

    CREATE TABLE dbo.emp
    (
        ID int IDENTITY(1,1) NOT NULL,
        FirstName varchar(50),
        LastName varchar(50)
    )
    GO
   
    INSERT INTO emp (FirstName, LastName) VALUES ('John', 'Doe')
    INSERT INTO emp (FirstName, LastName) VALUES ('Jane', 'Doe')
    GO
   

Akun penyimpanan Azure

Dalam tutorial ini, Anda menggunakan akun penyimpanan Azure tujuan umum (khususnya, penyimpanan Blob) sebagai penyimpanan data tujuan/sink. Jika Anda tidak memiliki akun penyimpanan Azure, lihat Membuat akun penyimpanan. Alur di pabrik data yang Anda buat dalam tutorial ini menyalin data dari database Microsoft SQL Server ini (sumber) ke penyimpanan Blob (sink).

Dapatkan nama akun penyimpanan dan kunci akun

Anda menggunakan nama dan kunci akun penyimpanan Anda dalam tutorial ini. Untuk mendapatkan nama dan kunci akun penyimpanan Anda, ikuti langkah-langkah berikut:

1. Masuk ke portal Microsoft Azure dengan nama pengguna dan kata sandi Azure Anda.

2. Di panel sebelah kiri, pilih Semua layanan. Filter dengan menggunakan kata kunci Penyimpanan, lalu pilih Akun penyimpanan.

   

3. Dalam daftar akun penyimpanan, filter untuk akun penyimpanan Anda jika diperlukan. Pilih akun penyimpanan Anda.

4. Di jendela Akun penyimpanan, pilih Tombol akses.

5. Dalam kotak Nama akun penyimpanan dan kotak kunci1, lalu tempelkan nilai, lalu tempelkan ke Notepad atau editor lain untuk digunakan nanti dalam tutorial.

Membuat kontainer adftutorial

Di bagian ini, Anda membuat kontainer blob bernama adftutorial di penyimpanan Blob Anda.

1. Di jendela Akun penyimpanan, buka Gambaran Umum, lalu pilih Kontainer.

   

2. Di jendela Kontainer, pilih + Kontainer untuk membuat yang baru.

3. Di jendela Kontainer baru, di bawah Nama,masukkan adftutorial. Lalu pilih Buat.

4. Dalam daftar kontainer, pilih adftutorial yang baru saja Anda buat.

5. Pastikan jendela kontainer untuk adftutorial tetap terbuka. Anda menggunakannya untuk memverifikasi output di akhir tutorial. Data Factory secara otomatis membuat folder output dalam kontainer ini, sehingga Anda tidak perlu membuatnya.

Membuat pabrik data

Dalam langkah ini, Anda membuat pabrik data dan memulai UI Data Factory untuk membuat alur di pabrik data.

1. Buka browser web Microsoft Edge atau Google Chrome. Saat ini, antarmuka pengguna Data Factory hanya didukung di browser web Microsoft Edge dan Google Chrome.

2. Di menu sebelah kiri, pilih Buat sumber daya>Integrasi>Data Factory:

   

3. Di halaman Pabrik data baru, di bawah Nama, masukkan ADFTutorialDataFactory.

   Nama pabrik data harus unik secara global. Jika Anda melihat pesan kesalahan bidang nama berikut, ubah nama pabrik data (contohnya, yournameADFTutorialDataFactory). Untuk aturan penamaan artefak Data Factory, lihat artikel aturan penamaan Data Factory.

   

4. Pilih langganan Azure Anda tempat Anda ingin membuat pabrik datanya.

5. Untuk Grup Sumber Daya, lakukan salah satu langkah berikut:

   • Pilih Gunakan yang ada, lalu pilih grup sumber daya yang ada dari menu drop-down.

   • Pilih Buat baru, lalu masukkan nama grup sumber daya.

     Untuk mempelajari grup sumber daya, lihat Menggunakan grup sumber daya untuk mengelola sumber daya Azure Anda.

6. Di bawah Versi, pilih V2.

7. Di bawah Lokasi, pilih lokasi untuk pabrik data. Hanya lokasi yang didukung yang ditampilkan di daftar drop-down. Data disimpan (misalnya, Microsoft Azure Storage dan Microsoft Azure SQL Database) dan komputasi (misalnya, Microsoft Azure HDInsight) yang digunakan oleh Data Factory dapat berada di wilayah lain.

8. Pilih Buat.

9. Setelah pembuatan selesai, Anda akan melihat halaman Azure Data Factory seperti yang ditunjukkan pada gambar:

   

10. Pilih Buka pada petak peta Buka Azure Data Factory Studio untuk meluncurkan UI Data Factory di tab terpisah.

Buat alur

1. Di beranda Azure Data Factory, pilih Atur. Alur secara otomatis dibuat untuk Anda. Anda melihat alur dalam tampilan pohon, dan editornya terbuka.

   

2. Di panel Umum di bawah Properti, tetapkan SQLServerToBlobPipeline untuk Nama. Kemudian ciutkan panel dengan mengeklik ikon Properti di pojok kanan atas.

3. Di kotak alat Aktivitas, perluas Pindah & Transformasi. Seret dan hilangkan aktivitasSalin ke permukaan desain alur. Atur nama aktivitas ke CopySqlServerToAzureBlobActivity.

4. Di jendela Properti, masuk ke tab Sumber, dan pilih + Baru.

5. Dalam kotak dialog Himpunan Data Baru, cari Microsoft SQL Server. Pilih Microsoft SQL Server, lalu pilih Lanjutkan.

6. Dalam kotak dialog Atur Properti, di bawah Nama,masukkan SqlServerDataset. Di bawah Layanan tertaut, pilih + Baru. Anda membuat koneksi ke penyimpanan data sumber (database Microsoft SQL Server) dalam langkah ini.

7. Dalam kotak dialog Layanan Tertaut Baru, tambahkan Nama sebagai SqlServerLinkedService. Di bawah Sambungkan melalui runtime integrasi, pilih+Baru. Di bagian ini, Anda membuat runtime integrasi yang dihost sendiri dan mengaitkannya dengan mesin lokal dengan database Microsoft SQL Server. Runtime integrasi yang dihost sendiri adalah komponen yang menyalin data dari database Microsoft SQL Server di mesin penyimpanan Blob Anda.

8. Dalam kotak dialog Penyetelan Microsoft Integration Runtime, pilih Dihost Sendiri, lalu pilih Lanjutkan.

9. Di bawah nama, masukkan TutorialIntegrationRuntime. Lalu pilih Buat.

10. Untuk Setelan, pilih Klik di sini untuk meluncurkan penyetelan ekspres untuk komputer ini. Tindakan ini memasang runtime integrasi pada mesin Anda dan mendaftarkannya dengan Azure Data Factory. Atau, Anda dapat menggunakan opsi pengaturan manual untuk mengunduh file instalasi, menjalankannya, dan menggunakan kunci untuk mendaftarkan runtime integrasi.

11. Di jendela Integrasi Runtime (Dihost sendiri) Penyiapan Ekspres, pilih Tutup saat proses selesai.

    

12. Dalam kotak dialog Layanan tertaut baru (Microsoft SQL Server), konfirmasikan bahwa TutorialIntegrationRuntime dipilih di bawah Sambungkan melalui runtime integrasi. Lalu, ambil langkah-langkah berikut:

    a. Di bawah Nama, masukkan SqlServerLinkedService.

    b. Di bawah Nama server, masukkan nama instans SQL Server Anda.

    c. Di bawah Nama database, masukkan nama database dengan tabel emp.

    d. Di bawah Tipe autentikasi, pilih jenis autentikasi yang sesuai yang harus digunakan Azure Data Factory untuk menyambungkan ke database Microsoft SQL Server Anda.

    e. Di bawah Nama pengguna dan Kata Sandi, masukkan nama pengguna dan kata sandi. Gunakan mydomain\myuser sebagai nama pengguna jika diperlukan.

    f. Pilih Pengujian koneksi. Langkah ini untuk mengonfirmasi bahwa Azure Data Factory dapat terhubung ke database Microsoft SQL Server Anda dengan menggunakan runtime integrasi yang dihost sendiri yang Anda buat.

    g. Pilih Buat untuk menyimpan layanan tertaut.

    

13. Setelah layanan tertaut dibuat, Anda kembali ke halaman Atur properti untuk SqlServerDataset. Lakukan langkah-langkah berikut:

    a. Dalam Layanan tertaut,konfirmasikan bahwa Anda melihat SqlServerLinkedService.

    b. Di bawah Nama tabel, pilih [dbo].[ emp].

    c. Pilih OK.

14. Buka tab dengan SQLServerToBlobPipeline, atau pilih SQLServerToBlobPipeline dalam tampilan pohon.

15. Masuk ke tab Sink di bagian bawah jendela Properti, dan pilih + Baru.

16. Dalam kotak dialog KumpulanHimpunan Data Baru, pilih Azure Blob Storage. Lalu Pilih Lanjutkan.

17. Dalam kotak dialog Pilih Format, pilih jenis format data Anda. Lalu Pilih Lanjutkan.

    

18. Dalam kotak dialog Atur Properti, masukkan AzureBlobDataset untuk Nama. Di samping kotak teks Layanan tertaut, pilih + Baru.

19. Di kotak dialog Layanan Tertaut Baru (Azure Blob Storage), masukkan AzureStorageLinkedService sebagai nama, pilih akun penyimpanan Anda dari daftar Nama akun penyimpanan. Pengujian koneksi, lalu pilih Buat untuk menyebarkan layanan tertaut.

20. Setelah layanan tertaut dibuat, Anda kembali ke halaman Atur properti. Pilih OK.

21. Buka himpunan data sink. Pada tab Koneksi, ikuti langkah-langkah berikut ini:

    a. Dalam layanan Tertaut, konfirmasikan bahwa AzureStorageLinkedService dipilih.

    b. Di jalur File, masukkan adftutorial/fromonprem untuk bagian Kontainer/ Direktori. Jika folder output tidak ada di kontainer adftutorial, Azure Data Factory secara otomatis membuat folder output.

    c. Untuk bagian File, pilih Tambahkan konten dinamis.

    d. Tambahkan @CONCAT(pipeline().RunId, '.txt'), lalu pilih Selesai. Aksi ini akan mengganti nama file dengan PipelineRunID.txt.

22. Masuk ke tab dengan alur terbuka, atau pilih alur pada tampilan pohon. Di Himpunan Data Sink, konfirmasikan bahwa AzureBlobDataset dipilih.

23. Untuk memvalidasi pengaturan alur, pilih Validasi pada toolbar untuk alur. Untuk menutup output validasi alur,pilih ikon >>.

24. Untuk menerbitkan entitas yang Anda buat ke Azure Data Factory, pilih Terbitkan semua.

25. Tunggu hingga Anda melihat pop-up Penerbitan selesai. Untuk memeriksa status penerbitan, pilih tautan Perlihatkan pemberitahuan di bagian atas jendela. Untuk menutup jendela pemberitahuan, pilih Tutup.

Memicu proses alur

Pilih Tambahkan Pemicu padabar alat untuk alur, lalu pilih Picu Sekarang.

Memantau eksekusi alur

1. Masuk ke tab Monitor. Anda melihat alur yang Anda picu secara manual di langkah sebelumnya.

2. Untuk melihat aktivitas yang terkait dengan alur eksekusi pilih tautan SQLServerToBlobPipeline di bawah NAMA PIPELINE.

3. Pada halaman Eksekusi aktivitas, pilih tautan Detail (gambar kacamata) untuk melihat detail tentang operasi salin. Untuk kembali ke tampilan Eksekusi Alur, pilih Semua eksekusi laur di bagian atas.

Verifikasi output

Alur secara otomatis membuat folder output bernama fromonprem di adftutorialkontainer blob. Konfirmasikan bahwa Anda melihat file [pipeline(). RunId].txt di dalam folder keluar.

Konten terkait

Alur dalam sampel ini menyalin data dari satu lokasi ke lokasi lain dalam penyimpanan Azure Blob. Anda mempelajari cara untuk:

• Membuat pabrik data.
• Membuat runtime integrasi yang dihost sendiri.
• Membuat layanan tertaut Microsoft SQL Server dan Microsoft Azure Storage.
• Membuat himpunan data Microsoft SQL Server dan penyimpanan Blob.
• Buat alur dengan aktivitas salin untuk memindahkan data.
• Memulai eksekusi alur.
• Pantau eksekusi alur.

Untuk daftar penyimpanan data yang didukung oleh Azure Data Factory, lihat Penyimpanan data yang didukung.

Untuk mempelajari cara menyalin data secara massal dari sumber ke tujuan, lanjutkan ke tutorial berikut:

Menyalin data secara massal