Bagikan melalui

Memuat data ke dalam kumpulan SQL khusus di Azure Synapse Analytics dengan SQL Server Integration Services (SSIS)

  • Artikel

Berlaku untuk:analitik Azure Synapse

Buat paket SQL Server Integration Services (SSIS) untuk memuat data ke dalam kumpulan SQL khusus di Azure Synapse Analytics. Anda dapat secara opsional merestrukturisasi, mengubah, dan membersihkan data saat melewati aliran data SSIS.

Artikel ini memperlihatkan kepada Anda cara melakukan hal-hal berikut:

  • Buat proyek Integration Services baru di Visual Studio.
  • Rancang paket SSIS yang memuat data dari sumber ke tujuan.
  • Jalankan paket SSIS untuk memuat data.

Konsep dasar

Paket ini adalah unit dasar pekerjaan di SSIS. Paket terkait dikelompokkan dalam proyek. Anda membuat proyek dan paket desain di Visual Studio dengan SQL Server Data Tools. Proses desain adalah proses visual di mana Anda menyeret dan menghilangkan komponen dari Kotak Alat ke permukaan desain, menghubungkannya, dan mengatur propertinya. Setelah menyelesaikan paket, Anda dapat menjalankannya, dan Anda dapat secara opsional menyebarkannya ke SQL Server atau SQL Database untuk manajemen, pemantauan, dan keamanan yang komprehensif.

Pengantar terperinci tentang SSIS berada di luar cakupan artikel ini. Untuk mempelajari selengkapnya, lihat artikel berikut ini:

Opsi untuk memuat data ke Azure Synapse Analytics dengan SSIS

SQL Server Integration Services (SSIS) adalah sekumpulan alat fleksibel yang menyediakan berbagai opsi untuk menyambungkan, dan memuat data ke dalam, Azure Synapse Analytics.

  1. Metode pilihan, yang memberikan performa terbaik, adalah membuat paket yang menggunakan Azure SQL DW Upload Task untuk memuat data. Tugas ini merangkum informasi sumber dan tujuan. Ini mengasumsikan bahwa data sumber Anda disimpan secara lokal dalam file teks yang dibatasi.

  2. Secara bergantian, Anda dapat membuat paket yang menggunakan tugas Aliran Data yang berisi sumber dan tujuan. Pendekatan ini mendukung berbagai sumber data, termasuk SQL Server dan Azure Synapse Analytics.

Prasyarat

Untuk menelusuri tutorial ini, Anda memerlukan hal-hal berikut:

  1. SQL Server Integration Services (SSIS). SSIS adalah komponen SQL Server dan memerlukan versi berlisensi, atau versi pengembang atau evaluasi, dari SQL Server. Untuk mendapatkan versi evaluasi SQL Server, lihat Mengevaluasi SQL Server.
  2. Visual Studio (opsional). Untuk mendapatkan Visual Studio Community Edition gratis, lihat Komunitas Visual Studio. Jika Anda tidak ingin menginstal Visual Studio, Anda hanya dapat menginstal SQL Server Data Tools (SSDT). SSDT menginstal versi Visual Studio dengan fungsionalitas terbatas.
  3. SQL Server Data Tools untuk Visual Studio (SSDT). Untuk mendapatkan SQL Server Data Tools untuk Visual Studio, lihat Mengunduh SQL Server Data Tools (SSDT).
  4. Database dan izin Azure Synapse Analytics. Tutorial ini terhubung ke kumpulan SQL khusus di instans Azure Synapse Analytics dan memuat data ke dalamnya. Anda harus memiliki izin untuk menyambungkan, membuat tabel, dan memuat data.

Membuat proyek Integration Services baru

  1. Luncurkan Visual Studio.
  2. Pada menu File , pilih Baru | Proyek.
  3. Menavigasi ke Terinstal | Templat | Kecerdasan Bisnis | Jenis proyek Integration Services .
  4. Pilih Proyek Layanan Integrasi. Berikan nilai untuk Nama dan Lokasi, lalu pilih OK.

Visual Studio membuka dan membuat proyek Integration Services (SSIS) baru. Kemudian Visual Studio membuka perancang untuk paket SSIS baru tunggal (Package.dtsx) dalam proyek. Anda melihat area layar berikut:

  • Di sebelah kiri, Kotak Alat komponen SSIS.

  • Di tengah, permukaan desain, dengan beberapa tab. Anda biasanya menggunakan setidaknya tab Alur Kontrol dan Aliran Data .

  • Di sebelah kanan, panel Penjelajah Solusi dan Properti.

    Cuplikan layar Visual Studio memperlihatkan panel Kotak Alat, panel desain, panel Penjelajah Solusi, dan panel Properti.

Opsi 1 - Gunakan tugas Unggah SQL DW

Pendekatan pertama adalah paket yang menggunakan tugas Unggah SQL DW. Tugas ini merangkum informasi sumber dan tujuan. Ini mengasumsikan bahwa data sumber Anda disimpan dalam file teks yang dibatasi, baik secara lokal atau di Azure Blob Storage.

Prasyarat untuk Opsi 1

Untuk melanjutkan tutorial dengan opsi ini, Anda memerlukan hal-hal berikut:

  • Paket Fitur Microsoft SQL Server Integration Services untuk Azure. Tugas Unggah SQL DW adalah komponen dari Paket Fitur.

  • Akun Azure Blob Storage. Tugas Unggah SQL DW memuat data dari Azure Blob Storage ke Azure Synapse Analytics. Anda dapat memuat file yang sudah ada di Blob Storage, atau Anda dapat memuat file dari komputer Anda. Jika Anda memilih file di komputer, tugas Unggah SQL DW mengunggahnya ke Blob Storage terlebih dahulu untuk penahapan, lalu memuatnya ke kumpulan SQL khusus Anda.

Menambahkan dan mengonfigurasi SQL DW Upload Task

  1. Seret Tugas Unggah SQL DW dari Kotak Alat ke tengah permukaan desain (pada tab Alur Kontrol ).

  2. Klik dua kali tugas untuk membuka Editor Tugas Unggah SQL DW.

    Halaman umum editor Tugas Unggah SQL DW

  3. Konfigurasikan tugas dengan bantuan panduan dalam artikel Azure SQL Tugas Unggah DW. Karena tugas ini merangkum informasi sumber dan tujuan, dan pemetaan antara tabel sumber dan tujuan, editor tugas memiliki beberapa halaman pengaturan untuk dikonfigurasi.

Membuat solusi serupa secara manual

Untuk kontrol lebih lanjut, Anda dapat membuat paket yang meniru pekerjaan yang dilakukan oleh tugas Unggah SQL DW secara manual.

  1. Gunakan Tugas Unggah Blob Azure untuk menahapkan data dalam Azure Blob Storage. Untuk mendapatkan tugas Unggahan Blob Azure, unduh Paket Fitur Microsoft SQL Server Integration Services untuk Azure.

  2. Kemudian gunakan tugas SSIS Execute SQL untuk meluncurkan skrip PolyBase yang memuat data ke dalam kumpulan SQL khusus Anda. Untuk contoh yang memuat data dari Azure Blob Storage ke kumpulan SQL khusus (tetapi tidak dengan SSIS), lihat Tutorial: Memuat data ke Azure Synapse Analytics.

Opsi 2 - Menggunakan sumber dan tujuan

Pendekatan kedua adalah paket umum yang menggunakan tugas Aliran Data yang berisi sumber dan tujuan. Pendekatan ini mendukung berbagai sumber data, termasuk SQL Server dan Azure Synapse Analytics.

Tutorial ini menggunakan SQL Server sebagai sumber data. SQL Server berjalan secara lokal atau di komputer virtual Azure.

Untuk menyambungkan ke SQL Server dan ke kumpulan SQL khusus, Anda dapat menggunakan pengelola koneksi dan sumber dan tujuan ADO.NET, atau manajer koneksi dan sumber dan tujuan OLE DB. Tutorial ini menggunakan ADO.NET karena memiliki opsi konfigurasi terkecil. OLE DB dapat memberikan performa yang sedikit lebih baik daripada ADO.NET.

Sebagai pintasan, Anda dapat menggunakan Wizard Impor dan Ekspor SQL Server untuk membuat paket dasar. Kemudian, simpan paket, dan buka di Visual Studio atau SSDT untuk melihat dan menyesuaikannya. Untuk informasi selengkapnya, lihat Mengimpor dan Mengekspor Data dengan Wizard Impor dan Ekspor SQL Server.

Prasyarat untuk Opsi 2

Untuk melanjutkan tutorial dengan opsi ini, Anda memerlukan hal-hal berikut:

  1. Contoh data. Tutorial ini menggunakan data sampel yang disimpan dalam SQL Server dalam database sampel AdventureWorks sebagai data sumber yang akan dimuat ke dalam kumpulan SQL khusus. Untuk mendapatkan database sampel AdventureWorks, lihat Database Sampel AdventureWorks.

  2. Aturan firewall. Anda harus membuat aturan firewall pada kumpulan SQL khusus Anda dengan alamat IP komputer lokal Anda sebelum Anda dapat mengunggah data ke kumpulan SQL khusus.

Membuat aliran data dasar

  1. Seret Tugas Aliran Data dari Kotak Alat ke tengah permukaan desain (pada tab Alur Kontrol ).

    Cuplikan layar Visual Studio memperlihatkan Tugas Aliran Data yang diseret ke tab Alur Kontrol panel desain.

  2. Klik dua kali Tugas Aliran Data untuk beralih ke tab Aliran Data.

  3. Dari daftar Sumber Lain di Kotak Alat, seret Sumber ADO.NET ke permukaan desain. Dengan adaptor sumber masih dipilih, ubah namanya menjadi sumber SQL Server di panel Properti.

  4. Dari daftar Tujuan Lain di Kotak Alat, seret Tujuan ADO.NET ke permukaan desain di bawah Sumber ADO.NET. Dengan adaptor tujuan masih dipilih, ubah namanya menjadi tujuan SQL DW di panel Properti .

    Cuplikan layar adaptor tujuan yang diseret ke lokasi tepat di bawah adaptor sumber.

Mengonfigurasi adaptor sumber

  1. Klik dua kali adaptor sumber untuk membuka Editor Sumber ADO.NET.

    Cuplikan layar Editor Sumber ADO.NET. Tab Pengelola Sambungan terlihat, dan kontrol tersedia untuk mengonfigurasi properti aliran data.

  2. Pada tab Pengelola SambunganEditor Sumber ADO.NET, klik tombol Baru di samping daftar pengelola koneksi ADO.NET untuk membuka kotak dialog Konfigurasikan ADO.NET Pengelola Sambungan dan buat pengaturan koneksi untuk database SQL Server tempat tutorial ini memuat data.

    Cuplikan layar kotak dialog Konfigurasikan ADO.NET Pengelola Sambungan. Kontrol tersedia untuk menyiapkan dan mengonfigurasi pengelola koneksi.

  3. Dalam kotak dialog Konfigurasikan ADO.NET Pengelola Sambungan, klik tombol Baru untuk membuka kotak dialog Pengelola Sambungan dan membuat koneksi data baru.

    Cuplikan layar kotak dialog Pengelola Sambungan. Kontrol tersedia untuk mengonfigurasi koneksi data.

  4. Dalam kotak dialog Pengelola Sambungan, lakukan hal-hal berikut ini.

    1. Untuk Penyedia, pilih Penyedia Data SqlClient.

    2. Untuk Nama server, masukkan nama SQL Server.

    3. Di bagian Masuk ke server , pilih atau masukkan informasi autentikasi.

    4. Di bagian Sambungkan ke database , pilih database sampel AdventureWorks.

    5. Klik Uji Koneksi.

      Cuplikan layar kotak dialog yang menampilkan tombol OK dan teks yang menunjukkan bahwa koneksi pengujian berhasil.

    6. Dalam kotak dialog yang melaporkan hasil pengujian koneksi, klik OK untuk kembali ke kotak dialog Pengelola Sambungan.

    7. Dalam kotak dialog Pengelola Sambungan, klik OK untuk kembali ke kotak dialog Konfigurasikan ADO.NET Pengelola Sambungan.

  5. Dalam kotak dialog Konfigurasikan ADO.NET Pengelola Sambungan, klik OK untuk kembali ke Editor Sumber ADO.NET.

  6. Di Editor Sumber ADO.NET, di Nama tabel atau daftar tampilan , pilih tabel Sales.SalesOrderDetail .

    Cuplikan layar Editor Sumber ADO.NET. Di Nama tabel atau daftar tampilan, tabel Sales.SalesOrderDetail dipilih.

  7. Klik Pratinjau untuk melihat 200 baris data pertama dalam tabel sumber dalam kotak dialog Hasil Kueri Pratinjau .

    Cuplikan layar kotak dialog Hasil Kueri Pratinjau. Beberapa baris data penjualan dari tabel sumber terlihat.

  8. Dalam kotak dialog Hasil Kueri Pratinjau , klik Tutup untuk kembali ke Editor Sumber ADO.NET.

  9. Di Editor Sumber ADO.NET, klik OK untuk menyelesaikan konfigurasi sumber data.

Menyambungkan adaptor sumber ke adaptor tujuan

  1. Pilih adaptor sumber pada permukaan desain.

  2. Pilih panah biru yang meluas dari adaptor sumber dan seret ke editor tujuan hingga diposisikan ke tempatnya.

    Cuplikan layar memperlihatkan adaptor sumber dan tujuan. Panah biru menunjuk dari adaptor sumber ke adaptor tujuan.

    Dalam paket SSIS umum, Anda menggunakan sejumlah komponen lain dari Kotak Alat SSIS di antara sumber dan tujuan untuk merestrukturisasi, mengubah, dan membersihkan data Anda saat melewati aliran data SSIS. Untuk menjaga contoh ini sesingkat mungkin, kami menghubungkan sumber langsung ke tujuan.

Mengonfigurasi adaptor tujuan

  1. Klik dua kali adaptor tujuan untuk membuka Editor Tujuan ADO.NET.

    Cuplikan layar Editor Tujuan ADO.NET. Tab Pengelola Sambungan terlihat dan berisi kontrol untuk mengonfigurasi properti aliran data.

  2. Pada tab Pengelola SambunganEditor Tujuan ADO.NET, klik tombol Baru di samping daftar Pengelola koneksi untuk membuka kotak dialog Konfigurasikan ADO.NET Pengelola Sambungan dan buat pengaturan koneksi untuk database Azure Synapse Analytics tempat tutorial ini memuat data.

  3. Dalam kotak dialog Konfigurasikan ADO.NET Pengelola Sambungan, klik tombol Baru untuk membuka kotak dialog Pengelola Sambungan dan membuat koneksi data baru.

  4. Dalam kotak dialog Pengelola Sambungan, lakukan hal-hal berikut ini.

    1. Untuk Penyedia, pilih Penyedia Data SqlClient.
    2. Untuk Nama server, masukkan nama kumpulan SQL khusus.
    3. Di bagian Masuk ke server, pilih Gunakan autentikasi SQL Server dan masukkan informasi autentikasi.
    4. Di bagian Sambungkan ke database , pilih database kumpulan SQL khusus yang sudah ada.
    5. Klik Uji Koneksi.
    6. Dalam kotak dialog yang melaporkan hasil pengujian koneksi, klik OK untuk kembali ke kotak dialog Pengelola Sambungan.
    7. Dalam kotak dialog Pengelola Sambungan, klik OK untuk kembali ke kotak dialog Konfigurasikan ADO.NET Pengelola Sambungan.

  5. Dalam kotak dialog Konfigurasikan ADO.NET Pengelola Sambungan, klik OK untuk kembali ke Editor Tujuan ADO.NET.

  6. Di Editor Tujuan ADO.NET, klik Baru di samping daftar Gunakan tabel atau tampilan untuk membuka kotak dialog Buat Tabel untuk membuat tabel tujuan baru dengan daftar kolom yang cocok dengan tabel sumber.

    Cuplikan layar kotak dialog Buat Tabel. Kode S Q L untuk membuat tabel tujuan terlihat.

  7. Dalam kotak dialog Buat Tabel , lakukan hal-hal berikut ini.

    1. Ubah nama tabel tujuan menjadi SalesOrderDetail.

    2. Hapus kolom rowguid . Jenis data pengidentifikasi unik tidak didukung di kumpulan SQL khusus.

    3. Ubah jenis data kolom LineTotal menjadi uang. Jenis data desimal tidak didukung di kumpulan SQL khusus. Untuk informasi tentang jenis data yang didukung, lihat CREATE TABLE (Azure Synapse Analytics, Parallel Data Warehouse).

      Cuplikan layar kotak dialog Buat Tabel, dengan kode untuk membuat tabel bernama SalesOrderDetail dengan LineTotal sebagai kolom uang dan tanpa kolom rowguid.

    4. Klik OK untuk membuat tabel dan kembali ke Editor Tujuan ADO.NET.

  8. Di Editor Tujuan ADO.NET, pilih tab Pemetaan untuk melihat bagaimana kolom di sumber dipetakan ke kolom di tujuan.

    Cuplikan layar tab Pemetaan dari Editor Tujuan ADO.NET. Garis menyambungkan kolom dengan nama yang identik di tabel sumber dan tujuan.

  9. Klik OK untuk menyelesaikan konfigurasi tujuan.

Jalankan paket untuk memuat data

Jalankan paket dengan mengklik tombol Mulai pada toolbar atau dengan memilih salah satu opsi Jalankan pada menu Debug .

Paragraf berikut menjelaskan apa yang Anda lihat jika Anda membuat paket dengan opsi kedua yang dijelaskan dalam artikel ini, yaitu, dengan aliran data yang berisi sumber dan tujuan.

Saat paket mulai berjalan, Anda akan melihat roda berputar kuning untuk menunjukkan aktivitas serta jumlah baris yang diproses sejauh ini.

Cuplikan layar memperlihatkan adaptor sumber dan tujuan dengan roda kuning dan berputar di atas setiap adaptor dan teks

Setelah paket selesai berjalan, Anda akan melihat tanda centang hijau untuk menunjukkan keberhasilan serta jumlah total baris data yang dimuat dari sumber ke tujuan.

Cuplikan layar memperlihatkan adaptor sumber dan tujuan. Tanda centang hijau berada di atas setiap adaptor, dan teks

Selamat! Anda berhasil menggunakan SQL Server Integration Services untuk memuat data ke Azure Synapse Analytics.

Langkah berikutnya