Menjalankan paket SSIS di Azure dari SQL Server Data Tools (SSDT)

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Artikel ini menjelaskan fitur proyek SQL Server Integration Services (SSIS) yang diaktifkan Azure pada SQL Server Data Tools (SSDT). Ini memungkinkan Anda untuk menilai kompatibilitas cloud paket SSIS Anda dan menjalankannya pada Azure-SSIS Integration Runtime (IR) di Azure Data Factory (ADF). Fitur ini dapat digunakan untuk menguji paket yang sudah ada sebelum Anda mengangkat, menggeser/memigrasikannya ke Azure atau mengembangkan paket baru untuk dijalankan di Azure.

Dengan fitur ini, Anda dapat melampirkan Azure-SSIS IR yang baru dibuat/yang sudah ada ke proyek SSIS lalu menjalankan paket Anda di dalamnya. Kami mendukung paket yang sedang berjalan untuk disebarkan ke dalam katalog SSIS (SSISDB) yang dihost oleh server Azure SQL Database Anda atau instans terkelola dalam Model Penyebaran Proyek. Kami juga mendukung paket yang sedang berjalan untuk disebarkan ke sistem file/Azure Files/database SQL Server (MSDB) yang dihost oleh instans terkelola Azure SQL Anda dalam Model Penyebaran Paket.

Prasyarat

Untuk menggunakan fitur ini, unduh dan instal SQL Server Data Tools (SSDT) terbaru dengan ekstensi Proyek SSIS untuk Visual Studio (VS) dari sini. Atau, Anda dapat mengunduh dan menginstal SQL Server Data Tools (SSDT) terbaru sebagai alat penginstal mandiri dari sini.

Proyek SSIS yang mendukung Azure

Membuat proyek SSIS baru yang diaktifkan Azure

Di SQL Server Data Tools (SSDT), Anda dapat membuat proyek SSIS baru yang diaktifkan Azure menggunakan templat Proyek Integration Services (yang diaktifkan Azure).

Setelah proyek yang diaktifkan Azure dibuat, Anda akan diminta untuk menyambungkan ke SSIS di Azure Data Factory.

Jika ingin segera menyambungkan ke Azure-SSIS IR Anda, lihat Menyambungkan ke Azure-SSIS IR untuk detail selengkapnya. Anda juga dapat terhubung nanti dengan mengklik kanan pada node proyek Anda di jendela Penjelajah Solusi dari SQL Server Data Tools untuk memunculkan menu. Berikutnya, pilih item Sambungkan ke SSIS di Azure Data Factory di submenu SSIS di Azure Data Factory.

Mengaktifkan proyek SSIS yang ada dengan Azure

Untuk proyek SSIS yang sudah ada, Anda dapat mengaktifkan Azure dengan mengikuti langkah-langkah berikut:

1. Klik kanan pada node proyek Anda di jendela Penjelajah Solusi dari SQL Server Data Tools untuk memunculkan menu. Berikutnya, pilih item Proyek yang diaktifkan Azure di submenu SSIS di Azure Data Factory untuk meluncurkan Wizard Proyek yang Diaktifkan Azure.

   

2. Pada halaman Pilih Konfigurasi Visual Studio, pilih konfigurasi VS yang sudah ada untuk menerapkan pengaturan eksekusi paket di Azure. Anda juga dapat membuat yang baru jika Anda belum melakukannya, lihat Membuat konfigurasi VS baru. Sebaiknya, Anda memiliki setidaknya dua konfigurasi VS berbeda untuk eksekusi paket di lingkungan lokal dan cloud, sehingga Anda dapat mengaktifkan Azure proyek Anda terhadap konfigurasi cloud. Dengan cara ini, jika sudah membuat parameter proyek atau paket, Anda dapat menetapkan nilai yang berbeda untuk parameter proyek atau paket Anda pada run-time berdasarkan lingkungan eksekusi yang berbeda (baik di komputer lokal atau di Azure). Misalnya, lihat Mengubah lingkungan eksekusi paket.

   

3. Mengaktifkan Azure pada proyek SSIS Anda yang sudah ada mengharuskan Anda untuk mengatur versi server target menjadi yang terbaru yang didukung oleh Azure-SSIS IR. Azure-SSIS IR saat ini didasarkan pada SQL Server 2017. Pastikan bahwa paket Anda tidak berisi komponen tambahan yang tidak didukung pada SQL Server 2017. Pastikan juga bahwa semua komponen tambahan yang kompatibel juga telah diinstal pada Azure-SSIS IR Anda melalui pengaturan kustom, lihat Menyesuaikan Azure-SSIS IR Anda. Pilih tombol Berikutnya untuk melanjutkan.

   

4. Lihat Menyambungkan ke Azure-SSIS IR untuk menyelesaikan penyambungan proyek Anda ke Azure-SSIS IR.

Menyambungkan proyek berkemampuan Azure ke SSIS di Azure Data Factory

Dengan menyambungkan proyek yang diaktifkan Azure ke SSIS di ADF, Anda dapat mengunggah paket ke Azure Files dan menjalankannya di Azure-SSIS IR. Anda bisa melakukannya dengan mengikuti langkah-langkah berikut:

1. Pada halaman Pengenalan SSIS di ADF, tinjau pengenalan dan pilih tombol Berikutnya untuk melanjutkan.

   

2. Pada halaman Pilih SSIS IR di ADF, pilih ADF dan Azure-SSIS IR yang sudah ada untuk menjalankan paket. Anda dapat membuat yang baru jika Anda tidak memilikinya.

   • Untuk memilih Azure-SSIS IR yang sudah ada, pilih langganan Azure dan ADF yang relevan terlebih dahulu.
   • Jika memilih ADF yang sudah ada yang tidak memiliki Azure-SSIS IR, pilih tombol Buat SSIS IR untuk membuat yang baru di portal ADF. Setelah dibuat, Anda dapat kembali ke halaman ini untuk memilih Azure-SSIS IR baru Anda.
   • Jika memilih langganan Azure yang sudah ada yang tidak memiliki ADF, pilih tombol Buat SSIS IR untuk meluncurkan Wizard Pembuatan Integration Runtime. Pada wizard, Anda dapat memasukkan lokasi dan awalan yang ditentukan untuk secara otomatis membuat Grup Sumber Daya Azure, Data Factory, dan SSIS IR baru atas nama Anda, dinamai dalam pola berikut: YourPrefix-RG/DF/IR-YourCreationTime. Setelah dibuat, Anda dapat kembali ke halaman ini untuk memilih ADF dan Azure-SSIS IR baru Anda.

   

3. Pada halaman Pilih Azure Storage, pilih akun Azure Storage yang sudah ada untuk mengunggah paket ke dalam Azure Files. Anda dapat membuat yang baru jika Anda tidak memilikinya.

   • Untuk memilih akun Azure Storage Anda yang sudah ada, pilih langganan Azure yang relevan terlebih dahulu.
   • Jika memilih langganan Azure yang sama dengan Azure-SSIS IR yang tidak memiliki akun Azure Storage, pilih tombol Buat Azure Storage. Secara otomatis, kami akan membuat akun baru atas nama Anda di lokasi yang sama dengan Azure-SSIS IR Anda, dinamai dengan menggabungkan awalan nama Azure-SSIS IR Anda dan tanggal pembuatannya. Setelah dibuat, Anda dapat kembali ke halaman ini untuk memilih akun Azure Storage baru Anda.
   • Jika memilih langganan Azure lain yang tidak memiliki akun Azure Storage, pilih tombol Buat Azure Storage untuk membuat yang baru di portal Microsoft Azure. Setelah dibuat, Anda dapat kembali ke halaman ini untuk memilih akun Azure Storage baru Anda.

   

4. Pilih tombol Sambungkan untuk menyelesaikan penyambungan proyek Anda ke Azure-SSIS IR. Kami akan menampilkan akun Azure-SSIS IR dan Azure Storage pilihan Anda di bawah node Sumber Daya Azure Tertaut di jendela Penjelajah Solusi dari SQL Server Data Tools. Kami juga akan secara teratur merefresh dan menampilkan status Azure-SSIS IR Anda di sana. Anda dapat mengelola Azure-SSIS IR Anda dengan mengklik kanan pada node untuk memunculkan menu lalu memilih item Start\Stop\Manage yang membawa Anda ke portal ADF untuk melakukannya.

Menilai proyek\paket SSIS untuk eksekusi di Azure

Menilai satu atau beberapa paket

Sebelum menjalankan paket Anda di Azure, Anda dapat menilainya untuk menampilkan potensi masalah kompatibilitas cloud. Ini termasuk pemblokir migrasi dan informasi tambahan yang harus diperhatikan.

• Anda memiliki opsi untuk menilai paket tunggal satu per satu atau semua paket secara bersamaan di bawah proyek Anda.

  

  

• Pada jendela Laporan Penilaian dari SQL Server Data Tools, Anda dapat menemukan semua masalah kompatibilitas cloud potensial yang muncul, masing-masing dengan deskripsi dan rekomendasi terperincinya sendiri. Anda dapat mengekspor laporan penilaian ke dalam file CSV yang dapat dibagikan dengan siapa saja yang harus mengurangi masalah ini.

  

Menahan aturan penilaian

Setelah yakin bahwa beberapa masalah kompatibilitas cloud potensial tidak berlaku atau telah dimitigasi dengan benar dalam paket Anda, Anda dapat menahan aturan penilaian yang relevan yang menampilkannya. Hal ini akan mengurangi kebisingan dalam laporan penilaian Anda berikutnya.

• Pilih tautan Konfigurasikan Penahanan Aturan Penilaian di jendela Laporan Penilaian dari SQL Server Data Tools untuk memunculkan jendela Pengaturan Penahanan Aturan Penilaian, di mana Anda dapat memilih aturan penilaian untuk ditahan.

  

• Atau, klik kanan pada node proyek Anda di jendela Penjelajah Solusi dari SQL Server Data Tools untuk memunculkan menu. Pilih item Pengaturan yang diaktifkan Azure di submenu SSIS di Azure Data Factory untuk memunculkan jendela yang berisi halaman properti proyek Anda. Pilih properti ID Aturan Penilaian yang Ditahan di bagian Pengaturan yang Diaktifkan Azure. Akhirnya, pilih tombol elipsis (...) untuk memunculkan jendela Pengaturan Penahanan Aturan Penilaian, di mana Anda dapat memilih aturan penilaian untuk ditahan.

  

  

Menjalankan paket SSIS di Azure

Mengonfigurasi pengaturan dengan dukungan Azure

Sebelum menjalankan paket di Azure, Anda dapat mengonfigurasi pengaturan yang diaktifkan Azure untuk paket tersebut. Misalnya, Anda dapat mengaktifkan autentikasi Windows di Azure-SSIS IR Anda untuk mengakses penyimpanan data lokal/cloud dengan mengikuti langkah-langkah berikut:

1. Klik kanan pada node proyek Anda di jendela Penjelajah Solusi dari SQL Server Data Tools untuk memunculkan menu. Berikutnya, pilih item Pengaturan yang Diaktifkan Azure di submenu SSIS di Azure Data Factory untuk memunculkan jendela yang berisi halaman properti proyek Anda.

   

2. Pilih properti Aktifkan Autentikasi Windows di bagian Pengaturan yang Diaktifkan Azure lalu pilih Benardi menu dropdown. Selanjutnya, pilih properti Informasi Masuk Autentikasi Windows lalu pilih tombol elipsis (...) untuk memunculkan jendela Informasi Masuk Autentikasi Windows.

   

3. Masukkan informasi masuk autentikasi Windows Anda. Misalnya, untuk mengakses Azure Files, Anda dapat memasukkan Azure, YourStorageAccountName, dan YourStorageAccountKey untuk Domain, Nama Pengguna, dan Kata Sandi, masing-masing.

   

Memulai eksekusi paket

Setelah menyambungkan proyek yang diaktifkan Azure ke SSIS di ADF, menilai kompatibilitas cloud mereka, dan mengurangi potensi masalah, Anda dapat menjalankan/menguji paket Anda di Azure-SSIS IR.

• Pilih tombol Mulai di toolbar SQL Server Data Tools untuk menurunkan menu. Berikutnya, pilih item Jalankan di Azure.

  

• Atau, klik kanan pada node paket Anda di jendela Penjelajah Solusi dari SQL Server Data Tools untuk memunculkan menu. Berikutnya, pilih item Jalankan Paket di Azure.

  

Catatan

Menjalankan paket Anda di Azure mengharuskan Anda menjalankan Azure-SSIS IR, jadi jika Azure-SSIS IR Anda dihentikan, jendela dialog akan muncul untuk memulainya. Tidak termasuk waktu pengaturan kustom, proses ini harus diselesaikan dalam waktu 5 menit, tetapi bisa memakan waktu sekitar 20 - 30 menit untuk Azure-SSIS IR bergabung dengan jaringan virtual. Setelah menjalankan paket Anda di Azure, Anda dapat menghentikan Azure-SSIS IR Anda untuk mengelola biaya berjalannya dengan mengklik kanan pada node di jendela Penjelajah Solusi dari SQL Server Data Tools untuk memunculkan menu dan kemudian memilih item Start\Stop\Manage yang membawa Anda ke portal ADF untuk melakukannya.

Menggunakan Tugas Eksekusi Paket

Jika paket Anda berisi Tugas Eksekusi Paket yang merujuk ke paket anak yang disimpan di sistem file lokal, ikuti langkah-langkah tambahan berikut:

1. Unggah paket anak ke Azure Files di bawah akun Azure Storage yang sama yang terhubung ke proyek Anda dan dapatkan jalur Universal Naming Convention (UNC) baru mereka, misalnya \\YourStorageAccountName.file.core.windows.net\ssdtexecution\YourChildPackage1.dtsx

2. Ganti jalur file paket anak tersebut di Pengelola Sambungan File dari Tugas Eksekusi Paket dengan jalur UNC baru

   • Jika komputer lokal yang menjalankan SQL Server Data Tools tidak dapat mengakses jalur UNC baru, Anda dapat memasukkannya ke panel Properti dari Pengelola Sambungan File
   • Atau, Anda dapat menggunakan variabel untuk jalur file untuk menetapkan nilai yang tepat pada run-time

Jika paket Anda berisi Tugas Eksekusi Paket yang merujuk ke paket anak dalam proyek yang sama, tidak ada langkah tambahan yang diperlukan.

Mengubah tingkat proteksi paket

Mengeksekusi paket SSIS di Azure tidak mendukung tingkat proteksi EncryptSensitiveWithUserKey/EncryptAllWithUserKey. Akibatnya, jika paket Anda dikonfigurasi untuk menggunakannya, kami akan mengonversinya untuk sementara menggunakan tingkat proteksi EncryptSensitiveWithPassword/EncryptAllWithPassword. Kami juga akan menghasilkan kata sandi enkripsi secara acak saat kami mengunggah paket Anda ke Azure Files untuk dijalankan di Azure-SSIS IR Anda.

Catatan

Jika paket Anda berisi Tugas Eksekusi Paket yang merujuk ke paket anak yang dikonfigurasi untuk menggunakan tingkat proteksi EncryptSensitiveWithUserKey/EncryptAllWithUserKey, Anda perlu mengonfigurasi ulang paket anak tersebut secara manual untuk menggunakan tingkat proteksi EncryptSensitiveWithPassword/EncryptAllWithPassword, sebelum menjalankan paket Anda.

Jika paket Anda sudah dikonfigurasi untuk menggunakan tingkat proteksi EncryptSensitiveWithPassword/EncryptAllWithPassword, kami tidak akan mengubahnya. Kami juga akan menghasilkan kata sandi enkripsi secara acak saat kami mengunggah paket Anda ke Azure Files untuk dijalankan di Azure-SSIS IR Anda.

Mengalihkan lingkungan eksekusi paket

Jika membuat parameter proyek/paket dalam Model Penyebaran Proyek, Anda dapat membuat beberapa konfigurasi VS untuk mengubah lingkungan eksekusi paket. Dengan cara ini, Anda dapat menetapkan nilai khusus lingkungan untuk parameter proyek/paket Anda pada run-time. Sebaiknya, Anda memiliki setidaknya dua konfigurasi VS berbeda untuk eksekusi paket di lingkungan lokal dan cloud, sehingga Anda dapat mengaktifkan Azure proyek Anda terhadap konfigurasi cloud. Berikut adalah contoh langkah demi langkah untuk mengubah lingkungan eksekusi paket antara komputer lokal dan Azure:

1. Katakanlah paket Anda berisi Tugas Sistem File yang mengatur atribut file. Ketika Anda menjalankannya pada komputer lokal Anda, itu mengatur atribut file yang disimpan di sistem file lokal Anda. Saat menjalankannya di Azure-SSIS IR, Anda ingin itu mengatur atribut file yang disimpan di Azure Files. Pertama, buat parameter paket jenis string dan beri nama FilePath untuk menahan nilai jalur file target.

   

2. Selanjutnya, pada halaman Umum jendela Editor Tugas Sistem File, buat parameter properti SourceVariable di bagian Koneksi Sumber dengan parameter paket FilePath.

   

3. Secara default, Anda memiliki konfigurasi VS yang ada untuk eksekusi paket di lingkungan lokal bernama Pengembangan. Buat konfigurasi VS baru untuk eksekusi paket di lingkungan cloud bernama Azure, lihat Membuat konfigurasi VS baru, jika Anda belum melakukannya.

4. Saat melihat parameter paket Anda, pilih tombol Tambahkan Parameter ke Konfigurasi untuk membuka jendela Kelola Nilai Parameter untuk paket Anda. Selanjutnya, tetapkan nilai jalur file target yang berbeda ke parameter paket FilePath di bawah konfigurasi Pengembangan dan Azure.

   

5. Aktifkan Azure pada proyek Anda terhadap konfigurasi cloud, lihat Mengaktifkan Azure pada proyek SSIS yang sudah ada, jika Anda belum melakukannya. Berikutnya, konfigurasikan pengaturan yang diaktifkan Azure untuk mengaktifkan autentikasi Windows agar Azure-SSIS IR Anda mengakses Azure Files, lihat Mengonfigurasi pengaturan yang diaktifkan Azure, jika Anda belum melakukannya.

6. Jalankan paket Anda di Azure. Anda dapat mengubah lingkungan eksekusi paket kembali ke komputer lokal Anda dengan memilih konfigurasi Pengembangan.

   

Menggunakan file konfigurasi paket

Jika menggunakan file konfigurasi paket dalam Model Penyebaran Paket, Anda dapat menetapkan nilai khusus lingkungan ke properti paket Anda pada run-time. Secara otomatis, kami akan mengunggah file-file tersebut dengan paket Anda ke Azure Files untuk eksekusi di Azure-SSIS IR Anda.

Memeriksa log eksekusi paket

Setelah memulai eksekusi paket Anda, kami akan memformat dan menampilkan lognya di jendela Kemajuan dari SQL Server Data Tools. Untuk paket yang berjalan lama, kami akan memperbarui lognya secara berkala setiap menit. Anda dapat segera membatalkan eksekusi paket dengan memilih tombol Hentikandi toolbar SQL Server Data Tools. Anda juga dapat menemukan data mentah lognya di jalur UNC berikut: \\<YourStorageAccountName>.file.core.windows.net\ssdtexecution\<YourProjectName-FirstConnectTime>\<YourPackageName-tmp-ExecutionTime>\logs, tetapi kami akan membersihkannya setelah satu hari.

Batasan saat ini

• SQL Server Data Tools yang diaktifkan Azure hanya mendukung wilayah cloud komersial/global dan tidak mendukung wilayah cloud pemerintah/nasional untuk saat ini.

Konten terkait

Setelah puas menjalankan paket di Azure dari SQL Server Data Tools, Anda dapat menyebarkan dan menjalankannya sebagai aktivitas Eksekusi Paket SSIS di alur ADF, lihat Menjalankan paket SSIS sebagai aktivitas Eksekusi Paket SSIS di alur ADF.