Azure Feature Pack untuk Layanan Integrasi (SSIS)

Berlaku untuk: SQL Server (semua versi yang didukung) Integration Runtime SSIS di Azure Data Factory

SQL Server Paket Fitur Integration Services (SSIS) untuk Azure adalah ekstensi yang menyediakan komponen yang tercantum di halaman ini agar SSIS tersambung ke layanan Azure, mentransfer data antara Azure dan sumber data lokal, dan memproses data yang disimpan di Azure.

Unduh Paket Fitur SSIS untuk Azure

Halaman unduhan juga menyertakan informasi tentang prasyarat. Pastikan Anda menginstal SQL Server sebelum menginstal Paket Fitur Azure di server, atau komponen dalam Paket Fitur mungkin tidak tersedia saat Anda menyebarkan paket ke database Katalog SSIS, SSISDB, di server.

Komponen dalam Paket Fitur

Menggunakan TLS 1.2

Versi TLS yang digunakan oleh Azure Feature Pack mengikuti pengaturan .NET Framework sistem. Untuk menggunakan TLS 1.2, tambahkan nilai bernama REG_DWORDSchUseStrongCrypto dengan data 1 di bawah dua kunci registri berikut.

  1. HKEY_LOCAL_MACHINE\SOFTWARE\WOW6432Node\Microsoft\.NETFramework\v4.0.30319
  2. HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\.NETFramework\v4.0.30319

Dependensi pada Java

Java diperlukan untuk menggunakan format file ORC/Parquet dengan konektor Azure Data Lake Store/Flexible File.
Arsitektur (32/64-bit) build Java harus cocok dengan runtime SSIS yang akan digunakan. Build Java berikut telah diuji.

Menyiapkan OpenJDK Zulu

  1. Unduh dan ekstrak paket zip penginstalan.
  2. Dari Prompt Perintah, jalankan sysdm.cpl.
  3. Pada tab Tingkat Lanjut , pilih Variabel Lingkungan.
  4. Di bawah bagian Variabel sistem , pilih Baru.
  5. Masukkan JAVA_HOME untuk Nama variabel.
  6. Pilih Telusuri Direktori, navigasikan ke folder yang diekstrak, dan pilih jre subfolder. Kemudian pilih OK, dan nilai Variabel diisi secara otomatis.
  7. Pilih OK untuk menutup kotak dialog Variabel Sistem Baru .
  8. Pilih OK untuk menutup kotak dialog Variabel Lingkungan .
  9. Pilih OK untuk menutup kotak dialog Properti Sistem .

Tip

Jika Anda menggunakan format Parquet dan menekan kesalahan yang mengatakan "Terjadi kesalahan saat memanggil java, pesan: java.lang.OutOfMemoryError:Java heap space", Anda dapat menambahkan variabel _JAVA_OPTIONS lingkungan untuk menyesuaikan ukuran tumpukan min/maks untuk JVM.

tumpuk jvm

Contoh: atur variabel _JAVA_OPTIONS dengan nilai -Xms256m -Xmx16g. Bendera Xms menentukan kumpulan alokasi memori awal untuk Java Virtual Machine (JVM), sementara Xmx menentukan kumpulan alokasi memori maksimum. Ini berarti bahwa JVM akan dimulai dengan jumlah memori Xms dan akan dapat menggunakan jumlah memori maksimum Xmx. Nilai defaultnya adalah min 64MB dan maks 1G.

Menyiapkan OpenJDK Zulu di Azure-SSIS Integration Runtime

Ini harus dilakukan melalui antarmuka penyiapan kustom untuk azure-SSIS Integration Runtime. Misalkan zulu8.33.0.1-jdk8.0.192-win_x64.zip digunakan. Kontainer blob dapat diatur sebagai berikut.

main.cmd
install_openjdk.ps1
zulu8.33.0.1-jdk8.0.192-win_x64.zip

Sebagai titik masuk, main.cmd memicu eksekusi skrip install_openjdk.ps1 PowerShell yang pada gilirannya mengekstrak zulu8.33.0.1-jdk8.0.192-win_x64.zip dan mengatur JAVA_HOME yang sesuai.

main.cmd

powershell.exe -file install_openjdk.ps1

Tip

Jika Anda menggunakan format Parquet dan menekan kesalahan yang mengatakan "Terjadi kesalahan saat memanggil java, pesan: java.lang.OutOfMemoryError:Java heap space", Anda dapat menambahkan perintah di main.cmd untuk menyesuaikan ukuran tumpukan min/maks untuk JVM. Contoh:

setx /M _JAVA_OPTIONS "-Xms256m -Xmx16g"

Bendera Xms menentukan kumpulan alokasi memori awal untuk Java Virtual Machine (JVM), sementara Xmx menentukan kumpulan alokasi memori maksimum. Ini berarti bahwa JVM akan dimulai dengan jumlah memori Xms dan akan dapat menggunakan jumlah memori maksimum Xmx. Nilai defaultnya adalah min 64MB dan maks 1G.

install_openjdk.ps1

Expand-Archive zulu8.33.0.1-jdk8.0.192-win_x64.zip -DestinationPath C:\
[Environment]::SetEnvironmentVariable("JAVA_HOME", "C:\zulu8.33.0.1-jdk8.0.192-win_x64\jre", "Machine")

Menyiapkan Lingkungan Runtime Java SE Oracle

  1. Unduh dan jalankan alat penginstal exe.
  2. Ikuti instruksi penginstal untuk menyelesaikan penyiapan.

Skenario: Memproses big data

Gunakan Konektor Azure untuk menyelesaikan pekerjaan pemrosesan big data berikut:

  1. Gunakan Tugas Unggah Azure Blob untuk mengunggah data input ke Azure Blob Storage.

  2. Gunakan Tugas Buat Kluster Azure HDInsight untuk membuat kluster Azure HDInsight. Langkah ini bersifat opsional jika Anda ingin menggunakan kluster Anda sendiri.

  3. Gunakan Tugas Apache Hive Azure HDInsight atau Tugas Pig Azure HDInsight untuk memanggil pekerjaan Pig atau Apache Hive di kluster Azure HDInsight.

  4. Gunakan Tugas Kluster Penghapusan Azure HDInsight untuk menghapus Kluster HDInsight setelah digunakan jika Anda telah membuat kluster HDInsight sesuai permintaan di langkah #2.

  5. Gunakan Tugas Unduhan Blob Azure HDInsight untuk mengunduh data output Pig/Apache Hive dari Azure Blob Storage.

Cuplikan layar memperlihatkan Skenario Big Data Konektor Azure SSIS.

Skenario: Mengelola data di cloud

Gunakan Tujuan Blob Azure dalam paket SSIS untuk menulis data output ke Azure Blob Storage, atau gunakan Sumber Blob Azure untuk membaca data dari Azure Blob Storage.

Cuplikan layar memperlihatkan aliran data dari Sumber OLE DB ke Tujuan Azure Blob.

Cuplikan layar memperlihatkan aliran data dari Sumber Blob Azure ke Tujuan OLE DB.

Gunakan Foreach Loop Container dengan Azure Blob Enumerator untuk memproses data dalam beberapa file blob.

Cuplikan layar memperlihatkan alur kontrol kontainer Foreach Loop.

Catatan Rilis

Versi 1.21.0

Penyempurnaan

  1. Meningkatkan log4j dari versi 1.2.17 ke 2.17.1.

Versi 1.20.0

Penyempurnaan

  1. Target yang diperbarui .NET Framework versi dari 4.6 ke 4.7.2.
  2. Mengganti nama "Azure SQL DW Upload Task" menjadi "Azure Synapse Analytics Task".

Perbaikan bug

  1. Saat mengakses penyimpanan blob Azure dan komputer yang menjalankan SSIS berada dalam lokal non-AS, eksekusi paket akan gagal dengan pesan kesalahan "String tidak dikenali sebagai nilai DateTime yang valid".
  2. Untuk azure Storage Pengelola Sambungan, rahasia diperlukan (dan tidak digunakan) bahkan ketika identitas terkelola Data Factory digunakan untuk mengautentikasi.

Versi 1.19.0

Penyempurnaan

  1. Menambahkan dukungan untuk autentikasi tanda tangan akses bersama ke pengelola koneksi Azure Storage.

Versi 1.18.0

Penyempurnaan

  1. Untuk tugas File Fleksibel, tiga adalah tiga peningkatan: (1) dukungan kartubebas untuk operasi salin/hapus ditambahkan; (2) pengguna dapat mengaktifkan/menonaktifkan pencarian rekursif untuk operasi penghapusan; dan (3) nama file Tujuan untuk operasi salin dapat kosong untuk menyimpan nama file sumber.

Versi 1.17.0

Ini adalah versi perbaikan yang dirilis hanya untuk SQL Server 2019.

Perbaikan bug

  1. Saat menjalankan di Visual Studio 2019 dan menargetkan SQL Server 2019, Tugas File Fleksibel/Sumber/Tujuan mungkin gagal dengan pesan kesalahanAttempted to access an element as a type incompatible with the array.
  2. Saat menjalankan di Visual Studio 2019 dan menargetkan SQL Server 2019, Flexible File Source/Destination menggunakan format ORC/Parquet mungkin gagal dengan pesan kesalahanMicrosoft.DataTransfer.Common.Shared.HybridDeliveryException: An unknown error occurred. JNI.JavaExceptionCheckException.

Versi 1.16.0

Perbaikan bug

  1. Dalam kasus tertentu, eksekusi paket melaporkan "Kesalahan: Tidak dapat memuat file atau rakitan 'Newtonsoft.Json, Version=11.0.0.0, Culture=netral, PublicKeyToken=30ad4fe6b2a6aeed' atau salah satu dependensinya."

Versi 1.15.0

Penyempurnaan

  1. Menambahkan operasi hapus folder/file ke Tugas File Fleksibel
  2. Menambahkan fungsi konversi jenis data Eksternal/Output di Sumber File Fleksibel

Perbaikan bug

  1. Dalam kasus tertentu, uji kerusakan koneksi untuk Data Lake Storage Gen2 dengan pesan kesalahan "Mencoba mengakses elemen sebagai jenis yang tidak kompatibel dengan array"
  2. Mengembalikan dukungan untuk Emulator Azure Storage