Jadwalkan pekerjaan U-SQL dengan SQL Server Integration Services (SSIS)

Dalam dokumen ini, Anda akan belajar cara mengatur dan membuat pekerjaan U-SQL menggunakan SQL Server Integration Service (SSIS).

Penting

Azure Data Lake Analytics pensiun pada 29 Februari 2024. Pelajari lebih lanjut dengan pengumuman ini.

Untuk analitik data, organisasi Anda dapat menggunakan Azure Synapse Analytics atau Microsoft Fabric.

Prasyarat

Azure Feature Pack for Integration Services menyediakan tugas Azure Data Lake Analytics dan Azure Data Lake Analytics Connection Manager yang membantu menyambungkan ke layanan Azure Data Lake Analytics. Untuk menggunakan tugas ini, pastikan Anda menginstal:

• Unduh dan instal SQL Server Data Tools (SSDT) untuk Visual Studio
• Instal Azure Feature Pack untuk Layanan Integrasi (SSIS)

Tugas Azure Data Lake Analytics

Tugas Azure Data Lake Analytics memungkinkan pengguna mengirimkan pekerjaan U-SQL ke akun Azure Data Lake Analytics.

Pelajari cara mengonfigurasi tugas Azure Data Lake Analytics.

Anda bisa mendapatkan skrip U-SQL dari beragam tempat dengan menggunakan fungsi dan tugas bawaan SSIS, skenario di bawah ini menunjukkan bagaimana Anda dapat mengonfigurasi skrip U-SQL untuk kasus pengguna yang berbeda.

Skenario 1-Gunakan tvf panggilan skrip tidak terpisah dan proc tersimpan

Di Azure Data Lake Analytics Task Editor, konfigurasikan SourceType sebagai DirectInput, dan masukkan pernyataan U-SQL ke dalam USQLStatement.

Untuk pemeliharaan yang mudah dan manajemen kode, hanya gunakan skrip U-SQL pendek sebagai skrip tidak terpisah, misalnya, Anda dapat memanggil fungsi bernilai tabel yang ada dan prosedur yang disimpan dalam database U-SQL Anda.

Artikel terkait: Cara meneruskan parameter ke prosedur yang disimpan

Skenario 2-Gunakan file U-SQL di Azure Data Lake Store

Anda juga dapat menggunakan file U-SQL di Azure Data Lake Store dengan menggunakan Azure Data Lake Store File System Task di Azure Feature Pack. Pendekatan ini memungkinkan Anda menggunakan skrip yang tersimpan di cloud.

Ikuti langkah-langkah di bawah ini untuk menyiapkan koneksi antara Azure Data Lake Store File System Task dan Azure Data Lake Analytics Task.

Mengatur alur kontrol tugas

Dalam tampilan desain paket SSIS, tambahkan Azure Data Lake Store File System Task, Foreach Loop Container dan Azure Data Lake Analytics Task di Kontainer Loop Foreach. Azure Data Lake Store File System Task membantu mengunduh file U-SQL di akun ADLS Anda ke folder sementara. Foreach Loop Container dan Azure Data Lake Analytics Task membantu mengirimkan setiap file U-SQL ke dalam folder sementara ke akun Azure Data Lake Analytics sebagai pekerjaan U-SQL.

Konfigurasikan Azure Data Lake Store File System Task

1. Atur Operasi ke CopyFromADLS.
2. Siapkan AzureDataLakeConnection, pelajari selengkapnya tentang Azure Data Lake Store Connection Manager.
3. Atur AzureDataLakeDirectory. Arahkan ke folder penyimpanan skrip U-SQL Anda. Gunakan jalur relatif yang berhubungan dengan folder akar akun Azure Data Lake Store.
4. Atur Tujuan ke folder yang menyimpan skrip U-SQL yang diunduh. Jalur folder ini akan digunakan dalam Foreach Loop Container untuk pengajuan pekerjaan U-SQL.

Pelajari lebih lanjut tentang Azure Data Lake Store File System Task.

Konfigurasikan Foreach Loop Container

1. Di halaman Koleksi, atur Enumerator ke Foreach File Enumerator.

2. Atur Folder pada grup konfigurasi Enumerator ke folder sementara yang menyertakan skrip U-SQL yang diunduh.

3. Atur File pada konfigurasi Enumerator ke *.usql agar kontainer loop hanya menangkap file yang diakhiri dengan .usql.

   

4. Di halaman Pemetaan Variabel, tambahkan variabel yang ditentukan pengguna untuk mendapatkan nama file untuk setiap file U-SQL. Atur Indeks ke 0 untuk mendapatkan nama file. Dalam contoh ini, tentukan variabel yang disebut User::FileName. Variabel ini akan digunakan untuk mendapatkan koneksi file skrip U-SQL secara dinamis dan mengatur nama pekerjaan U-SQL di Azure Data Lake Analytics Task.

   

Konfigurasikan Azure Data Lake Analytics Task

1. Atur SourceType ke FileConnection.

2. Atur FileConnection ke koneksi file yang menunjuk ke objek file yang dikembalikan dari Foreach Loop Container.

   Untuk membuat sambungan file ini:

   1. Pilih <Koneksi Baru...> dalam pengaturan Koneksi File.

   2. Atur tipe Penggunaan menjadi File yang sudah ada, dan atur File ke jalur file yang ada.

      

   3. Dalam tampilan Pengelola Koneksi , klik kanan koneksi file yang dibuat, dan pilih Properti.

   4. Di jendela Properti, perluas Ekspresi, dan atur ConnectionString ke variabel yang ditentukan dalam Foreach Loop Container, misalnya, @[User::FileName].

      

3. Atur AzureDataLakeAnalyticsConnection ke akun Azure Data Lake Analytics yang ingin Anda kirimkan pekerjaannya. Pelajari lebih lanjut tentang Pengelola Sambungan Azure Data Lake Analytics

4. Atur konfigurasi pekerjaan lainnya. Pelajari Lebih Lanjut.

5. Gunakan Ekspresi untuk mengatur nama pekerjaan U-SQL secara dinamis:

   1. Di halaman Ekspresi, tambahkan pasangan nilai kunci ekspresi baru untuk JobName.

   2. Atur nilai untuk JobName ke variabel yang ditentukan dalam Foreach Loop Container, misalnya, @[User::FileName].

      

Skenario 3-Gunakan file U-SQL di Azure Blob Storage

Anda dapat menggunakan file U-SQL di Azure Blob Storage dengan menggunakan Azure Blob Download Task di Azure Feature Pack. Pendekatan ini memungkinkan Anda menggunakan skrip di cloud.

Langkah-langkahnya mirip dengan Skenario 2: Gunakan file U-SQL di Azure Data Lake Store. Ubah Azure Data Lake Store File System Task ke Azure Blob Download Task. Pelajari lebih lanjut tentang Azure Blob Download Task.

Alur kontrolnya seperti ini:

Skenario 4-Gunakan file U-SQL pada komputer lokal

Selain menggunakan file U-SQL yang tersimpan di cloud, Anda juga dapat menggunakan file di komputer atau file lokal yang digunakan dengan paket SSIS Anda.

1. Klik kanan Pengelola Sambungan pada proyek SSIS dan pilih Pengelola Sambungan Baru.

2. Pilih Jenis file dan pilih Tambahkan....

3. Atur tipe Penggunaan ke berkas yang Ada, dan atur File ke file pada komputer lokal.

   

4. Tambahkan Azure Data Lake Analytics Task dan:

   1. Atur SourceType ke FileConnection.
   2. Atur FileConnection ke Koneksi File yang dibuat.

5. Selesaikan konfigurasi lain untuk Azure Data Lake Analytics Task.

Skenario 5-Gunakan pernyataan U-SQL dalam variabel SSIS

Dalam beberapa kasus, Anda mungkin perlu membuat pernyataan U-SQL secara dinamis. Anda dapat menggunakan Variabel SSIS dengan Ekspresi SSIS dan tugas SSIS lainnya, seperti Script Task, untuk membantu Anda menghasilkan pernyataan U-SQL secara dinamis.

1. Buka jendela alat Variabel melalui menu tingkat atas Variabel SSIS>.

2. Tambahkan Variabel SSIS dan atur nilai secara langsung atau gunakan Ekspresi untuk menghasilkan nilai.

3. Tambahkan Azure Data Lake Analytics Task dan:

   1. Atur SourceType ke Variabel.
   2. Atur SourceVariable ke Variabel SSIS yang dibuat sekarang.

4. Selesaikan konfigurasi lain untuk Azure Data Lake Analytics Task.

Skenario 6-Meneruskan parameter ke skrip U-SQL

Dalam beberapa kasus, Anda mungkin ingin secara dinamis mengatur nilai variabel U-SQL dalam skrip U-SQL. Fitur Pemetaan Parameter di Azure Data Lake Analytics Task membantu skenario ini. Biasanya ada dua kasus pengguna yang tipikal:

• Atur variabel input dan output jalur file secara dinamis berdasarkan tanggal dan waktu saat ini.
• Atur parameter untuk prosedur yang tersimpan.

Pelajari lebih lanjut tentang cara mengatur parameter untuk skrip U-SQL.

Langkah berikutnya

• Menjalankan paket SSIS di Azure
• Azure Feature Pack untuk Layanan Integrasi (SSIS)
• Jadwalkan lowongan U-SQL menggunakan Azure Data Factory