Aliran data

Berlaku untuk: Integration Runtime SSIS SQL Server di Azure Data Factory

SQL Server Integration Services menyediakan tiga jenis komponen aliran data yang berbeda: sumber, transformasi, dan tujuan. Sumber mengekstrak data dari penyimpanan data seperti tabel dan tampilan dalam database relasional, file, dan database Analysis Services. Transformasi memodifikasi, meringkas, dan membersihkan data. Tujuan memuat data ke dalam penyimpanan data atau membuat himpunan data dalam memori.

Catatan

Saat Anda menggunakan penyedia kustom, Anda perlu memperbarui file ProviderDescriptors.xml dengan nilai kolom metadata.

Selain itu, Integration Services menyediakan jalur yang menghubungkan output satu komponen ke input komponen lain. Jalur menentukan urutan komponen, dan memungkinkan Anda menambahkan anotasi ke aliran data atau melihat sumber kolom.

Anda menghubungkan komponen aliran data dengan menghubungkan output sumber dan tujuan ke input transformasi dan tujuan. Saat membuat aliran data, Anda biasanya menyambungkan komponen kedua dan berikutnya saat Anda menambahkannya ke aliran data. Setelah Anda menyambungkan komponen, kolom input tersedia untuk digunakan dalam mengonfigurasi komponen. Ketika tidak ada kolom input yang tersedia, Anda harus menyelesaikan konfigurasi komponen setelah tersambung ke aliran data. Untuk informasi selengkapnya, lihat Jalur Layanan Integrasi dan Sambungkan Komponen dengan Jalur.

Diagram berikut menunjukkan aliran data yang memiliki sumber, transformasi dengan satu input dan satu output, dan tujuan. Diagram mencakup input, output, dan output kesalahan selain kolom input, output, dan eksternal.

Implementasi Aliran Data

Menambahkan tugas Aliran Data ke alur kontrol paket adalah langkah pertama dalam menerapkan aliran data dalam paket. Paket dapat mencakup beberapa tugas Aliran Data, masing-masing dengan aliran datanya sendiri. Misalnya, jika paket mengharuskan aliran data dijalankan dalam urutan tertentu, atau bahwa tugas lain dilakukan di antara aliran data, Anda harus menggunakan tugas Aliran Data terpisah untuk setiap aliran data.

Setelah alur kontrol menyertakan tugas Aliran Data, Anda dapat mulai membangun aliran data yang digunakan paket. Untuk informasi selengkapnya, lihat Tugas Aliran Data.

Membuat aliran data mencakup langkah-langkah berikut:

• Menambahkan satu atau beberapa sumber untuk mengekstrak data dari file dan database, dan menambahkan manajer koneksi untuk menyambungkan ke sumber.

• Menambahkan transformasi yang memenuhi persyaratan bisnis paket. Aliran data tidak diperlukan untuk menyertakan transformasi.

  Beberapa transformasi memerlukan manajer koneksi. Misalnya, transformasi Pencarian menggunakan manajer koneksi untuk menyambungkan ke database yang berisi data pencarian.

• Menyambungkan komponen aliran data dengan menghubungkan output sumber dan transformasi ke input transformasi dan tujuan.

• Menambahkan satu atau beberapa tujuan untuk memuat data ke penyimpanan data seperti file dan database, dan menambahkan manajer koneksi untuk menyambungkan ke sumber data.

• Mengonfigurasi output kesalahan pada komponen untuk menangani masalah.

  Pada durasi, kesalahan tingkat baris dapat terjadi saat komponen aliran data mengonversi data, melakukan pencarian, atau mengevaluasi ekspresi. Misalnya, kolom data dengan nilai string tidak dapat dikonversi menjadi bilangan bulat, atau ekspresi mencoba membagi dengan nol. Kedua operasi menyebabkan kesalahan, dan baris yang berisi kesalahan dapat diproses secara terpisah menggunakan alur kesalahan. Untuk informasi selengkapnya tentang cara menggunakan alur kesalahan dalam aliran data paket, lihat Penanganan Kesalahan dalam Data.

• Sertakan anotasi untuk membuat dokumentasi mandiri aliran data. Untuk informasi selengkapnya, lihat Menggunakan Anotasi dalam Paket.

Catatan

Saat membuat paket baru, Anda juga bisa menggunakan wizard untuk membantu Mengonfigurasi pengelola koneksi, sumber, dan tujuan dengan benar. Untuk informasi selengkapnya, lihat Membuat Paket di SQL Server Data Tools.

Saat tab Aliran Data aktif, Kotak Alat berisi sumber, transformasi, dan tujuan yang dapat Anda tambahkan ke aliran data.

Expressions

Sejumlah sumber komponen aliran data, transformasi, dan tujuan mendukung penggunaan ekspresi properti di beberapa propertinya. Ekspresi properti adalah ekspresi yang menggantikan nilai properti saat paket dimuat. Pada durasi, paket menggunakan nilai properti yang diperbarui. Ekspresi dibangun menggunakan sintaks ekspresi Integration Services dan dapat mencakup fungsi, operator, pengidentifikasi, dan variabel Integration Services. Untuk informasi selengkapnya, lihat Ekspresi Integration Services (SSIS),Ekspresi Integration Services (SSIS), dan Menggunakan Ekspresi Properti dalam Paket.

Jika Anda membuat paket di SQL Server Data Tools (SSDT), properti komponen aliran data apa pun yang mendukung ekspresi properti diekspos pada tugas Aliran Data tempat mereka berada. Untuk menambahkan, mengubah, dan menghapus ekspresi properti komponen aliran data, klik tugas Aliran Data, lalu gunakan jendela Properti atau editor untuk tugas menambahkan, mengubah, atau menghapus ekspresi properti. Ekspresi properti untuk tugas Aliran Data itu sendiri dikelola di jendela Properti.

Jika aliran data berisi komponen apa pun yang menggunakan ekspresi, ekspresi juga diekspos di jendela Properti. Untuk melihat ekspresi, pilih tugas Aliran Data tempat komponen berada. Anda dapat melihat properti menurut kategori, atau dalam urutan alfabet. Jika Anda menggunakan tampilan terkategori di jendela Properti, ekspresi apa pun yang tidak digunakan dalam properti tertentu tercantum dalam kategori Lain-lain . Jika Anda menggunakan tampilan alfabet, ekspresi dicantumkan dalam urutan nama komponen aliran data.

Sumber

Di Integration Services, sumber adalah komponen aliran data yang membuat data dari sumber data eksternal yang berbeda tersedia untuk komponen lain dalam aliran data. Anda bisa mengekstrak data dari file datar, file XML, buku kerja Microsoft Excel, dan file yang berisi data mentah. Anda juga bisa mengekstrak data dengan mengakses tabel dan tampilan dalam database dan dengan menjalankan kueri.

Aliran data dapat menyertakan satu sumber atau beberapa sumber.

Sumber untuk aliran data biasanya memiliki satu output reguler. Output reguler berisi kolom output, yang merupakan kolom yang ditambahkan sumber ke aliran data.

Output reguler mereferensikan kolom eksternal. Kolom eksternal adalah kolom di sumber. Misalnya, kolom MadeFlag di tabel Produk database AdventureWorks adalah kolom eksternal yang dapat ditambahkan ke output reguler. Metadata untuk kolom eksternal menyertakan informasi seperti nama, jenis data, dan panjang kolom sumber.

Output kesalahan untuk sumber berisi kolom yang sama dengan output reguler, dan juga berisi dua kolom tambahan yang memberikan informasi tentang kesalahan. Model objek Integration Services tidak membatasi jumlah output reguler dan output kesalahan yang dapat dimiliki sumber. Sebagian besar sumber yang disertakan Layanan Integrasi, kecuali komponen Skrip, memiliki satu output reguler, dan banyak sumber memiliki satu output kesalahan. Sumber kustom dapat dikodekan untuk mengimplementasikan beberapa output reguler dan output kesalahan.

Semua kolom output tersedia sebagai kolom input ke komponen aliran data berikutnya dalam aliran data.

Anda juga dapat menulis sumber kustom. Untuk informasi selengkapnya, lihat Mengembangkan Komponen Aliran Data Kustom dan Mengembangkan Jenis Komponen Aliran Data Tertentu.

Sumber berikut ini memiliki properti yang dapat diperbarui oleh ekspresi properti:

• Sumber ADO NET

• Sumber XML

Sumber yang Tersedia untuk Diunduh

Tabel berikut ini mencantumkan sumber tambahan yang bisa Anda unduh dari situs web Microsoft.

Sumber	Deskripsi
Sumber Oracle	Sumber Oracle adalah komponen sumber Konektor Microsoft untuk Oracle oleh Attunity. Konektor Microsoft untuk Oracle by Attunity juga menyertakan manajer koneksi dan tujuan. Untuk informasi selengkapnya, lihat halaman unduhan, Konektor Microsoft untuk Oracle dan Teradata oleh Attunity.
Sumber SAP BI	Sumber SAP BI adalah komponen sumber Konektor Microsoft untuk SAP BI. Konektor Microsoft untuk SAP BI juga menyertakan pengelola koneksi dan tujuan. Untuk informasi selengkapnya, lihat halaman unduhan, Microsoft SQL Server Feature Pack.
Sumber Teradata	Sumber Teradata adalah komponen sumber konektor Microsoft untuk Teradata oleh Attunity. Konektor Microsoft untuk Teradata oleh Attunity juga menyertakan manajer koneksi dan tujuan. Untuk informasi selengkapnya, lihat halaman unduhan, Konektor Microsoft untuk Oracle dan Teradata oleh Attunity.

Untuk demonstrasi tentang cara memanfaatkan perolehan performa Konektor Microsoft untuk Oracle oleh Attunity, lihat Performa Konektor Microsoft untuk Oracle oleh Attunity (SQL Server Video).

Transformasi

Kemampuan transformasi bervariasi secara luas. Transformasi dapat melakukan tugas seperti memperbarui, meringkas, membersihkan, menggabungkan, dan mendistribusikan data. Anda bisa mengubah nilai dalam kolom, mencari nilai dalam tabel, membersihkan data, dan nilai kolom agregat.

Input dan output transformasi menentukan kolom data masuk dan keluar. Bergantung pada operasi yang dilakukan pada data, beberapa transformasi memiliki satu input dan beberapa output, sementara transformasi lain memiliki beberapa input dan satu output. Transformasi juga dapat mencakup output kesalahan, yang memberikan informasi tentang kesalahan yang terjadi, bersama dengan data yang gagal: Misalnya, data string yang tidak dapat dikonversi ke jenis data bilangan bulat. Model objek Layanan Integrasi tidak membatasi jumlah input, output reguler, dan output kesalahan yang dapat dimuat transformasi. Anda dapat membuat transformasi kustom yang mengimplementasikan kombinasi apa pun dari beberapa input, output reguler, dan output kesalahan.

Input transformasi didefinisikan sebagai satu atau beberapa kolom input. Beberapa transformasi Layanan Integrasi juga dapat merujuk ke kolom eksternal sebagai input. Misalnya, input ke transformasi Perintah OLE DB menyertakan kolom eksternal. Kolom output adalah kolom yang ditambahkan transformasi ke aliran data. Output reguler dan output kesalahan berisi kolom output. Kolom output ini pada gilirannya bertindak sebagai kolom input ke komponen berikutnya dalam aliran data, baik transformasi lain atau tujuan.

Transformasi berikut memiliki properti yang dapat diperbarui oleh ekspresi properti:

• Transformasi Pemisahan Bersyarat

• Transformasi Kolom Turunan

• Transformasi Pengelompokan Fuzzy

• Transformasi Pencarian Fuzzy

• Transformasi Perintah DB OLE

• Transformasi Pengambilan Sampel Persentase

• Transformasi Pivot

• Transformasi Pengambilan Sampel Baris

• Transformasi Urutan

• Transformasi Unpivot

Untuk informasi selengkapnya, lihat Transformasi Layanan Integrasi.

Tujuan

Tujuan adalah komponen aliran data yang menulis data dari aliran data ke penyimpanan data tertentu, atau membuat himpunan data dalam memori. Anda dapat memuat data ke dalam file datar, memproses objek analitik, dan menyediakan data ke proses lain. Anda juga dapat memuat data dengan mengakses tabel dan tampilan dalam database dan dengan menjalankan kueri.

Aliran data dapat mencakup beberapa tujuan yang memuat data ke penyimpanan data yang berbeda.

Tujuan Layanan Integrasi harus memiliki setidaknya satu input. Input berisi kolom input, yang berasal dari komponen aliran data lain. Kolom input dipetakan ke kolom di tujuan.

Banyak tujuan juga memiliki satu output kesalahan. Output kesalahan untuk tujuan berisi kolom output, yang biasanya berisi informasi tentang kesalahan yang terjadi saat menulis data ke penyimpanan data tujuan. Kesalahan terjadi karena berbagai alasan. Misalnya, kolom mungkin berisi nilai null, sedangkan kolom tujuan tidak dapat diatur ke null.

Model objek Layanan Integrasi tidak membatasi jumlah input reguler dan output kesalahan yang dapat dimiliki tujuan, dan Anda dapat membuat tujuan kustom yang mengimplementasikan beberapa input dan output kesalahan.

Anda juga dapat menulis tujuan kustom. Untuk informasi selengkapnya, lihat Mengembangkan Komponen Aliran Data Kustom dan Mengembangkan Jenis Komponen Aliran Data Tertentu.

Tujuan berikut ini memiliki properti yang dapat diperbarui oleh ekspresi properti:

• Tujuan File Datar

• Tujuan SQL Server Edisi Compact

Tujuan Tersedia untuk Diunduh

Tabel berikut ini mencantumkan tujuan tambahan yang bisa Anda unduh dari situs web Microsoft.

Sumber	Deskripsi
Tujuan Oracle	Tujuan Oracle adalah komponen tujuan Konektor Microsoft untuk Oracle oleh Attunity. Konektor Microsoft untuk Oracle by Attunity juga menyertakan manajer koneksi dan sumber. Untuk informasi selengkapnya, lihat halaman unduhan, Konektor Microsoft untuk Oracle dan Teradata oleh Attunity.
Tujuan SAP BI	Tujuan SAP BI adalah komponen tujuan Konektor Microsoft untuk SAP BI. Konektor Microsoft untuk SAP BI juga menyertakan pengelola koneksi dan sumber. Untuk informasi selengkapnya, lihat halaman unduhan, Microsoft SQL Server Feature Pack.
Tujuan Teradata	Tujuan Teradata adalah komponen tujuan Konektor Microsoft untuk Teradata oleh Attunity. Konektor Microsoft untuk Teradata oleh Attunity juga menyertakan manajer koneksi dan sumber. Untuk informasi selengkapnya, lihat halaman unduhan, Konektor Microsoft untuk Oracle dan Teradata oleh Attunity.

Untuk demonstrasi tentang cara memanfaatkan perolehan performa Konektor Microsoft untuk Oracle oleh Attunity, lihat Performa Konektor Microsoft untuk Oracle oleh Attunity (SQL Server Video).

Pengelola Sambungan

Banyak komponen aliran data terhubung ke sumber data, dan Anda harus menambahkan manajer koneksi yang diperlukan komponen ke paket sebelum komponen dapat dikonfigurasi dengan benar. Anda dapat menambahkan manajer koneksi saat membuat aliran data, atau sebelum Anda mulai membangun aliran data. Untuk informasi selengkapnya, lihat Koneksi Integration Services (SSIS) dan Membuat Pengelola Koneksi.

Metadata Eksternal

Saat Anda membuat aliran data dalam paket menggunakan SSIS Designer, metadata dari sumber dan tujuan disalin ke kolom eksternal pada sumber dan tujuan, berfungsi sebagai rekam jepret skema. Saat Layanan Integrasi memvalidasi paket, SSIS Designer membandingkan rekam jepret ini dengan skema sumber atau tujuan, dan memposting kesalahan dan peringatan, tergantung pada perubahannya.

Proyek Layanan Integrasi menyediakan mode offline. Saat Anda bekerja offline, tidak ada koneksi yang dibuat ke sumber atau tujuan yang digunakan paket, dan metadata kolom eksternal tidak diperbarui.

Input dan Output

Sumber memiliki output, tujuan memiliki input, dan transformasi memiliki input dan output. Selain itu, banyak komponen aliran data dapat dikonfigurasi untuk menggunakan output kesalahan.

Input

Tujuan dan transformasi memiliki input. Input berisi satu atau beberapa kolom input, yang dapat merujuk ke kolom eksternal jika komponen aliran data telah dikonfigurasi untuk menggunakannya. Input dapat dikonfigurasi untuk memantau dan mengontrol aliran data: Misalnya, Anda dapat menentukan apakah komponen harus gagal sebagai respons terhadap kesalahan, mengabaikan kesalahan, atau mengalihkan baris kesalahan ke output kesalahan. Anda juga dapat menetapkan deskripsi ke input atau memperbarui nama input. Di SSIS Designer, input dikonfigurasi dengan menggunakan kotak dialog Editor Lanjutan. Untuk informasi selengkapnya tentang Editor Lanjutan, lihat Antarmuka Pengguna Layanan Integrasi.

Output

Sumber dan transformasi selalu memiliki output. Output berisi satu atau beberapa kolom output, yang dapat merujuk ke kolom eksternal jika komponen aliran data telah dikonfigurasi untuk menggunakannya. Output dapat dikonfigurasi untuk memberikan informasi yang berguna untuk pemrosesan data hilir. Misalnya, Anda dapat menunjukkan apakah output diurutkan. Anda juga dapat memberikan deskripsi untuk output, atau memperbarui nama output. Di SSIS Designer, output dikonfigurasi dengan menggunakan kotak dialog Editor Lanjutan.

Output Kesalahan

Sumber, tujuan, dan transformasi dapat mencakup output kesalahan. Anda dapat menentukan bagaimana komponen aliran data merespons kesalahan di setiap input atau kolom dengan menggunakan kotak dialog Konfigurasi Output Kesalahan . Jika kesalahan atau pemotokan data terjadi pada durasi dan komponen aliran data dikonfigurasi untuk mengalihkan baris, baris data dengan kesalahan dikirim ke output kesalahan. Output kesalahan dapat dihubungkan ke transformasi yang menerapkan transformasi tambahan atau mengarahkan data ke tujuan yang berbeda. Secara default, output kesalahan berisi kolom output dan dua kolom kesalahan: ErrorCode dan ErrorColumn. Kolom output berisi data dari baris yang gagal, ErrorCode menyediakan kode kesalahan, dan ErrorColumn mengidentifikasi kolom yang gagal.

Untuk informasi selengkapnya, lihat Penanganan Kesalahan dalam Data.

Kolom

Input, output, dan output kesalahan adalah kumpulan kolom. Setiap kolom dapat dikonfigurasi dan bergantung pada kolom type-input, output, atau external- Integration Services menyediakan properti yang berbeda untuk kolom. Layanan Integrasi menyediakan tiga cara berbeda untuk mengatur properti kolom: secara terprogram, dengan menggunakan kotak dialog khusus komponen, atau dengan menggunakan kotak dialog Editor Lanjutan.

Jalur

Jalur menghubungkan komponen aliran data. Di SSIS Designer, Anda dapat melihat dan memodifikasi properti jalur, melihat metadata output untuk titik awal jalur, dan melampirkan penampil data ke jalur.

Untuk informasi selengkapnya, lihat Jalur Layanan Integrasi dan Debugging Aliran Data.

Konfigurasi Komponen Aliran Data

Komponen aliran data dapat dikonfigurasi pada tingkat komponen; pada tingkat output input, output, dan kesalahan; dan di tingkat kolom.

• Pada tingkat komponen, Anda mengatur properti yang umum untuk semua komponen, dan Anda mengatur properti kustom komponen.

• Pada tingkat output input, output, dan kesalahan, Anda mengatur properti umum input, output, dan output kesalahan. Jika komponen mendukung beberapa output, Anda dapat menambahkan output.

• Di tingkat kolom, Anda mengatur properti yang umum untuk semua kolom, selain properti kustom apa pun yang disediakan komponen untuk kolom. Jika komponen mendukung penambahan kolom output, Anda dapat menambahkan kolom ke output.

Anda dapat mengatur properti melalui SSIS Designer atau secara terprogram. Di SSIS Designer, Anda bisa mengatur properti elemen menggunakan kotak dialog kustom yang disediakan untuk setiap jenis elemen, atau dengan menggunakan jendela Properti atau kotak dialog Editor Lanjutan.

Untuk informasi selengkapnya tentang cara mengatur properti dengan menggunakan SSIS Designer, lihat Mengatur Properti Komponen Aliran Data.

Tugas Terkait

Menambahkan atau Menghapus Komponen dalam Aliran Data

Menyambungkan Komponen dalam Aliran Data

Konten terkait

Video, Performa Konektor Microsoft untuk Oracle oleh Attunity (SQL Server Video), di technet.microsoft.com.