Pengelola Koneksi Hadoop

Berlaku untuk: SQL Server SSIS Integration Runtime di Azure Data Factory

Hadoop Pengelola Sambungan memungkinkan paket SQL Server Integration Services (SSIS) untuk terhubung ke kluster Hadoop, dengan menggunakan nilai yang Anda tentukan untuk properti.

Mengonfigurasi Pengelola Sambungan Hadoop

1. Dalam kotak dialog Tambahkan SSIS Pengelola Sambungan, pilih Tambahkan Hadoop>. Kotak dialog Hadoop Pengelola Sambungan Editor terbuka.

2. Untuk mengonfigurasi informasi kluster Hadoop terkait, pilih tab WebHCat atau WebHDFS di panel kiri.

3. Jika Anda mengaktifkan opsi WebHCat untuk memanggil pekerjaan Apache Hive atau Pig di Hadoop, lakukan hal berikut:

   1. Untuk Host WebHCat, masukkan server yang menghosting layanan WebHCat.

   2. Untuk Port WebHCat, masukkan port layanan WebHCat, yang secara default adalah 50111.

   3. Pilih metode Autentikasi untuk mengakses layanan WebHCat. Nilai yang tersedia adalah Dasar dan Kerberos.

      

      

   4. Untuk Pengguna WebHCat, masukkan Pengguna yang berwenang untuk mengakses WebHCat.

   5. Jika Anda memilih autentikasi Kerberos, masukkan Kata Sandi dan Domain pengguna.

4. Jika Anda mengaktifkan opsi WebHDFS untuk menyalin data dari atau ke HDFS, lakukan hal berikut:

   1. Untuk Host WebHDFS, masukkan server yang menghosting layanan WebHDFS.

   2. Untuk Port WebHDFS, masukkan port layanan WebHDFS, yang secara default adalah 50070.

   3. Pilih metode Autentikasi untuk mengakses layanan WebHDFS. Nilai yang tersedia adalah Dasar dan Kerberos.

   4. Untuk Pengguna WebHDFS, masukkan pengguna yang berwenang untuk mengakses HDFS.

   5. Jika Anda memilih autentikasi Kerberos, masukkan Kata Sandi dan Domain pengguna.

5. Pilih Uji koneksi. (Hanya koneksi yang Anda aktifkan yang diuji.)

6. Pilih OK untuk menutup kotak dialog.

Menyambungkan dengan autentikasi Kerberos

Ada dua opsi untuk menyiapkan lingkungan lokal sehingga Anda dapat menggunakan autentikasi Kerberos dengan hadoop Pengelola Sambungan. Anda dapat memilih opsi yang lebih sesuai dengan keadaan Anda.

• Opsi 1: Gabungkan komputer SSIS ke realm Kerberos
• Opsi 2: Mengaktifkan kepercayaan timbal balik antara domain Windows dan realm Kerberos

Opsi 1: Gabungkan komputer SSIS ke realm Kerberos

Persyaratan:

• Komputer gateway perlu bergabung dengan realm Kerberos, dan tidak dapat bergabung dengan domain Windows apa pun.

Cara mengonfigurasi:

Pada komputer SSIS:

1. Jalankan utilitas Ksetup untuk mengonfigurasi server dan realm Kerberos Key Distribution Center (KDC).

   Komputer harus dikonfigurasi sebagai anggota grup kerja, karena realm Kerberos berbeda dari domain Windows. Atur realm Kerberos dan tambahkan server KDC, seperti yang ditunjukkan dalam contoh berikut. Ganti REALM.COM dengan ranah Anda masing-masing, sesuai kebutuhan.

   C:> Ksetup /setdomain REALM.COM`
   C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
   

   Setelah menjalankan perintah ini, mulai ulang komputer.

2. Verifikasi konfigurasi dengan perintah Ksetup. Output akan terlihat seperti sampel berikut:

   C:> Ksetup
   default realm = REALM.COM (external)
   REALM.com:
       kdc = <your_kdc_server_address>
   

Opsi 2: Mengaktifkan kepercayaan timbal balik antara domain Windows dan realm Kerberos

Persyaratan:

• Komputer gateway harus bergabung dengan domain Windows.
• Anda memerlukan izin untuk memperbarui pengaturan pengendali domain.

Cara mengonfigurasi:

Catatan

Ganti REALM.COM dan AD.COM dalam tutorial berikut dengan realm dan pengendali domain Anda sendiri, sesuai kebutuhan.

Pada server KDC:

1. Edit konfigurasi KDC dalam file krb5.conf . Izinkan KDC mempercayai domain Windows dengan merujuk ke templat konfigurasi berikut. Secara default, konfigurasi terletak di /etc/krb5.conf.

   [logging]
   default = FILE:/var/log/krb5libs.log
   kdc = FILE:/var/log/krb5kdc.log
   admin_server = FILE:/var/log/kadmind.log
   
   [libdefaults]
   default_realm = REALM.COM
   dns_lookup_realm = false
   dns_lookup_kdc = false
   ticket_lifetime = 24h
   renew_lifetime = 7d
   forwardable = true
   
   [realms]
   REALM.COM = {
       kdc = node.REALM.COM
       admin_server = node.REALM.COM
       }
   AD.COM = {
       kdc = windc.ad.com
       admin_server = windc.ad.com
       }
   
   [domain_realm]
   .REALM.COM = REALM.COM
   REALM.COM = REALM.COM
   .ad.com = AD.COM
   ad.com = AD.COM
   
   [capaths]
   AD.COM = {
       REALM.COM = .
       }
   

   Mulai ulang layanan KDC setelah konfigurasi.

2. Siapkan prinsipal bernama krbtgt/REALM.COM@AD.COM di server KDC. Gunakan perintah berikut:

   Kadmin> addprinc krbtgt/REALM.COM@AD.COM

3. Dalam hadoop.security.auth_to_local file konfigurasi layanan HDFS, tambahkan RULE:[1:$1@$0](.*@AD.COM)s/@.*//.

Di pengendali domain:

1. Jalankan perintah Ksetup berikut untuk menambahkan entri realm:

   C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
   C:> ksetup /addhosttorealmmap HDFS-service-FQDN REALM.COM
   

2. Membangun kepercayaan dari domain Windows ke realm Kerberos. Dalam contoh berikut, [password] adalah kata sandi untuk krbtgt/REALM.COM@AD.COMutama.

   C:> netdom trust REALM.COM /Domain: AD.COM /add /realm /password:[password]

3. Pilih algoritma enkripsi untuk digunakan dengan Kerberos.

   1. Buka Domain Manajemen>Kebijakan Grup Manajer>Server. Dari sana, buka Objek>Kebijakan Grup Default atau Edit Kebijakan>Domain Aktif.

   2. Di jendela pop-up Editor Manajemen Kebijakan Grup, buka Pengaturan Windows Kebijakan>Konfigurasi>Komputer. Dari sana, buka Pengaturan>Keamanan Opsi Keamanan Kebijakan>Lokal. Mengonfigurasi keamanan Jaringan: Mengonfigurasi jenis Enkripsi yang diizinkan untuk Kerberos.

   3. Pilih algoritma enkripsi yang ingin Anda gunakan untuk menyambungkan ke KDC. Biasanya Anda dapat memilih salah satu opsi.

      

   4. Gunakan perintah Ksetup untuk menentukan algoritma enkripsi yang akan digunakan pada ranah tertentu.

      C:> ksetup /SetEncTypeAttr REALM.COM DES-CBC-CRC DES-CBC-MD5 RC4-HMAC-MD5 AES128-CTS-HMAC-SHA1-96 AES256-CTS-HMAC-SHA1-96

4. Untuk menggunakan perwakilan Kerberos di domain Windows, buat pemetaan antara akun domain dan perwakilan Kerberos.

   1. Buka Alat>administratif Pengguna Direktori Aktif dan Komputer.

   2. Mengonfigurasi fitur tingkat lanjut dengan memilih Tampilkan>Fitur Tingkat Lanjut.

   3. Temukan akun yang ingin Anda buat pemetaannya, klik kanan untuk melihat Pemetaan Nama, lalu pilih tab Nama Kerberos.

   4. Tambahkan prinsipal dari realm.

      

Di komputer gateway:

Jalankan perintah Ksetup berikut ini untuk menambahkan entri realm.

C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
C:> ksetup /addhosttorealmmap HDFS-service-FQDN REALM.COM

Lihat juga

Tugas Hive Hadoop
Tugas Pig Hadoop
Tugas Sistem File Hadoop