Pengelola Koneksi Hadoop

Berlaku untuk: Integration Runtime SSIS SQL Server di Azure Data Factory

Hadoop Pengelola Sambungan memungkinkan paket SQL Server Integration Services (SSIS) untuk terhubung ke kluster Hadoop, dengan menggunakan nilai yang Anda tentukan untuk properti.

Mengonfigurasi Pengelola Sambungan Hadoop

1. Dalam kotak dialog Tambahkan Pengelola Sambungan SSIS, pilih Tambahkan Hadoop>. Kotak dialog Hadoop Pengelola Sambungan Editor terbuka.

2. Untuk mengonfigurasi informasi kluster Hadoop terkait, pilih tab WebHCat atau WebHDFS di panel kiri.

3. Jika Anda mengaktifkan opsi WebHCat untuk memanggil pekerjaan Apache Hive atau Pig di Hadoop, lakukan hal berikut:

   1. Untuk Host WebHCat, masukkan server yang menghosting layanan WebHCat.

   2. Untuk Port WebHCat, masukkan port layanan WebHCat, yang secara default adalah 50111.

   3. Pilih metode Autentikasi untuk mengakses layanan WebHCat. Nilai yang tersedia adalah Dasar dan Kerberos.

      

      

   4. Untuk Pengguna WebHCat, masukkan Pengguna yang berwenang untuk mengakses WebHCat.

   5. Jika Anda memilih autentikasi Kerberos , masukkan Kata Sandi dan Domain pengguna.

4. Jika Anda mengaktifkan opsi WebHDFS untuk menyalin data dari atau ke HDFS, lakukan hal berikut:

   1. Untuk Host WebHDFS, masukkan server yang menghosting layanan WebHDFS.

   2. Untuk Port WebHDFS, masukkan port layanan WebHDFS, yang secara default adalah 50070.

   3. Pilih metode Autentikasi untuk mengakses layanan WebHDFS. Nilai yang tersedia adalah Dasar dan Kerberos.

   4. Untuk Pengguna WebHDFS, masukkan pengguna yang berwenang untuk mengakses HDFS.

   5. Jika Anda memilih autentikasi Kerberos , masukkan Kata Sandi dan Domain pengguna.

5. Pilih Uji koneksi. (Hanya koneksi yang Anda aktifkan yang diuji.)

6. Pilih OK untuk menutup kotak dialog.

Menyambungkan dengan autentikasi Kerberos

Ada dua opsi untuk menyiapkan lingkungan lokal sehingga Anda dapat menggunakan autentikasi Kerberos dengan Pengelola Sambungan Hadoop. Anda dapat memilih opsi yang lebih sesuai dengan keadaan Anda.

• Opsi 1: Bergabunglah dengan komputer SSIS ke realm Kerberos
• Opsi 2: Mengaktifkan kepercayaan timbal balik antara domain Windows dan realm Kerberos

Opsi 1: Bergabunglah dengan komputer SSIS ke realm Kerberos

Persyaratan:

• Komputer gateway perlu bergabung dengan realm Kerberos, dan tidak dapat bergabung dengan domain Windows apa pun.

Cara mengonfigurasi:

Pada komputer SSIS:

1. Jalankan utilitas Ksetup untuk mengonfigurasi server dan realm Kerberos Key Distribution Center (KDC).

   Komputer harus dikonfigurasi sebagai anggota grup kerja, karena realm Kerberos berbeda dari domain Windows. Atur realm Kerberos dan tambahkan server KDC, seperti yang ditunjukkan dalam contoh berikut. Ganti REALM.COM dengan ranah Anda masing-masing, sesuai kebutuhan.

   C:> Ksetup /setdomain REALM.COM`
   C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
   

   Setelah menjalankan perintah ini, hidupkan ulang komputer.

2. Verifikasi konfigurasi dengan perintah Ksetup. Output akan terlihat seperti sampel berikut:

   C:> Ksetup
   default realm = REALM.COM (external)
   REALM.com:
       kdc = <your_kdc_server_address>
   

Opsi 2: Aktifkan saling percaya antara domain Windows dan realm Kerberos

Persyaratan:

• Komputer gateway harus bergabung dengan domain Windows.
• Anda memerlukan izin untuk memperbarui pengaturan pengendali domain.

Cara mengonfigurasi:

Catatan

Ganti REALM.COM dan AD.COM dalam tutorial berikut dengan realm dan pengendali domain Anda masing-masing, sesuai kebutuhan.

Pada server KDC:

1. Edit konfigurasi KDC dalam file krb5.conf . Izinkan KDC mempercayai domain Windows dengan merujuk ke templat konfigurasi berikut. Secara default, konfigurasi terletak di /etc/krb5.conf.

   [logging]
   default = FILE:/var/log/krb5libs.log
   kdc = FILE:/var/log/krb5kdc.log
   admin_server = FILE:/var/log/kadmind.log
   
   [libdefaults]
   default_realm = REALM.COM
   dns_lookup_realm = false
   dns_lookup_kdc = false
   ticket_lifetime = 24h
   renew_lifetime = 7d
   forwardable = true
   
   [realms]
   REALM.COM = {
       kdc = node.REALM.COM
       admin_server = node.REALM.COM
       }
   AD.COM = {
       kdc = windc.ad.com
       admin_server = windc.ad.com
       }
   
   [domain_realm]
   .REALM.COM = REALM.COM
   REALM.COM = REALM.COM
   .ad.com = AD.COM
   ad.com = AD.COM
   
   [capaths]
   AD.COM = {
       REALM.COM = .
       }
   

   Mulai ulang layanan KDC setelah konfigurasi.

2. Siapkan prinsipal bernama krbtgt/REALM.COM@AD.COM di server KDC. Gunakan perintah berikut:

   Kadmin> addprinc krbtgt/REALM.COM@AD.COM

3. Dalam hadoop.security.auth_to_local file konfigurasi layanan HDFS, tambahkan RULE:[1:$1@$0](.*@AD.COM)s/@.*//.

Di pengendali domain:

1. Jalankan perintah Ksetup berikut untuk menambahkan entri realm:

   C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
   C:> ksetup /addhosttorealmmap HDFS-service-FQDN REALM.COM
   

2. Membangun kepercayaan dari domain Windows ke realm Kerberos. Dalam contoh berikut, [password] adalah kata sandi untuk krbtgt/REALM.COM@AD.COMutama.

   C:> netdom trust REALM.COM /Domain: AD.COM /add /realm /password:[password]

3. Pilih algoritma enkripsi untuk digunakan dengan Kerberos.

   1. Buka Manajer> Server Kebijakan GrupDomainManajemen>. Dari sana, buka Kebijakan Grup Objek> Default atauEdit Kebijakan >Domain Aktif.

   2. Di jendela pop-up Editor Manajemen Kebijakan Grup, bukaKebijakan>Konfigurasi> KomputerPengaturan Windows. Dari sana, buka Pengaturan> KeamananOpsi KeamananKebijakan> Lokal. Mengonfigurasi Keamanan jaringan: Mengonfigurasi jenis Enkripsi yang diizinkan untuk Kerberos.

   3. Pilih algoritma enkripsi yang ingin Anda gunakan untuk menyambungkan ke KDC. Biasanya Anda dapat memilih salah satu opsi.

      

   4. Gunakan perintah Ksetup untuk menentukan algoritma enkripsi yang akan digunakan pada realm tertentu.

      C:> ksetup /SetEncTypeAttr REALM.COM DES-CBC-CRC DES-CBC-MD5 RC4-HMAC-MD5 AES128-CTS-HMAC-SHA1-96 AES256-CTS-HMAC-SHA1-96

4. Untuk menggunakan prinsipal Kerberos di domain Windows, buat pemetaan antara akun domain dan prinsipal Kerberos.

   1. Buka Alat >administratifPengguna Direktori Aktif dan Komputer.

   2. Mengonfigurasi fitur tingkat lanjut dengan memilih Tampilkan>Fitur Tingkat Lanjut.

   3. Temukan akun yang ingin Anda buat pemetaannya, klik kanan untuk melihat Pemetaan Nama, lalu pilih tab Nama Kerberos .

   4. Tambahkan prinsipal dari realm.

      

Di komputer gateway:

Jalankan perintah Ksetup berikut ini untuk menambahkan entri realm.

C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
C:> ksetup /addhosttorealmmap HDFS-service-FQDN REALM.COM

Lihat juga

Tugas Hive Hadoop
Tugas Pig Hadoop
Tugas Sistem File Hadoop