Mengonfigurasi kluster HDInsight untuk integrasi Azure Active Directory dengan Enterprise Security Package

Artikel ini menyediakan ringkasan dan gambaran umum tentang proses pembuatan dan konfigurasi kluster HDInsight yang terintegrasi dengan Azure Active Directory. Integrasi ini bergantung pada fitur HDInsight yang disebut Enterprise Security Package (ESP), Azure Active Directory Domain Services (Azure AD-DS), dan Active Directory lokal Anda yang sudah ada sebelumnya.

Untuk tutorial langkah demi langkah yang terperinci tentang menyiapkan dan mengonfigurasi domain di Azure dan membuat kluster dengan ESP aktif lalu menyinkronkan pengguna lokal, lihat Membuat dan mengonfigurasi kluster Enterprise Security Package di Azure HDInsight.

Latar belakang

Enterprise Security Package (ESP) menyediakan integrasi Active Directory untuk Azure HDInsight. Integrasi ini memungkinkan pengguna domain untuk menggunakan kredensial domain mereka untuk mengautentikasi dengan kluster HDInsight dan menjalankan pekerjaan big data.

Catatan

ESP umumnya tersedia dalam HDInsight 3.6 dan 4.0 untuk jenis kluster: Apache Spark, Interactive, Apache Hadoop, dan HBase. ESP untuk jenis kluster Apache Kafka berada dalam pratinjau dengan dukungan upaya terbaik saja. Kluster ESP yang dibuat sebelum tanggal ESP GA (1 Oktober 2018) tidak didukung.

Prasyarat

Ada beberapa prasyarat yang harus dipenuhi sebelum membuat kluster HDInsight yang mendukung ESP:

• Active Directory lokal dan Azure Active Directory yang sudah ada.
• Mengaktifkan Azure AD-DS.
• Periksa status kesehatan Azure AD-DS untuk memastikan sinkronisasi selesai.
• Membuat dan mengotorisasi identitas terkelola.
• Menyelesaikan penyiapan Jaringan untuk DNS dan masalah terkait.

Masing-masing item ini akan dibahas secara terperinci di bawah ini. Untuk panduan menyelesaikan semua langkah ini, lihat Membuat dan mengonfigurasi kluster Enterprise Security Package di Azure HDInsight.

Mengaktifkan Azure AD DS

Mengaktifkan Azure AD DS adalah prasyarat sebelum membuat kluster HDInsight dengan ESP. Untuk informasi selengkapnya, lihat Mengaktifkan Azure Active Directory Domain Services menggunakan portal Microsoft Azure.

Saat Azure AD DS diaktifkan, semua pengguna dan objek mulai menyinkronkan dari Azure Active Directory (Azure AD) ke Azure AD DS secara default. Durasi operasi sinkronisasi bergantung pada jumlah objek di Azure AD. Sinkronisasi mungkin membutuhkan waktu beberapa hari untuk ratusan ribu objek.

Nama domain yang Anda gunakan dengan Azure AD DS harus 39 karakter atau kurang agar dapat digunakan dengan HDInsight.

Anda dapat memilih untuk menyinkronkan grup yang memerlukan akses ke kluster HDInsight saja. Opsi sinkronisasi grup tertentu saja ini disebut sinkronisasi tercakup. Untuk mengetahui instruksinya, lihat Mengonfigurasi sinkronisasi tercakup dari Azure AD ke domain terkelola Anda.

Saat mengaktifkan LDAP aman, masukkan nama domain ke dalam nama subjek. Dan nama alternatif subjek dalam sertifikat. Jika nama domain Anda contoso100.onmicrosoft.com, pastikan nama tersebut ada di nama subjek sertifikat Anda dan nama alternatif subjek. Untuk informasi selengkapnya, lihat Mengonfigurasi LDAPS untuk domain terkelola Azure AD DS.

Contoh berikut membuat sertifikat yang ditandatangani sendiri. Nama domain contoso100.onmicrosoft.com berada di Subject (nama subjek) dan DnsName (nama alternatif subjek).

$lifetime=Get-Date
New-SelfSignedCertificate -Subject contoso100.onmicrosoft.com `
  -NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
  -Type SSLServerAuthentication -DnsName *.contoso100.onmicrosoft.com, contoso100.onmicrosoft.com

Catatan

Hanya administrator tenant yang memiliki hak istimewa untuk mengaktifkan Azure AD DS. Jika penyimpanan kluster adalah Azure Data Lake Storage Gen1 atau Gen2, Anda harus menonaktifkan Multi-Factor Authentication hanya untuk pengguna yang perlu mengakses kluster menggunakan autentikasi dasar Kerberos. Jika organisasi Anda memerlukan Autentikasi Multifaktor, coba gunakan fitur HDInsight ID Broker.

Anda dapat menggunakan IP tepercaya atau Akses Bersyarat untuk menonaktifkan Multi-Factor Authentication hanya untuk pengguna tertentu saat mereka mengakses rentang IP untuk jaringan virtual kluster HDInsight.

Jika penyimpanan kluster adalah penyimpanan Blob Azure, jangan nonaktifkan Multi-Factor Authentication.

Memeriksa status kesehatan Azure AD DS

Melihat status kesehatan Azure Active Directory Domain Services dengan memilih Kesehatan dalam kategori Kelola. Pastikan status Azure AD DS berwarna hijau (berjalan) dan sinkronisasi selesai.

Membuat dan mengotorisasi identitas terkelola

Gunakan identitas terkelola yang ditetapkan pengguna untuk menyederhanakan operasi layanan domain aman. Saat Anda menetapkan peran Kontributor Layanan Domain HDInsight ke identitas terkelola, ini dapat membaca, membuat, memodifikasi, dan menghapus operasi layanan domain.

Operasi layanan domain tertentu, seperti membuat OU dan prinsipal layanan, diperlukan untuk HDInsight Enterprise Security Package. Anda dapat membuat identitas terkelola dalam langganan apa pun. Untuk informasi selengkapnya tentang identitas terkelola secara umum, lihat Identitas terkelola untuk sumber daya Azure. Untuk informasi selengkapnya tentang cara kerja identitas terkelola di Azure HDInsight, lihat Identitas terkelola di Azure HDInsight.

Untuk menyiapkan kluster ESP, buat identitas terkelola yang ditetapkan pengguna jika Anda belum memilikinya. Lihat Create, list, delete, or assign a role to a user-assigned managed identity by using the Azure portal.

Berikutnya, tetapkan peran Kontributor Layanan Domain HDInsight ke identitas terkelola dalam Kontrol Akses untuk Azure AD DS. Anda memerlukan hak istimewa admin Azure AD DS untuk membuat penetapan peran ini.

Menetapkan peran Kontributor Layanan Domain HDInsight memastikan bahwa identitas ini memiliki akses (on behalf of) yang tepat untuk melakukan operasi layanan domain pada domain Azure AD DS. Operasi ini termasuk membuat dan menghapus OU.

Setelah identitas terkelola diberi peran, admin Azure AD DS mengelola orang yang menggunakannya. Pertama, admin memilih identitas terkelola di portal. Lalu memilih Kontrol Akses (IAM) di Ringkasan. Admin menetapkan peran Operator Identitas Terkelola kepada pengguna atau grup yang ingin membuat kluster ESP.

Misalnya, admin Azure AD DS dapat menetapkan peran ini ke grup MarketingTeam untuk identitas terkelola SJMSI. Contoh ditunjukkan dalam gambar berikut. Penetapan ini memastikan orang yang tepat dalam organisasi dapat menggunakan identitas terkelola untuk membuat kluster ESP.

Konfigurasi jaringan

Catatan

Azure AD DS harus disebarkan dalam jaringan virtual berbasis Azure Resource Manager. Jaringan virtual klasik tidak didukung untuk Azure AD DS. Untuk informasi selengkapnya, lihat Mengaktifkan Azure Active Directory Domain Services menggunakan portal Microsoft Azure.

Mengaktifkan Azure AD DS. Kemudian, server Domain Name System (DNS) lokal berjalan pada komputer virtual Active Directory (VM). Konfigurasikan jaringan virtual Azure AD DS Anda untuk menggunakan server DNS kustom ini. Untuk menemukan alamat IP yang tepat, pilih Properti dalam kategori Kelola dan lihat di ALAMAT IP DI JARINGAN VIRTUAL.

Mengubah konfigurasi server DNS di jaringan virtual Azure AD DS. Untuk menggunakan IP kustom ini, pilih Server DNS di kategori Pengaturan. Lalu pilih opsi Kustom, masukkan alamat IP pertama dalam kotak teks, dan pilih Simpan. Tambahkan lebih banyak alamat IP menggunakan langkah yang sama.

Menempatkan instans Azure AD DS dan kluster HDInsight di jaringan virtual Azure yang sama lebih mudah dilakukan. Jika berencana menggunakan jaringan virtual yang berbeda, Anda harus melakukan peer pada jaringan virtual tersebut sehingga pengontrol domain terlihat oleh HDInsight VM. Untuk informasi selengkapnya, lihat Peering jaringan virtual.

Setelah jaringan virtual di-peer, konfigurasi jaringan virtual HDInsight untuk menggunakan server DNS kustom. Dan, masukkan IP pribadi Azure AD DS sebagai alamat server DNS. Ketika kedua jaringan virtual menggunakan server DNS yang sama, nama domain kustom Anda akan mengarah ke IP yang tepat dan dapat dijangkau dari HDInsight. Misalnya, jika nama domain Anda contoso.com, setelah langkah ini, ping contoso.com harus diarahkan ke IP Azure AD DS yang tepat.

Jika menggunakan aturan network security group (NSG) di subnet HDInsight, Anda harus mengizinkan IP yang diperlukan untuk lalu lintas masuk dan keluar.

Untuk menguji pengaturan jaringan Anda, gabungkan Windows VM ke jaringan virtual/ subnet HDInsight dan ping nama domain. (Ini harus diarahkan ke IP.) Jalankan ldp.exe untuk mengakses domain Azure AD DS. Kemudian gabungkan VM Windows ini ke domain untuk mengonfirmasi bahwa semua panggilan RPC yang diperlukan antara klien dan server berhasil.

Gunakan nslookup untuk mengonfirmasi akses jaringan ke akun penyimpanan Anda. Atau, database eksternal apa pun yang mungkin Anda gunakan (misalnya, metastore Hive eksternal atau Ranger DB). Pastikan port yang diperlukan diizinkan dalam aturan NSG subnet Azure AD DS, jika NSG mengamankan Azure AD DS. Jika penggabungan domain Windows VM ini berhasil, Anda dapat melanjutkan ke langkah berikutnya dan membuat kluster ESP.

Membuat kluster HDInsight dengan ESP

Setelah menyiapkan langkah-langkah sebelumnya dengan benar, langkah selanjutnya adalah membuat kluster HDInsight dengan ESP aktif. Saat membuat kluster HDInsight, Anda dapat mengaktifkan Enterprise Security Package pada tab Keamanan + jaringan. Untuk templat Azure Resource Manager untuk penyebaran, gunakan pengalaman portal sekali. Kemudian unduh templat yang telah diisi sebelumnya di halaman Tinjau + buat untuk digunakan kembali di masa mendatang.

Anda juga dapat mengaktifkan fitur HDInsight ID Broker selama pembuatan kluster. Fitur ID Broker memungkinkan Anda masuk ke Ambari menggunakan Multi-Factor Authentication dan mendapatkan tiket Kerberos yang diperlukan tanpa memerlukan hash kata sandi di Azure AD DS.

Catatan

Enam karakter pertama dari nama kluster ESP harus unik di lingkungan Anda. Misalnya, jika Anda memiliki beberapa kluster ESP di jaringan virtual yang berbeda, pilih konvensi penamaan yang memastikan enam karakter pertama pada nama kluster unik.

Setelah Anda mengaktifkan ESP, kesalahan konfigurasi umum yang terkait dengan Azure AD DS secara otomatis terdeteksi dan divalidasi. Setelah memperbaiki kesalahan ini, Anda dapat melanjutkan langkah berikutnya.

Saat membuat kluster HDInsight dengan ESP, Anda harus menyediakan parameter berikut:

• Pengguna admin kluster: Pilih admin untuk kluster Anda dari instans Azure AD DS yang disinkronkan. Akun domain ini harus sudah disinkronkan dan tersedia di Azure AD DS.

• Grup akses kluster: Grup keamanan yang penggunanya ingin Anda sinkronkan dan memiliki akses ke kluster harus tersedia di Azure AD DS. Contohnya adalah grup HiveUsers. Untuk informasi selengkapnya, lihat Membuat grup dan menambahkan anggota menggunakan Azure Active Directory.

• URL LDAPS: Contohnya adalah ldaps://contoso.com:636.

Identitas terkelola yang Anda buat dapat dipilih dari daftar dropdown Identitas terkelola yang ditetapkan pengguna saat Anda membuat kluster baru.

.

Langkah berikutnya

• Untuk mengonfigurasi kebijakan Hive dan menjalankan kueri Hive, lihat Mengonfigurasi kebijakan Apache Hive untuk kluster HDInsight dengan ESP.
• Untuk menggunakan SSH agar tersambung ke kluster HDInsight dengan ESP, lihat Menggunakan SSH dengan Apache Hadoop berbasis Linux di HDInsight dari Linux, Unix, atau OS X.