Mengonfigurasi kluster HDInsight untuk integrasi Microsoft Entra dengan Paket Keamanan Perusahaan

Artikel ini menyediakan ringkasan dan ringkasan proses pembuatan dan konfigurasi kluster HDInsight yang terintegrasi dengan MICROSOFT Entra ID. Integrasi ini bergantung pada fitur HDInsight yang disebut Paket Keamanan Perusahaan (ESP), Microsoft Entra Domain Services, dan Active Directory lokal Anda yang sudah ada sebelumnya.

Untuk tutorial langkah demi langkah yang terperinci tentang menyiapkan dan mengonfigurasi domain di Azure dan membuat kluster dengan ESP aktif lalu menyinkronkan pengguna lokal, lihat Membuat dan mengonfigurasi kluster Enterprise Security Package di Azure HDInsight.

Latar belakang

Enterprise Security Package (ESP) menyediakan integrasi Active Directory untuk Azure HDInsight. Integrasi ini memungkinkan pengguna domain untuk menggunakan kredensial domain mereka untuk mengautentikasi dengan kluster HDInsight dan menjalankan pekerjaan big data.

Catatan

ESP umumnya tersedia di HDInsight 4.0 dan 5.0 untuk jenis kluster ini: Apache Spark, Interactive, Hadoop, Apache Kafka, dan HBase. Kluster ESP yang dibuat sebelum tanggal ESP GA (1 Oktober 2018) tidak didukung.

Prasyarat

Ada beberapa prasyarat yang harus dipenuhi sebelum membuat kluster HDInsight yang mendukung ESP:

• Active Directory lokal dan ID Microsoft Entra yang sudah ada.
• Aktifkan Microsoft Entra Domain Services.
• Periksa status kesehatan Microsoft Entra Domain Services untuk memastikan sinkronisasi selesai.
• Membuat dan mengotorisasi identitas terkelola.
• Menyelesaikan penyiapan Jaringan untuk DNS dan masalah terkait.

Masing-masing item ini dibahas secara rinci. Untuk panduan menyelesaikan semua langkah ini, lihat Membuat dan mengonfigurasi kluster Enterprise Security Package di Azure HDInsight.

Mengaktifkan Microsoft Entra Domain Services

Mengaktifkan Microsoft Entra Domain Services adalah prasyarat sebelum Anda dapat membuat kluster HDInsight dengan ESP. Untuk informasi selengkapnya, lihat Mengaktifkan Microsoft Entra Domain Services dengan menggunakan portal Azure.

Saat Microsoft Entra Domain Services diaktifkan, semua pengguna dan objek mulai disinkronkan dari ID Microsoft Entra ke Microsoft Entra Domain Services secara default. Panjang operasi sinkronisasi tergantung pada jumlah objek di ID Microsoft Entra. Sinkronisasi mungkin membutuhkan waktu beberapa hari untuk ratusan ribu objek.

Nama domain yang Anda gunakan dengan Microsoft Entra Domain Services harus 39 karakter atau lebih sedikit, untuk bekerja dengan HDInsight.

Anda dapat memilih untuk menyinkronkan grup yang memerlukan akses ke kluster HDInsight saja. Opsi sinkronisasi grup tertentu saja ini disebut sinkronisasi tercakup. Untuk petunjuknya, lihat Mengonfigurasi sinkronisasi tercakup dari ID Microsoft Entra ke domain terkelola Anda.

Saat mengaktifkan LDAP aman, masukkan nama domain ke dalam nama subjek. Dan nama alternatif subjek dalam sertifikat. Jika nama domain Anda contoso100.onmicrosoft.com, pastikan nama tersebut ada di nama subjek sertifikat Anda dan nama alternatif subjek. Untuk informasi selengkapnya, lihat Mengonfigurasi LDAP aman untuk domain terkelola Microsoft Entra Domain Services.

Contoh berikut membuat sertifikat yang ditandatangani sendiri. Nama domain contoso100.onmicrosoft.com berada di Subject (nama subjek) dan DnsName (nama alternatif subjek).

$lifetime=Get-Date
New-SelfSignedCertificate -Subject contoso100.onmicrosoft.com `
  -NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
  -Type SSLServerAuthentication -DnsName *.contoso100.onmicrosoft.com, contoso100.onmicrosoft.com

Catatan

Hanya administrator penyewa yang memiliki hak istimewa untuk mengaktifkan Microsoft Entra Domain Services. Jika penyimpanan kluster adalah Azure Data Lake Storage Gen1 atau Gen2, Anda harus menonaktifkan autentikasi multifaktor Microsoft Entra hanya untuk pengguna yang perlu mengakses kluster dengan menggunakan autentikasi Dasar Kerberos. Jika organisasi Anda memerlukan autentikasi multifaktor, coba gunakan fitur HDInsight ID Broker.

Anda dapat menggunakan IP tepercaya atau Akses Bersyarat untuk menonaktifkan autentikasi multifaktor untuk pengguna tertentu hanya saat mereka mengakses rentang IP untuk jaringan virtual kluster HDInsight.

Jika penyimpanan kluster adalah penyimpanan Azure Blob, jangan nonaktifkan autentikasi multifaktor.

Memeriksa status kesehatan Microsoft Entra Domain Services

Lihat status kesehatan Microsoft Entra Domain Services dengan memilih Kesehatan di kategori Kelola . Pastikan status Microsoft Entra Domain Services berwarna hijau (berjalan) dan sinkronisasi selesai.

Membuat dan mengotorisasi identitas terkelola

Gunakan identitas terkelola yang ditetapkan pengguna untuk menyederhanakan operasi layanan domain aman. Saat Anda menetapkan peran Kontributor Layanan Domain HDInsight ke identitas terkelola, ini dapat membaca, membuat, memodifikasi, dan menghapus operasi layanan domain.

Operasi layanan domain tertentu, seperti membuat OU dan prinsipal layanan, diperlukan untuk HDInsight Enterprise Security Package. Anda dapat membuat identitas terkelola dalam langganan apa pun. Untuk informasi selengkapnya tentang identitas terkelola secara umum, lihat Identitas terkelola untuk sumber daya Azure. Untuk informasi selengkapnya tentang cara kerja identitas terkelola di Azure HDInsight, lihat Identitas terkelola di Azure HDInsight.

Untuk menyiapkan kluster ESP, buat identitas terkelola yang ditetapkan pengguna jika Anda belum memilikinya. Lihat Create, list, delete, or assign a role to a user-assigned managed identity by using the Azure portal.

Selanjutnya, tetapkan peran Kontributor Layanan Domain HDInsight ke identitas terkelola di Kontrol akses untuk Microsoft Entra Domain Services. Anda memerlukan hak istimewa admin Microsoft Entra Domain Services untuk membuat penetapan peran ini.

Menetapkan peran Kontributor Layanan Domain HDInsight memastikan bahwa identitas ini memiliki akses yang tepat (on behalf of) untuk melakukan operasi layanan domain pada domain Microsoft Entra Domain Services. Operasi ini termasuk membuat dan menghapus OU.

Setelah identitas terkelola diberi peran, admin Microsoft Entra Domain Services mengelola siapa yang menggunakannya. Pertama, admin memilih identitas terkelola di portal. Lalu memilih Kontrol Akses (IAM) di Ringkasan. Admin menetapkan peran Operator Identitas Terkelola kepada pengguna atau grup yang ingin membuat kluster ESP.

Misalnya, admin Microsoft Entra Domain Services dapat menetapkan peran ini ke grup MarketingTeam untuk identitas terkelola sjmsi . Contoh ditunjukkan dalam gambar berikut. Penetapan ini memastikan orang yang tepat dalam organisasi dapat menggunakan identitas terkelola untuk membuat kluster ESP.

Konfigurasi jaringan

Catatan

Microsoft Entra Domain Services harus disebarkan di jaringan virtual berbasis Azure Resource Manager. Jaringan virtual klasik tidak didukung untuk Microsoft Entra Domain Services. Untuk informasi selengkapnya, lihat Mengaktifkan Microsoft Entra Domain Services dengan menggunakan portal Azure.

Aktifkan Microsoft Entra Domain Services. Kemudian, server Domain Name System (DNS) lokal berjalan pada komputer virtual Active Directory (VM). Konfigurasikan jaringan virtual Microsoft Entra Domain Services Anda untuk menggunakan server DNS kustom ini. Untuk menemukan alamat IP yang tepat, pilih Properti dalam kategori Kelola dan lihat di ALAMAT IP DI JARINGAN VIRTUAL.

Ubah konfigurasi server DNS di jaringan virtual Microsoft Entra Domain Services. Untuk menggunakan IP kustom ini, pilih Server DNS di kategori Pengaturan. Lalu pilih opsi Kustom, masukkan alamat IP pertama dalam kotak teks, dan pilih Simpan. Tambahkan lebih banyak alamat IP menggunakan langkah yang sama.

Lebih mudah untuk menempatkan instans Microsoft Entra Domain Services dan kluster HDInsight di jaringan virtual Azure yang sama. Jika berencana menggunakan jaringan virtual yang berbeda, Anda harus melakukan peer pada jaringan virtual tersebut sehingga pengontrol domain terlihat oleh HDInsight VM. Untuk informasi selengkapnya, lihat Peering jaringan virtual.

Setelah jaringan virtual di-peer, konfigurasi jaringan virtual HDInsight untuk menggunakan server DNS kustom. Dan masukkan IP privat Microsoft Entra Domain Services sebagai alamat server DNS. Ketika kedua jaringan virtual menggunakan server DNS yang sama, nama domain kustom Anda diselesaikan ke IP yang tepat dan dapat dijangkau dari HDInsight. Misalnya, jika nama domain Anda adalah contoso.com, maka setelah langkah ini, ping contoso.com harus diselesaikan ke IP Microsoft Entra Domain Services yang tepat.

Jika menggunakan aturan network security group (NSG) di subnet HDInsight, Anda harus mengizinkan IP yang diperlukan untuk lalu lintas masuk dan keluar.

Untuk menguji pengaturan jaringan Anda, gabungkan Windows VM ke jaringan virtual/ subnet HDInsight dan ping nama domain. (Ini harus diselesaikan ke IP.) Jalankan ldp.exe untuk mengakses domain Microsoft Entra Domain Services. Kemudian gabungkan VM Windows ini ke domain untuk mengonfirmasi bahwa semua panggilan RPC yang diperlukan antara klien dan server berhasil.

Gunakan nslookup untuk mengonfirmasi akses jaringan ke akun penyimpanan Anda. Atau, database eksternal apa pun yang mungkin Anda gunakan (misalnya, metastore Hive eksternal atau Ranger DB). Pastikan port yang diperlukan diizinkan dalam aturan NSG subnet Microsoft Entra Domain Services, jika NSG mengamankan Microsoft Entra Domain Services. Jika penggabungan domain Windows VM ini berhasil, Anda dapat melanjutkan ke langkah berikutnya dan membuat kluster ESP.

Membuat kluster HDInsight dengan ESP

Setelah menyiapkan langkah-langkah sebelumnya dengan benar, langkah selanjutnya adalah membuat kluster HDInsight dengan ESP aktif. Saat membuat kluster HDInsight, Anda dapat mengaktifkan Enterprise Security Package pada tab Keamanan + jaringan. Untuk templat Azure Resource Manager untuk penyebaran, gunakan pengalaman portal sekali. Kemudian unduh templat yang telah diisi sebelumnya di halaman Tinjau + buat untuk digunakan kembali di masa mendatang.

Anda juga dapat mengaktifkan fitur HDInsight ID Broker selama pembuatan kluster. Fitur ID Broker memungkinkan Anda masuk ke Ambari dengan menggunakan autentikasi multifaktor dan mendapatkan tiket Kerberos yang diperlukan tanpa memerlukan hash kata sandi di Microsoft Entra Domain Services.

Catatan

Enam karakter pertama dari nama kluster ESP harus unik di lingkungan Anda. Misalnya, jika Anda memiliki beberapa kluster ESP di jaringan virtual yang berbeda, pilih konvensi penamaan yang memastikan enam karakter pertama pada nama kluster unik.

Setelah Anda mengaktifkan ESP, kesalahan konfigurasi umum yang terkait dengan Microsoft Entra Domain Services secara otomatis terdeteksi dan divalidasi. Setelah memperbaiki kesalahan ini, Anda dapat melanjutkan langkah berikutnya.

Saat membuat kluster HDInsight dengan ESP, Anda harus menyediakan parameter berikut:

• Pengguna admin kluster: Pilih admin untuk kluster Anda dari instans Microsoft Entra Domain Services yang disinkronkan. Akun domain ini harus sudah disinkronkan dan tersedia di Microsoft Entra Domain Services.

• Grup akses kluster: Grup keamanan yang penggunanya ingin Anda sinkronkan dan memiliki akses ke kluster harus tersedia di Microsoft Entra Domain Services. Contohnya adalah grup HiveUsers. Untuk informasi selengkapnya, lihat Membuat grup dan menambahkan anggota di ID Microsoft Entra.

• URL LDAPS: Contohnya adalah ldaps://contoso.com:636.

Identitas terkelola yang Anda buat dapat dipilih dari daftar dropdown Identitas terkelola yang ditetapkan pengguna saat Anda membuat kluster baru.

.

Langkah berikutnya

• Untuk mengonfigurasi kebijakan Hive dan menjalankan kueri Hive, lihat Mengonfigurasi kebijakan Apache Hive untuk kluster HDInsight dengan ESP.
• Untuk menggunakan SSH agar tersambung ke kluster HDInsight dengan ESP, lihat Menggunakan SSH dengan Apache Hadoop berbasis Linux di HDInsight dari Linux, Unix, atau OS X.