Membuat dan mengonfigurasi kluster Paket Keamanan Perusahaan di Azure HDInsight
Paket Keamanan Perusahaan (ESP) untuk Azure HDInsight memberi Anda akses ke autentikasi berbasis Direktori Aktif, dukungan multipengguna, dan kontrol akses berbasis peran untuk kluster Apache Hadoop Anda di Azure. Kluster HDInsight ESP memungkinkan organisasi yang mematuhi kebijakan keamanan perusahaan yang ketat untuk memproses data sensitif dengan aman.
Panduan ini menunjukkan cara membuat kluster Azure HDInsight yang mendukung ESP. Ini juga menunjukkan cara membuat komputer virtual infrastruktur sebagai layanan Windows di mana Direktori Aktif dan Sistem Nama Domain (DNS) diaktifkan. Gunakan panduan ini untuk mengonfigurasi sumber daya yang diperlukan untuk memungkinkan pengguna lokal masuk ke kluster HDInsight yang mendukung ESP.
Server yang Anda buat akan bertindak sebagai pengganti lingkungan lokal sebenarnya Anda. Anda akan menggunakannya untuk langkah-langkah penyiapan dan konfigurasi. Nantinya Anda akan mengulangi langkah-langkah di lingkungan Anda sendiri.
Panduan ini juga akan membantu Anda membuat lingkungan identitas hibrid dengan menggunakan sinkronisasi hash kata sandi dengan ID Microsoft Entra. Panduan ini melengkapi Gunakan ESP dalam HDInsight.
Sebelum Anda menggunakan proses ini di lingkungan Anda sendiri:
- Siapkan Direktori Aktif dan DNS.
- Aktifkan ID Microsoft Entra.
- Sinkronkan akun pengguna lokal ke ID Microsoft Entra.
Membuat lingkungan lokal
Di bagian ini, Anda akan menggunakan templat penyebaran Mulai Cepat Azure untuk membuat komputer virtual baru, mengonfigurasi DNS, dan menambahkan forest Direktori Aktif baru.
Buka templat penyebaran Mulai Cepat untuk Membuat komputer virtual Azure dengan forest Direktori Aktif baru.
Pilih Sebarkan ke Azure.
Masuk ke langganan Azure Anda.
Di halaman Membuat komputer virtual Azure dengan Forest AD baru, berikan informasi berikut:
Properti Nilai Langganan Pilih langganan tempat Anda ingin menyebarkan sumber daya. Grup sumber daya Pilih Buat baru, dan masukkan nama OnPremADVRG
Lokasi Pilih lokasi. Nama Pengguna Admin HDIFabrikamAdmin
Kata Sandi Admin Masukkan kata sandi. Nama Domain HDIFabrikam.com
Awalan Dns hdifabrikam
Biarkan nilai default lainnya.
Tinjau Persyaratan dan Ketentuan, lalu pilih Saya setuju dengan persyaratan dan ketentuan yang disebutkan di atas.
Pilih Beli, dan pantau penyebaran dan tunggu hingga selesai. Penyebaran memakan waktu sekitar 30 menit untuk menyelesaikan.
Mengonfigurasi pengguna dan grup untuk akses kluster
Di bagian ini, Anda akan membuat pengguna yang akan memiliki akses ke kluster HDInsight di akhir panduan ini.
Sambungkan ke pengendali domain menggunakan Desktop Jauh.
- Dari portal Microsoft Azure, navigasikan ke Grup sumber daya>OnPremADVRG>adVM>Connect.
- Dari daftar drop-down alamat IP, pilih alamat IP publik.
- Pilih Unduh File RDP, lalu buka file.
- Gunakan
HDIFabrikam\HDIFabrikamAdmin
sebagai nama pengguna. - Masukkan kata sandi yang Anda pilih untuk akun admin.
- Pilih OK.
Dari dasbor Manajer Server pengontrol domain, navigasikan ke Alat>Pengguna dan Komputer Direktori Aktif.
Buat dua pengguna baru: HDIAdmin dan HDIUser. Kedua pengguna ini akan masuk ke kluster HDInsight.
Dari halaman Pengguna dan Komputer Active Directory, klik kanan
HDIFabrikam.com
, lalu navigasikan ke Pengguna>Baru.Pada halaman Objek Baru - Pengguna, masukkan
HDIUser
untuk Nama depan dan Nama masuk pengguna. Bidang lainnya akan terisi secara otomatis. Kemudian pilih Berikutnya.Di jendela pop-up yang muncul, masukkan kata sandi untuk akun baru. Pilih Kata sandi tidak pernah kedaluwarsa, lalu OK di pesan pop-up.
Pilih Berikutnya, lalu Selesai untuk membuat akun baru.
Ulangi langkah di atas untuk membuat pengguna
HDIAdmin
.
Membuat grup keamanan.
Dari Pengguna dan Komputer Active Directory, klik kanan
HDIFabrikam.com
, lalu navigasikan ke Grup>Baru.Masukkan
HDIUserGroup
di kotak teks Nama grup.Pilih OK.
Tambahkan anggota ke HDIUserGroup.
Klik kanan HDIUser dan pilih Tambahkan ke grup....
Di kotak teks Masukkan nama objek untuk dipilih, masukkan
HDIUserGroup
. Kemudian pilih OK, dan OK lagi di pop-up.Ulangi langkah-langkah sebelumnya untuk akun HDIAdmin.
Anda sekarang telah membuat lingkungan Direktori Aktif Anda. Anda telah menambahkan dua pengguna dan grup pengguna yang dapat mengakses kluster HDInsight.
Pengguna akan disinkronkan dengan ID Microsoft Entra.
Membuat direktori Microsoft Entra
Masuk ke portal Azure.
Pilih Buat sumber daya dan ketik
directory
. Pilih Buat ID>Microsoft Entra.Di bawah Nama organisasi, masukkan
HDIFabrikam
.Di bawah Nama domain awal, masukkan
HDIFabrikamoutlook
.Pilih Buat.
Membuat domain kustom
Dari ID Microsoft Entra baru Anda, di bawah Kelola, pilih Nama domain kustom.
Pilih + Tambah domain kustom.
Di bawah Nama domain kustom, masukkan
HDIFabrikam.com
, lalu pilih Tambahkan domain.Lalu selesaikan Tambahkan informasi DNS Anda ke pencatat domain.
Membuat grup
- Dari ID Microsoft Entra baru Anda, di bawah Kelola, pilih Grup.
- Pilih + Grup baru.
- Di kotak teks nama grup, masukkan
AAD DC Administrators
. - Pilih Buat.
Mengonfigurasi penyewa Microsoft Entra Anda
Sekarang Anda akan mengonfigurasi penyewa Microsoft Entra sehingga Anda dapat menyinkronkan pengguna dan grup dari instans Active Directory lokal ke cloud.
Biat administrator penyewa Direktori Aktif.
Masuk ke portal Azure dan pilih penyewa Microsoft Entra Anda, HDIFabrikam.
Navigasikan ke Kelola>Pengguna>Pengguna baru.
Masukkan detail berikut untuk pengguna baru:
Identitas
Properti Deskripsi Nama pengguna Masukkan fabrikamazureadmin
di kotak teks. Dari daftar drop-down nama domain, pilihhdifabrikam.com
Nama Memasuki fabrikamazureadmin
.Password
- Pilih Izinkan saya membuat kata sandi.
- Masukkan kata sandi aman pilihan Anda.
Grup dan peran
Pilih 0 grup dipilih.
Pilih
AAD DC
Administrator, lalu Pilih.Pilih Pengguna.
Pilih Administrator, lalu Pilih.
Pilih Buat.
Kemudian minta pengguna baru masuk ke portal Microsoft Azure di mana ia akan diminta untuk mengubah kata sandi. Anda harus melakukan ini sebelum mengonfigurasi Microsoft Entra Connect.
Menyinkronkan pengguna lokal ke ID Microsoft Entra
Mengonfigurasi Microsoft Entra Connect
Dari pengendali domain, unduh Microsoft Entra Connect.
Buka file yang dapat dieksekusi yang Anda unduh, dan setujui syarat lisensinya. Pilih Lanjutkan.
Pilih Gunakan pengaturan ekspres.
Pada halaman Sambungkan ke ID Microsoft Entra, masukkan nama pengguna dan kata sandi administrator untuk ID Microsoft Entra. Gunakan nama pengguna
fabrikamazureadmin@hdifabrikam.com
yang Anda buat saat mengonfigurasi penyewa Direktori Aktif. Kemudian pilih Berikutnya.Di halaman Sambungkan ke AD DS, masukkan nama pengguna dan kata sandi untuk akun admin perusahaan. Gunakan nama pengguna
HDIFabrikam\HDIFabrikamAdmin
dan kata sandi yang Anda buat sebelumnya. Kemudian pilih Berikutnya.Pada halaman konfigurasi masuk Microsoft Entra, pilih Berikutnya.
Pada halaman Siap untuk dikonfigurasi, pilih Pasang.
Pada halaman Konfigurasi selesai, pilih Keluar.
Setelah sinkronisasi selesai, konfirmasikan bahwa pengguna yang Anda buat di direktori IaaS disinkronkan ke ID Microsoft Entra.
- Masuk ke portal Azure.
- Pilih Microsoft Entra ID>HDIPenggunaFabrikam.>
Membuat identitas terkelola yang ditetapkan pengguna
Buat identitas terkelola yang ditetapkan pengguna yang dapat Anda gunakan untuk mengonfigurasi Microsoft Entra Domain Services. Untuk informasi selengkapnya, lihat Membuat, mencantumkan, menghapus, atau menetapkan peran ke identitas terkelola pengguna yang tetapkan menggunakan portal Microsoft Azure.
- Masuk ke portal Azure.
- Pilih Buat sumber daya dan ketik
managed identity
. Pilih Identitas Terkelola yang Ditetapkan Pengguna>Buat. - Untuk Nama Sumber Daya, masukkan
HDIFabrikamManagedIdentity
. - Pilih langganan Anda.
- Pada Grup Sumber Daya, pilih Buat baru dan masukkan
HDIFabrikam-CentralUS
. - Di bawah Lokasi, pilih US Tengah.
- Pilih Buat.
Mengaktifkan Microsoft Entra Domain Services
Ikuti langkah-langkah ini untuk mengaktifkan Microsoft Entra Domain Services. Untuk informasi selengkapnya, lihat Mengaktifkan Microsoft Entra Domain Services dengan menggunakan portal Azure.
Buat jaringan virtual untuk menghosting Microsoft Entra Domain Services. Jalankan kode PowerShell berikut.
# Sign in to your Azure subscription $sub = Get-AzSubscription -ErrorAction SilentlyContinue if(-not($sub)) { Connect-AzAccount } # If you have multiple subscriptions, set the one to use # Select-AzSubscription -SubscriptionId "<SUBSCRIPTIONID>" $virtualNetwork = New-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS' -Location 'Central US' -Name 'HDIFabrikam-AADDSVNET' -AddressPrefix 10.1.0.0/16 $subnetConfig = Add-AzVirtualNetworkSubnetConfig -Name 'AADDS-subnet' -AddressPrefix 10.1.0.0/24 -VirtualNetwork $virtualNetwork $virtualNetwork | Set-AzVirtualNetwork
Masuk ke portal Azure.
Pilih Buat sumber daya, masukkan
Domain services
, dan pilih Buat Microsoft Entra Domain Services>.Di halaman Dasar:
Di bawah Nama direktori, pilih direktori Microsoft Entra yang Anda buat: HDIFabrikam.
Untuk nama domain DNS, masukkan HDIFabrikam.com.
Pilih langganan Anda.
Tentukan grup sumber daya HDIFabrikam-CentralUS. Untuk Lokasi, pilih US Tengah.
Pada halaman Jaringan, pilih jaringan (HDIFabrikam-VNET) dan subnet (AADDS-subnet) yang Anda buat dengan menggunakan skrip PowerShell. Atau pilih Buat baru untuk membuat jaringan virtual sekarang.
Pada halaman Grup administrator, Anda akan melihat pemberitahuan bahwa grup bernama
AAD DC
Administrator telah dibuat untuk mengelola grup ini. Anda dapat mengubah keanggotaan grup ini jika mau, tetapi dalam hal ini Anda tidak perlu mengubahnya. Pilih OK.Pada halaman Sinkronisasi, aktifkan sinkronisasi lengkap dengan memilih Semua>OK.
Pada halaman Ringkasan , verifikasi detail untuk Microsoft Entra Domain Services dan pilih OK.
Setelah Anda mengaktifkan Microsoft Entra Domain Services, server DNS lokal berjalan di Microsoft Entra VM.
Mengonfigurasi jaringan virtual Microsoft Entra Domain Services Anda
Gunakan langkah-langkah berikut untuk mengonfigurasi jaringan virtual Microsoft Entra Domain Services Anda (HDIFabrikam-AADDSVNET) untuk menggunakan server DNS kustom Anda.
Temukan alamat IP server DNS kustom Anda.
- Pilih
HDIFabrikam.com
sumber daya Microsoft Entra Domain Services. - Di bawah Kelola, pilih Properti.
- Temukan alamat IP di bawah alamat IP di jaringan virtual.
- Pilih
Mengonfigurasi HDIFabrikam-AADDSVNET untuk menggunakan alamat IP kustom 10.0.0.4 dan 10.0.0.5.
- Di bawah Pengaturan, pilih Server DNS.
- Pilih Kustom.
- Dalam kotak teks, masukkan alamat IP pertama (10.0.0.4).
- Pilih Simpan.
- Ulangi langkah-langkah untuk menambahkan alamat IP lainnya (10.0.0.5).
Dalam skenario kami, kami mengonfigurasi Microsoft Entra Domain Services untuk menggunakan alamat IP 10.0.0.4 dan 10.0.0.5, mengatur alamat IP yang sama di jaringan virtual Microsoft Entra Domain Services:
Mengamankan lalu lintas LDAP
Lightweight Directory Access Protocol (LDAP) digunakan untuk membaca dari dan menulis ke MICROSOFT Entra ID. Anda dapat membuat lalu lintas LDAP menjadi rahasia dan aman menggunakan teknologi Secure Sockets Layer (SSL) atau Transport Layer Security (TLS). Anda dapat mengaktifkan LDAP melalui SSL (LDAPS) dengan memasang sertifikat yang diformat dengan benar.
Untuk informasi selengkapnya tentang LDAP aman, lihat Mengonfigurasi LDAPS untuk domain terkelola Microsoft Entra Domain Services.
Di bagian ini, Anda membuat sertifikat yang ditandatangani sendiri, mengunduh sertifikat, dan mengonfigurasi LDAPS untuk domain terkelola HDIFabrikam Microsoft Entra Domain Services.
Skrip berikut membuat sertifikat untuk HDIFabrikam. Sertifikat disimpan di jalur LocalMachine.
$lifetime = Get-Date
New-SelfSignedCertificate -Subject hdifabrikam.com `
-NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
-Type SSLServerAuthentication -DnsName *.hdifabrikam.com, hdifabrikam.com
Catatan
Setiap utilitas atau aplikasi yang membuat permintaan Standar Kriptografi Kunci Publik (PKCS) #10 yang valid dapat digunakan untuk membuat permintaan sertifikat TLS/SSL.
Verifikasi bahwa sertifikat dipasang di penyimpanan Pribadi komputer:
Mulai Microsoft Management Console (MMC).
Tambahkan snap-in Sertifikat yang mengelola sertifikat di komputer lokal.
Luaskan Sertifikat (Komputer Lokal)>Pribadi>Sertifikat. Sertifikat baru harus ada di penyimpanan Pribadi. Sertifikat ini dikeluarkan untuk nama host yang sepenuhnya memenuhi syarat.
Di panel sebelah kanan, klik kanan sertifikat yang Anda buat. Arahkan ke Semua Tugas, lalu pilih Ekspor.
Pada halaman Ekspor Kunci Pribadi, pilih Ya, ekspor kunci privat. Komputer tempat kunci akan diimpor memerlukan kunci privat untuk membaca pesan terenkripsi.
Pada halaman Ekspor Format File, biarkan pengaturan default, lalu pilih Berikutnya.
Pada halaman Kata Sandi, ketikkan kata sandi untuk kunci pribadi. Untuk Enkripsi, pilih TripleDES-SHA1. Kemudian pilih Berikutnya.
Pada halaman File untuk Diekspor, ketik jalur dan nama untuk file sertifikat yang diekspor, lalu pilih Berikutnya. Nama file harus memiliki ekstensi .pfx. File ini dikonfigurasi di portal Microsoft Azure untuk membuat koneksi yang aman.
Aktifkan LDAPS untuk domain terkelola Microsoft Entra Domain Services.
- Dari portal Microsoft Azure, pilih domain
HDIFabrikam.com
. - Pada Kelola, pilih Secure LDAP.
- Pada halaman Secure LDAP, di bawah Secure LDAP, pilih Aktifkan.
- Telusuri file sertifikat .pfx yang Anda ekspor di komputer Anda.
- Masukkan kata sandi sertifikat.
- Dari portal Microsoft Azure, pilih domain
Sekarang setelah Anda mengaktifkan LDAPS, pastikan itu dapat dijangkau dengan mengaktifkan port 636.
Di grup sumber daya HDIFabrikam-CentralUS, pilih grup keamanan jaringan AADDS-HDIFabrikam.com-NSG.
Pada Pengaturan, pilih Aturan keamanan masuk>Tambahkan.
Pada halaman Tambahkan aturan keamanan masuk, masukkan properti berikut ini, dan pilih Tambahkan:
Properti Nilai Sumber Mana pun Source port ranges * Tujuan Mana pun Rentang port tujuan 636 Protokol Mana pun Tindakan Izinkan Prioritas <Nomor yang diinginkan> Nama Port_LDAP_636
HDIFabrikamManagedIdentity adalah identitas terkelola yang ditetapkan pengguna. Peran Kontributor Layanan Domain HDInsight diaktifkan untuk identitas terkelola yang akan memungkinkan identitas ini membaca, membuat, memodifikasi, dan menghapus operasi layanan domain.
Membuat kluster HDInsight berkemampuan ESP
Langkah ini memerlukan prasyarat berikut:
Buat grup sumber daya baru HDIFabrikam-WestUS di lokasi US Barat.
Buat jaringan virtual yang akan meng-host kluster HDInsight berkemampuan ESP.
$virtualNetwork = New-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS' -Location 'West US' -Name 'HDIFabrikam-HDIVNet' -AddressPrefix 10.1.0.0/16 $subnetConfig = Add-AzVirtualNetworkSubnetConfig -Name 'SparkSubnet' -AddressPrefix 10.1.0.0/24 -VirtualNetwork $virtualNetwork $virtualNetwork | Set-AzVirtualNetwork
Buat hubungan serekan antara jaringan virtual yang menghosting Microsoft Entra Domain Services (
HDIFabrikam-AADDSVNET
) dan jaringan virtual yang akan menghosting kluster HDInsight berkemampuan ESP (HDIFabrikam-HDIVNet
). Gunakan kode PowerShell berikut untuk peering dua jaringan virtual.Add-AzVirtualNetworkPeering -Name 'HDIVNet-AADDSVNet' -RemoteVirtualNetworkId (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS').Id -VirtualNetwork (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS') Add-AzVirtualNetworkPeering -Name 'AADDSVNet-HDIVNet' -RemoteVirtualNetworkId (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS').Id -VirtualNetwork (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS')
Buat akun Azure Data Lake Storage Gen2 baru yang disebut Hdigen2store. Konfigurasikan akun dengan identitas yang dikelola pengguna HDIFabrikamManagedIdentity. Untuk informasi selengkapnya, lihat Menggunakan Azure Data Lake Storage Gen2 dengan kluster Azure HDInsight.
Siapkan DNS kustom di jaringan virtual HDIFabrikam-AADDSVNET.
Buka portal Azure >Grup sumber daya>OnPremADVRG>HDIFabrikam-AADDSVNET>server DNS.
Pilih Kustom dan masukkan 10.0.0.4 dan 10.0.0.5.
Pilih Simpan.
Buat kluster HDInsight Spark baru yang mendukung ESP.
Pilih Kustom (ukuran, pengaturan, aplikasi).
Masukkan detail untuk Dasar-Dasar (bagian 1). Pastikan bahwa Jenis kluster adalah Spark 2.3 (HDI 3.6). Pastikan bahwa Grup sumber daya adalah HDIFabrikam-CentralUS.
Untuk Keamanan + jaringan (bagian 2), isi detail berikut:
Di bawah Paket Keamanan Perusahaan, pilih Diaktifkan.
Pilih Pengguna admin kluster dan pilih akun HDIAdmin yang Anda buat sebagai pengguna admin lokal. Klik Pilih.
Pilih Grup akses kluster>HDIUserGroup. Setiap pengguna yang Anda tambahkan ke grup ini di masa depan akan dapat mengakses kluster HDInsight.
Selesaikan langkah-langkah lain dari konfigurasi kluster dan verifikasi detailnya di Ringkasan kluster. Pilih Buat.
Masuk ke antarmuka pengguna Ambari untuk kluster yang baru dibuat di
https://CLUSTERNAME.azurehdinsight.net
. Gunakan nama pengguna admin Andahdiadmin@hdifabrikam.com
dan kata sandinya.Dari dasbor kluster, pilih Peran.
Pada halaman Peran, di bawah Tetapkan peran untuk ini, di samping peran Administrator Kluster, masukkan grup hdiusergroup.
Buka klien Secure Shell (SSH) Anda dan masuk ke kluster. Gunakan hdiuser yang Anda buat di instans Active Directory lokal.
Jika dapat masuk dengan akun ini, Anda telah mengonfigurasi kluster ESP dengan benar untuk disinkronkan dengan instans Active Directory lokal Anda.