Mengaktifkan Azure Private Link di kluster Microsoft Azure HDInsight

Dalam artikel ini, Anda akan mempelajari penggunaan Azure Private Link untuk menyambungkan ke kluster Microsoft Azure HDInsight secara privat di seluruh jaringan melalui jaringan backbone Microsoft. Artikel ini adalah ekstensi dari artikel Membatasi konektivitas kluster di Microsoft Azure HDInsight, yang berfokus pada pembatasan konektivitas publik. Jika Anda ingin konektivitas publik ke atau di dalam kluster Microsoft Azure HDInsight dan sumber daya yang bergantung dengannya, pertimbangkan untuk membatasi konektivitas kluster Anda dengan mengikuti panduan dalam Mengontrol lalu lintas jaringan di Microsoft Azure HDInsight.

Private Link dapat digunakan dalam skenario lintas jaringan di mana peering jaringan virtual tidak tersedia atau diaktifkan.

Catatan

Membatasi konektivitas publik merupakan prasyarat untuk mengaktifkan Azure Private Link dan tidak boleh dianggap sebagai kemampuan yang sama.

Penggunaan Azure Private Link untuk tersambung ke kluster Microsoft Azure HDInsight adalah fitur opsional dan dinonaktifkan secara default. Fitur ini hanya tersedia bila resourceProviderConnection properti jaringan diatur ke keluar, seperti yang dijelaskan dalam artikel Membatasi konektivitas kluster di Microsoft Azure HDInsight.

Saat privateLink diatur ke diaktifkan, penyeimbang beban standar (SLB) internal akan dibuat, dan layanan Azure Private Link diprovisikan untuk setiap SLB. Layanan Azure Private Link memungkinkan Anda mengakses kluster Microsoft Azure HDInsight dari titik akhir privat.

Langkah-langkah penyebaran link privat

Untuk berhasil membuat kluster Private Link memerlukan banyak langkah, jadi kami telah menguraikannya di sini. Ikuti setiap langkah di bawah ini untuk memastikan semuanya disiapkan dengan benar.

Langkah 1: Buat prasyarat

Untuk memulai, sebarkan sumber daya berikut jika Anda belum membuatnya. Anda harus memiliki setidaknya satu grup sumber daya, dua jaringan virtual, dan grup keamanan jaringan untuk dilampirkan ke subnet tempat kluster HDInsight akan disebarkan seperti yang ditunjukkan di bawah ini.

Jenis	Nama	Tujuan
Grup sumber daya	hdi-privlink-rg	Digunakan untuk menjaga sumber daya umum bersama
Jaringan virtual	hdi-privlink-cluster-vnet	VNET di mana kluster akan disebarkan
Jaringan virtual	hdi-privlink-client-vnet	VNET di mana klien akan terhubung ke kluster dari
Grup keamanan jaringan	hdi-privlink-cluster-vnet-nsg	NSG default diperlukan untuk penyebaran kluster

Catatan

Grup keamanan jaringan (NSG) dapat dengan mudah disebarkan, kita tidak perlu mengubah aturan NSG apa pun untuk penyebaran kluster.

Langkah 2: Konfigurasikan subnet HDInsight

• Nonaktifkan privateLinkServiceNetworkPolicies pada subnet. Untuk memilih alamat IP sumber untuk layanan Private Link Anda, pengaturan penonaktifan eksplisit privateLinkServiceNetworkPolicies diperlukan pada subnet. Ikuti petunjuk di sini untuk menonaktifkan kebijakan jaringan untuk layanan Private Link.
• Aktifkan Titik Akhir Layanan pada subnet. Untuk penyebaran kluster HdInsight Private Link yang berhasil, kami sarankan Anda menambahkan Microsoft.SQLtitik akhir layanan , Microsoft.Storage, dan Microsoft.KeyVault ke subnet Anda sebelum penyebaran kluster. Titik akhir layanan merutekan lalu lintas langsung dari jaringan virtual Anda ke layanan di jaringan backbone Microsoft Azure. Menjaga lalu lintas di jaringan backbone Azure memungkinkan Anda untuk terus mengaudit dan memantau lalu lintas Internet yang keluar dari jaringan virtual Anda, melalui penerowongan paksa, tanpa memengaruhi lalu lintas layanan.

Langkah 3: Sebarkan firewall atau gateway NAT

Penyeimbang beban standar tidak secara otomatis menyediakan NAT keluar publik seperti yang dilakukan oleh penyeimbang beban dasar. Karena kluster Private Link menggunakan penyeimbang beban standar, Anda harus menyediakan solusi NAT Anda sendiri, seperti NAT Gateway atau NAT yang disediakan oleh firewall Anda, untuk tersambung ke dependensi HDInsight umum keluar.

Menyebarkan gateway NAT (Opsi 1)

Anda dapat memilih untuk menggunakan gateway NAT jika Anda tidak ingin mengonfigurasi firewall atau appliance virtual jaringan (NVA) untuk NAT. Untuk memulai, tambahkan gateway NAT (dengan alamat IP publik baru di jaringan virtual Anda) ke subnet yang dikonfigurasi dari jaringan virtual Anda. Gateway ini bertanggung jawab untuk menerjemahkan alamat IP internal privat Anda ke alamat publik ketika lalu lintas harus keluar dari jaringan virtual Anda.

Penyiapan dasar untuk memulai:

1. Cari 'NAT Gateways' di portal Microsoft Azure dan klik Create.

2. Gunakan konfigurasi berikut di NAT Gateway. (Kami tidak menyertakan semua konfigurasi di sini, sehingga Anda dapat menggunakan nilai default.)

   Konfigurasi	Nilai
   Nama gateway NAT	hdi-privlink-nat-gateway
   Prefiks IP Publik	Membuat prefiks IP publik baru
   Nama prefiks IP publik	hdi-privlink-nat-gateway-prefix
   Ukuran prefiks IP publik	/28 (16 alamat)
   Jaringan virtual	hdi-privlink-cluster-vnet
   Nama subnet	Default

3. Setelah NAT Gateway selesai disebarkan, Anda siap untuk lanjut ke langkah berikutnya.

Mengonfigurasi firewall (Opsi 2)

Penyiapan dasar untuk memulai:

1. Tambahkan subnet baru bernama AzureFirewallSubnet ke jaringan virtual Anda.
2. Gunakan subnet baru untuk mengonfigurasi firewall baru dan tambahkan kebijakan firewall Anda.
3. Gunakan alamat IP privat firewall baru sebagai nilai nextHopIpAddress di tabel rute Anda.
4. Tambahkan tabel rute ke subnet yang dikonfigurasi dari jaringan virtual Anda.

Kluster HDInsight Anda masih memerlukan akses ke dependensi keluarnya. Jika dependensi keluar ini tidak diizinkan, pembuatan kluster mungkin gagal. Untuk informasi selengkapnya tentang penyiapan firewall, lihat Mengontrol lalu lintas jaringan di Microsoft Azure HDInsight.

Langkah 4: Sebarkan kluster link privat

Pada titik ini, semua prasyarat harus diurus dan Anda siap untuk menyebarkan kluster Private Link. Diagram berikut menunjukkan contoh konfigurasi jaringan yang diperlukan sebelum Anda membuat kluster. Dalam contoh ini, semua lalu lintas keluar dipaksa ke Azure Firewall melalui rute yang ditentukan oleh pengguna. Dependensi keluar yang diperlukan harus diizinkan di firewall sebelum pembuatan kluster. Untuk kluster Paket Keamanan Perusahaan, peering jaringan virtual dapat menyediakan konektivitas jaringan ke Microsoft Entra Domain Services.

Membuat kluster

Cuplikan kode JSON berikut menyertakan dua properti jaringan yang harus Anda konfigurasikan di templat Azure Resource Manager Anda untuk membuat kluster Microsoft Azure HDInsight privat:

networkProperties: {
    "resourceProviderConnection": "Outbound",
    "privateLink": "Enabled"
}

Untuk templat lengkap dengan banyak fitur keamanan perusahaan HDInsight, termasuk Private Link, lihat templat keamanan perusahaan HDInsight.

Untuk membuat kluster menggunakan PowerShell, lihat contoh.

Untuk membuat kluster menggunakan Azure CLI, lihat contoh.

Langkah 5: Buat titik akhir privat

Azure secara otomatis membuat layanan Private Link untuk penyeimbang beban Ambari dan SSH selama penyebaran kluster Private Link. Setelah kluster disebarkan, Anda harus membuat dua Titik akhir privat di VNET klien, satu untuk Ambari dan satu lagi untuk akses SSH. Kemudian, tautkan ke layanan Private Link yang dibuat sebagai bagian dari penyebaran kluster.

Untuk membuat titik akhir privat:

1. Buka portal Azure dan cari 'Private Link'.

2. Dalam hasilnya, klik ikon Private Link.

3. Klik 'Buat titik akhir privat' dan gunakan konfigurasi berikut untuk menyiapkan titik akhir privat Ambari:

   Konfigurasi	Nilai
   Nama	hdi-privlink-cluster
   Jenis Sumber Daya	Microsoft.Network/privateLinkServices
   Sumber daya	gateway-* (Nilai ini harus cocok dengan ID penyebaran HDI dari kluster Anda, misalnya gateway-4eafe3a2a67e4cd88762c22a55fe4654)
   Jaringan virtual	hdi-privlink-client-vnet
   Subnet	Default

   

4. Ulangi proses untuk membuat titik akhir privat lainnya untuk akses SSH menggunakan konfigurasi berikut:

   Konfigurasi	Nilai
   Nama	hdi-privlink-cluster-ssh
   Jenis Sumber Daya	Microsoft.Network/privateLinkServices
   Sumber daya	headnode-* (Nilai ini harus sesuai dengan ID penyebaran HDI dari kluster Anda, misalnya headnode-4eafe3a2a67e4cd88762c22a55fe4654)
   Jaringan virtual	hdi-privlink-client-vnet
   Subnet	Default

Penting

Jika Anda menggunakan kluster KafkaRestProxy HDInsight, ikuti langkah tambahan ini untuk Mengaktifkan Titik Akhir Privat.

Setelah titik akhir privat dibuat, Anda telah selesai dengan fase penyiapan ini. Jika Anda tidak mencatat alamat IP privat yang ditetapkan ke titik akhir, ikuti langkah-langkah di bawah ini:

1. Buka VNET klien di portal Azure.
2. Klik tab 'Titik akhir privat'.
3. Anda akan melihat antarmuka Ambari dan ssh Network tercantum.
4. Klik masing-masing dan navigasi ke bilah 'Konfigurasi DNS' untuk melihat alamat IP privat.
5. Catat alamat IP ini karena mereka akan diperlukan untuk terhubung ke kluster dan mengonfigurasi DNS dengan benar.

Langkah 6: Konfigurasi DNS untuk tersambung melalui titik akhir privat

Untuk mengakses kluster privat, Anda dapat mengonfigurasi resolusi DNS melalui zona DNS pribadi. Entri Azure Private Link yang dibuat di zona azurehdinsight.net DNS publik terkelola Azure adalah sebagai berikut:

<clustername>        CNAME    <clustername>.privatelink
<clustername>-int    CNAME    <clustername>-int.privatelink
<clustername>-ssh    CNAME    <clustername>-ssh.privatelink

Gambar berikut menunjukkan contoh entri DNS privat yang dikonfigurasi untuk mengaktifkan akses ke kluster dari jaringan virtual yang tidak di-peering atau tidak memiliki garis pandang langsung ke kluster. Anda dapat menggunakan zona privat Azure DNS untuk mengambil alih *.privatelink.azurehdinsight.net nama domain yang sepenuhnya memenuhi syarat (FQDN) dan menyelesaikan alamat IP titik akhir privat di jaringan klien. Konfigurasi hanya untuk <clustername>.azurehdinsight.net dalam contoh, tetapi juga meluas ke titik akhir kluster lainnya.

Untuk mengonfigurasi resolusi DNS melalui zona DNS Privat:

1. Membuat zona DNS Privat Azure. (Kami tidak menyertakan semua konfigurasi di sini, semua konfigurasi lainnya tersisa pada nilai default)

   Konfigurasi	Nilai
   Nama	privatelink.azurehdinsight.net

   

2. Tambahkan Kumpulan Catatan ke zona DNS Privat untuk Ambari.

   Konfigurasi	Nilai
   Nama	YourPrivateLinkClusterName
   Jenis	A - Catatan Alias untuk Alamat IPv4
   TTL	1
   Unit TTL	Jam
   Alamat IP	IP Privat dari titik akhir privat untuk akses Ambari

   

3. Tambahkan Kumpulan Catatan ke zona DNS Privat untuk SSH.

   Konfigurasi	Nilai
   Nama	YourPrivateLinkClusterName-ssh
   Jenis	A - Catatan Alias untuk Alamat IPv4
   TTL	1
   Unit TTL	Jam
   Alamat IP	IP Privat dari titik akhir privat untuk akses SSH

   

Penting

Jika Anda menggunakan kluster KafkaRestProxy HDInsight, ikuti langkah tambahan ini untuk Mengonfigurasi DNS untuk terhubung melalui titik akhir privat.

4. Kaitkan zona DNS privat dengan VNET klien dengan menambahkan Virtual Network Link.

   1. Buka zona DNS pribadi di portal Azure.
   2. Klik tab 'Virtual Network Link'.
   3. Klik tombol 'Add'.
   4. Isi detailnya: Nama tautan, Langganan, dan Virtual Network (VNET klien Anda)
   5. Klik Simpan.

   

Langkah 7: Periksa konektivitas kluster

Langkah terakhir adalah menguji konektivitas ke kluster. Karena kluster ini terisolasi atau pribadi, kita tidak dapat mengakses kluster tersebut menggunakan IP publik atau FQDN. Sebaliknya kita memiliki beberapa pilihan:

• Menyiapkan akses VPN ke VNET klien dari jaringan lokal Anda
• Menyebarkan VM ke VNET klien dan mengakses kluster dari VM ini

Untuk contoh ini, kita akan menyebarkan VM di VNET klien menggunakan konfigurasi berikut untuk menguji konektivitas.

Konfigurasi	Nilai
Nama komputer virtual	hdi-privlink-client-vm
Gambar	Windows 10 Pro, Versi 2004 - Gen1
Port masuk publik	Izinkan port yang dipilih
Pilih port masuk	RDP (3389)
Saya mengonfirmasi bahwa saya memiliki lisensi Windows 10 yang memenuhi syarat...	Dicentang
Jaringan virtual	hdi-privlink-client-vnet
Subnet	Default

Setelah VM klien disebarkan, Anda dapat menguji akses Ambari dan SSH.

Untuk menguji akses Ambari:

1. Buka peramban web di VM.
2. Navigasikan ke FQDN reguler kluster Anda: https://<clustername>.azurehdinsight.net
3. Jika UI Ambari dimuat, konfigurasinya sudah benar untuk akses Ambari.

Untuk menguji akses ssh:

1. Buka command prompt untuk mendapatkan jendela terminal.
2. Di jendela terminal, coba sambungkan ke kluster Anda dengan SSH: ssh sshuser@<clustername>.azurehdinsight.net (Ganti "sshuser" dengan pengguna SSH yang Anda buat untuk kluster Anda)
3. Jika Anda dapat tersambung, konfigurasinya sudah benar untuk akses SSH.

Mengelola titik akhir privat untuk HDInsight

Anda dapat menggunakan titik akhir privat untuk kluster Microsoft Azure HDInsight agar klien di jaringan virtual dapat mengakses kluster Anda dengan aman melalui Azure Private Link. Lalu lintas jaringan antara klien di jaringan virtual dan kluster Microsoft Azure HDInsight yang melintasi jaringan backbone Microsoft, menghilangkan paparan dari internet publik.

Konsumen layanan Azure Private Link (misalnya, Azure Data Factory) dapat memilih dari dua metode persetujuan koneksi:

• Otomatis: Jika konsumen layanan memiliki izin kontrol akses berbasis peran Azure (RBAC) pada sumber daya Microsoft Azure HDInsight, konsumen dapat memilih metode persetujuan otomatis. Dalam kasus ini, ketika permintaan mencapai sumber daya HDInsight, tidak ada tindakan yang diperlukan dari sumber daya HDInsight dan koneksi secara otomatis disetujui.
• Manual: Jika konsumen layanan tidak memiliki izin Azure RBAC pada sumber daya Microsoft Azure HDInsight, konsumen dapat memilih metode persetujuan manual. Dalam hal ini, permintaan sambungan muncul pada sumber daya Microsoft Azure HDInsight sebagai Tertunda. Sumber daya Microsoft Azure HDInsight perlu menyetujui permintaan secara manual sebelum koneksi dapat dibuat.

Untuk mengelola titik akhir privat, dalam tampilan kluster Anda di portal Microsoft Azure, buka bagian Jaringan di bagian Keamanan + Jaringan. Di sini, Anda dapat melihat semua koneksi yang ada, status koneksi, dan detail titik akhir privat.

Anda juga dapat menyetujui, menolak, atau menghapus koneksi yang ada. Saat Anda membuat koneksi privat, Anda dapat menentukan sub-sumber daya Microsoft Azure HDInsight mana (misalnya, gateway atau node induk) yang ingin Anda sambungkan juga.

Tabel berikut menunjukkan berbagai tindakan sumber daya Microsoft Azure HDInsight dan status koneksi yang dihasilkan untuk titik akhir privat. Sumber daya Microsoft Azure HDInsight juga dapat mengubah status koneksi dari koneksi titik akhir privat di lain waktu tanpa campur tangan konsumen. Tindakan ini akan memperbarui status titik akhir di sisi konsumen.

Tindakan penyedia layanan	Status layanan titik akhir pribadi konsumen	Deskripsi
Tidak	Tertunda	Koneksi dibuat secara manual dan menunggu persetujuan pemilik sumber daya Private Link.
Setujui	Disetujui	Koneksi disetujui secara otomatis atau manual dan siap digunakan.
Tolak	Ditolak	Sambungan ditolak oleh pemilik sumber daya Azure Private Link.
Hapus	Terputus	Sambungan telah dihapus oleh pemilik sumber daya Azure Private Link. Titik akhir private link menjadi informatif dan harus dihapus untuk dibersihkan.

Langkah berikutnya

• Paket Keamanan Perusahaan untuk Azure HDInsight
• Pedoman dan informasi umum keamanan perusahaan di Azure HDInsight