Mengaktifkan Azure Private Link di kluster Microsoft Azure HDInsight

Dalam artikel ini, Anda akan mempelajari penggunaan Azure Private Link untuk menyambungkan ke kluster Microsoft Azure HDInsight secara privat di seluruh jaringan melalui jaringan backbone Microsoft. Artikel ini adalah ekstensi dari artikel Membatasi konektivitas kluster di Microsoft Azure HDInsight, yang berfokus pada pembatasan konektivitas publik. Jika Anda ingin konektivitas publik ke atau di dalam kluster Microsoft Azure HDInsight dan sumber daya yang bergantung dengannya, pertimbangkan untuk membatasi konektivitas kluster Anda dengan mengikuti panduan dalam Mengontrol lalu lintas jaringan di Microsoft Azure HDInsight.

Private Link dapat digunakan dalam skenario lintas jaringan di mana peering jaringan virtual tidak tersedia atau diaktifkan.

Catatan

Membatasi konektivitas publik merupakan prasyarat untuk mengaktifkan Azure Private Link dan tidak boleh dianggap sebagai kemampuan yang sama.

Penggunaan Azure Private Link untuk tersambung ke kluster Microsoft Azure HDInsight adalah fitur opsional dan dinonaktifkan secara default. Fitur ini hanya tersedia bila resourceProviderConnection properti jaringan diatur ke keluar, seperti yang dijelaskan dalam artikel Membatasi konektivitas kluster di Microsoft Azure HDInsight.

Saat privateLink diatur ke diaktifkan, penyeimbang beban standar (SLB) internal akan dibuat, dan layanan Azure Private Link diprovisikan untuk setiap SLB. Layanan Azure Private Link memungkinkan Anda mengakses kluster Microsoft Azure HDInsight dari titik akhir privat.

Untuk berhasil membuat kluster Private Link memerlukan banyak langkah, jadi kami telah menguraikannya di sini. Ikuti setiap langkah di bawah ini untuk memastikan semuanya disiapkan dengan benar.

Langkah 1: Buat prasyarat

Untuk memulai, sebarkan sumber daya berikut jika Anda belum membuatnya. Anda harus memiliki setidaknya satu grup sumber daya, dua jaringan virtual, dan grup keamanan jaringan untuk dilampirkan ke subnet tempat kluster HDInsight akan disebarkan seperti yang ditunjukkan di bawah ini.

Jenis Nama Tujuan
Grup sumber daya hdi-privlink-rg Digunakan untuk menjaga sumber daya umum bersama
Jaringan virtual hdi-privlink-cluster-vnet VNET di mana kluster akan disebarkan
Jaringan virtual hdi-privlink-client-vnet VNET di mana klien akan terhubung ke kluster dari
Grup keamanan jaringan hdi-privlink-cluster-vnet-nsg NSG default diperlukan untuk penyebaran kluster

Catatan

Grup keamanan jaringan (NSG) dapat dengan mudah disebarkan, kita tidak perlu mengubah aturan NSG apa pun untuk penyebaran kluster.

Langkah 2: Konfigurasikan subnet HDInsight

  • Nonaktifkan privateLinkServiceNetworkPolicies pada subnet. Untuk memilih alamat IP sumber untuk layanan Private Link Anda, pengaturan penonaktifan eksplisit privateLinkServiceNetworkPolicies diperlukan pada subnet. Ikuti petunjuk di sini untuk menonaktifkan kebijakan jaringan untuk layanan Private Link.
  • Aktifkan Titik Akhir Layanan pada subnet. Untuk penyebaran kluster HdInsight Private Link yang berhasil, kami sarankan Anda menambahkan Microsoft.SQLtitik akhir layanan , Microsoft.Storage, dan Microsoft.KeyVault ke subnet Anda sebelum penyebaran kluster. Titik akhir layanan merutekan lalu lintas langsung dari jaringan virtual Anda ke layanan di jaringan backbone Microsoft Azure. Menjaga lalu lintas di jaringan backbone Azure memungkinkan Anda untuk terus mengaudit dan memantau lalu lintas Internet yang keluar dari jaringan virtual Anda, melalui penerowongan paksa, tanpa memengaruhi lalu lintas layanan.

Langkah 3: Sebarkan firewall atau gateway NAT

Penyeimbang beban standar tidak secara otomatis menyediakan NAT keluar publik seperti yang dilakukan oleh penyeimbang beban dasar. Karena kluster Private Link menggunakan penyeimbang beban standar, Anda harus menyediakan solusi NAT Anda sendiri, seperti NAT Gateway atau NAT yang disediakan oleh firewall Anda, untuk tersambung ke dependensi HDInsight umum keluar.

Menyebarkan gateway NAT (Opsi 1)

Anda dapat memilih untuk menggunakan gateway NAT jika Anda tidak ingin mengonfigurasi firewall atau appliance virtual jaringan (NVA) untuk NAT. Untuk memulai, tambahkan gateway NAT (dengan alamat IP publik baru di jaringan virtual Anda) ke subnet yang dikonfigurasi dari jaringan virtual Anda. Gateway ini bertanggung jawab untuk menerjemahkan alamat IP internal privat Anda ke alamat publik ketika lalu lintas harus keluar dari jaringan virtual Anda.

Penyiapan dasar untuk memulai:

  1. Cari 'NAT Gateways' di portal Microsoft Azure dan klik Create.

  2. Gunakan konfigurasi berikut di NAT Gateway. (Kami tidak menyertakan semua konfigurasi di sini, sehingga Anda dapat menggunakan nilai default.)

    Konfigurasi Nilai
    Nama gateway NAT hdi-privlink-nat-gateway
    Prefiks IP Publik Membuat prefiks IP publik baru
    Nama prefiks IP publik hdi-privlink-nat-gateway-prefix
    Ukuran prefiks IP publik /28 (16 alamat)
    Jaringan virtual hdi-privlink-cluster-vnet
    Nama subnet Default
  3. Setelah NAT Gateway selesai disebarkan, Anda siap untuk lanjut ke langkah berikutnya.

Mengonfigurasi firewall (Opsi 2)

Penyiapan dasar untuk memulai:

  1. Tambahkan subnet baru bernama AzureFirewallSubnet ke jaringan virtual Anda.
  2. Gunakan subnet baru untuk mengonfigurasi firewall baru dan tambahkan kebijakan firewall Anda.
  3. Gunakan alamat IP privat firewall baru sebagai nilai nextHopIpAddress di tabel rute Anda.
  4. Tambahkan tabel rute ke subnet yang dikonfigurasi dari jaringan virtual Anda.

Kluster HDInsight Anda masih memerlukan akses ke dependensi keluarnya. Jika dependensi keluar ini tidak diizinkan, pembuatan kluster mungkin gagal. Untuk informasi selengkapnya tentang penyiapan firewall, lihat Mengontrol lalu lintas jaringan di Microsoft Azure HDInsight.

Langkah 4: Sebarkan kluster link privat

Pada titik ini, semua prasyarat harus diurus dan Anda siap untuk menyebarkan kluster Private Link. Diagram berikut menunjukkan contoh konfigurasi jaringan yang diperlukan sebelum Anda membuat kluster. Dalam contoh ini, semua lalu lintas keluar dipaksa ke Azure Firewall melalui rute yang ditentukan oleh pengguna. Dependensi keluar yang diperlukan harus diizinkan di firewall sebelum pembuatan kluster. Untuk kluster Paket Keamanan Perusahaan, peering jaringan virtual dapat menyediakan konektivitas jaringan ke Microsoft Entra Domain Services.

Diagram lingkungan Azure Private Link sebelum pembuatan kluster.

Membuat kluster

Cuplikan kode JSON berikut menyertakan dua properti jaringan yang harus Anda konfigurasikan di templat Azure Resource Manager Anda untuk membuat kluster Microsoft Azure HDInsight privat:

networkProperties: {
    "resourceProviderConnection": "Outbound",
    "privateLink": "Enabled"
}

Untuk templat lengkap dengan banyak fitur keamanan perusahaan HDInsight, termasuk Private Link, lihat templat keamanan perusahaan HDInsight.

Untuk membuat kluster menggunakan PowerShell, lihat contoh.

Untuk membuat kluster menggunakan Azure CLI, lihat contoh.

Langkah 5: Buat titik akhir privat

Azure secara otomatis membuat layanan Private Link untuk penyeimbang beban Ambari dan SSH selama penyebaran kluster Private Link. Setelah kluster disebarkan, Anda harus membuat dua Titik akhir privat di VNET klien, satu untuk Ambari dan satu lagi untuk akses SSH. Kemudian, tautkan ke layanan Private Link yang dibuat sebagai bagian dari penyebaran kluster.

Untuk membuat titik akhir privat:

  1. Buka portal Azure dan cari 'Private Link'.

  2. Dalam hasilnya, klik ikon Private Link.

  3. Klik 'Buat titik akhir privat' dan gunakan konfigurasi berikut untuk menyiapkan titik akhir privat Ambari:

    Konfigurasi Nilai
    Nama hdi-privlink-cluster
    Jenis Sumber Daya Microsoft.Network/privateLinkServices
    Sumber daya gateway-* (Nilai ini harus cocok dengan ID penyebaran HDI dari kluster Anda, misalnya gateway-4eafe3a2a67e4cd88762c22a55fe4654)
    Jaringan virtual hdi-privlink-client-vnet
    Subnet Default

    Diagram tab dasar Private Link.Diagram tab sumber daya Private Link.Diagram tab jaringan virtual Private Link.Diagram tab titik akhir dns Private Link.Diagram tab tag Private Link.Diagram tab ulasan Private Link.

  4. Ulangi proses untuk membuat titik akhir privat lainnya untuk akses SSH menggunakan konfigurasi berikut:

    Konfigurasi Nilai
    Nama hdi-privlink-cluster-ssh
    Jenis Sumber Daya Microsoft.Network/privateLinkServices
    Sumber daya headnode-* (Nilai ini harus sesuai dengan ID penyebaran HDI dari kluster Anda, misalnya headnode-4eafe3a2a67e4cd88762c22a55fe4654)
    Jaringan virtual hdi-privlink-client-vnet
    Subnet Default

Penting

Jika Anda menggunakan kluster KafkaRestProxy HDInsight, ikuti langkah tambahan ini untuk Mengaktifkan Titik Akhir Privat.

Setelah titik akhir privat dibuat, Anda telah selesai dengan fase penyiapan ini. Jika Anda tidak mencatat alamat IP privat yang ditetapkan ke titik akhir, ikuti langkah-langkah di bawah ini:

  1. Buka VNET klien di portal Azure.
  2. Klik tab 'Titik akhir privat'.
  3. Anda akan melihat antarmuka Ambari dan ssh Network tercantum.
  4. Klik masing-masing dan navigasi ke bilah 'Konfigurasi DNS' untuk melihat alamat IP privat.
  5. Catat alamat IP ini karena mereka akan diperlukan untuk terhubung ke kluster dan mengonfigurasi DNS dengan benar.

Langkah 6: Konfigurasi DNS untuk tersambung melalui titik akhir privat

Untuk mengakses kluster privat, Anda dapat mengonfigurasi resolusi DNS melalui zona DNS pribadi. Entri Azure Private Link yang dibuat di zona azurehdinsight.net DNS publik terkelola Azure adalah sebagai berikut:

<clustername>        CNAME    <clustername>.privatelink
<clustername>-int    CNAME    <clustername>-int.privatelink
<clustername>-ssh    CNAME    <clustername>-ssh.privatelink

Gambar berikut menunjukkan contoh entri DNS privat yang dikonfigurasi untuk mengaktifkan akses ke kluster dari jaringan virtual yang tidak di-peering atau tidak memiliki garis pandang langsung ke kluster. Anda dapat menggunakan zona privat Azure DNS untuk mengambil alih *.privatelink.azurehdinsight.net nama domain yang sepenuhnya memenuhi syarat (FQDN) dan menyelesaikan alamat IP titik akhir privat di jaringan klien. Konfigurasi hanya untuk <clustername>.azurehdinsight.net dalam contoh, tetapi juga meluas ke titik akhir kluster lainnya.

Diagram arsitektur Azure Private Link.

Untuk mengonfigurasi resolusi DNS melalui zona DNS Privat:

  1. Membuat zona DNS Privat Azure. (Kami tidak menyertakan semua konfigurasi di sini, semua konfigurasi lainnya tersisa pada nilai default)

    Konfigurasi Nilai
    Nama privatelink.azurehdinsight.net

    Diagram zona dns Privat.

  2. Tambahkan Kumpulan Catatan ke zona DNS Privat untuk Ambari.

    Konfigurasi Nilai
    Nama YourPrivateLinkClusterName
    Jenis A - Catatan Alias untuk Alamat IPv4
    TTL 1
    Unit TTL Jam
    Alamat IP IP Privat dari titik akhir privat untuk akses Ambari

    Diagram zona dns privat menambahkan catatan.

  3. Tambahkan Kumpulan Catatan ke zona DNS Privat untuk SSH.

    Konfigurasi Nilai
    Nama YourPrivateLinkClusterName-ssh
    Jenis A - Catatan Alias untuk Alamat IPv4
    TTL 1
    Unit TTL Jam
    Alamat IP IP Privat dari titik akhir privat untuk akses SSH

    Diagram zona dns tautan privat menambahkan catatan ssh.

Penting

Jika Anda menggunakan kluster KafkaRestProxy HDInsight, ikuti langkah tambahan ini untuk Mengonfigurasi DNS untuk terhubung melalui titik akhir privat.

  1. Kaitkan zona DNS privat dengan VNET klien dengan menambahkan Virtual Network Link.

    1. Buka zona DNS pribadi di portal Azure.
    2. Klik tab 'Virtual Network Link'.
    3. Klik tombol 'Add'.
    4. Isi detailnya: Nama tautan, Langganan, dan Virtual Network (VNET klien Anda)
    5. Klik Simpan.

    Diagram tautan jaringan virtual.

Langkah 7: Periksa konektivitas kluster

Langkah terakhir adalah menguji konektivitas ke kluster. Karena kluster ini terisolasi atau pribadi, kita tidak dapat mengakses kluster tersebut menggunakan IP publik atau FQDN. Sebaliknya kita memiliki beberapa pilihan:

  • Menyiapkan akses VPN ke VNET klien dari jaringan lokal Anda
  • Menyebarkan VM ke VNET klien dan mengakses kluster dari VM ini

Untuk contoh ini, kita akan menyebarkan VM di VNET klien menggunakan konfigurasi berikut untuk menguji konektivitas.

Konfigurasi Nilai
Nama komputer virtual hdi-privlink-client-vm
Gambar Windows 10 Pro, Versi 2004 - Gen1
Port masuk publik Izinkan port yang dipilih
Pilih port masuk RDP (3389)
Saya mengonfirmasi bahwa saya memiliki lisensi Windows 10 yang memenuhi syarat... Dicentang
Jaringan virtual hdi-privlink-client-vnet
Subnet Default

Setelah VM klien disebarkan, Anda dapat menguji akses Ambari dan SSH.

Untuk menguji akses Ambari:

  1. Buka peramban web di VM.
  2. Navigasikan ke FQDN reguler kluster Anda: https://<clustername>.azurehdinsight.net
  3. Jika UI Ambari dimuat, konfigurasinya sudah benar untuk akses Ambari.

Untuk menguji akses ssh:

  1. Buka command prompt untuk mendapatkan jendela terminal.
  2. Di jendela terminal, coba sambungkan ke kluster Anda dengan SSH: ssh sshuser@<clustername>.azurehdinsight.net (Ganti "sshuser" dengan pengguna SSH yang Anda buat untuk kluster Anda)
  3. Jika Anda dapat tersambung, konfigurasinya sudah benar untuk akses SSH.

Mengelola titik akhir privat untuk HDInsight

Anda dapat menggunakan titik akhir privat untuk kluster Microsoft Azure HDInsight agar klien di jaringan virtual dapat mengakses kluster Anda dengan aman melalui Azure Private Link. Lalu lintas jaringan antara klien di jaringan virtual dan kluster Microsoft Azure HDInsight yang melintasi jaringan backbone Microsoft, menghilangkan paparan dari internet publik.

Diagram pengalaman pengelolaan titik akhir privat.

Konsumen layanan Azure Private Link (misalnya, Azure Data Factory) dapat memilih dari dua metode persetujuan koneksi:

  • Otomatis: Jika konsumen layanan memiliki izin kontrol akses berbasis peran Azure (RBAC) pada sumber daya Microsoft Azure HDInsight, konsumen dapat memilih metode persetujuan otomatis. Dalam kasus ini, ketika permintaan mencapai sumber daya HDInsight, tidak ada tindakan yang diperlukan dari sumber daya HDInsight dan koneksi secara otomatis disetujui.
  • Manual: Jika konsumen layanan tidak memiliki izin Azure RBAC pada sumber daya Microsoft Azure HDInsight, konsumen dapat memilih metode persetujuan manual. Dalam hal ini, permintaan sambungan muncul pada sumber daya Microsoft Azure HDInsight sebagai Tertunda. Sumber daya Microsoft Azure HDInsight perlu menyetujui permintaan secara manual sebelum koneksi dapat dibuat.

Untuk mengelola titik akhir privat, dalam tampilan kluster Anda di portal Microsoft Azure, buka bagian Jaringan di bagian Keamanan + Jaringan. Di sini, Anda dapat melihat semua koneksi yang ada, status koneksi, dan detail titik akhir privat.

Anda juga dapat menyetujui, menolak, atau menghapus koneksi yang ada. Saat Anda membuat koneksi privat, Anda dapat menentukan sub-sumber daya Microsoft Azure HDInsight mana (misalnya, gateway atau node induk) yang ingin Anda sambungkan juga.

Tabel berikut menunjukkan berbagai tindakan sumber daya Microsoft Azure HDInsight dan status koneksi yang dihasilkan untuk titik akhir privat. Sumber daya Microsoft Azure HDInsight juga dapat mengubah status koneksi dari koneksi titik akhir privat di lain waktu tanpa campur tangan konsumen. Tindakan ini akan memperbarui status titik akhir di sisi konsumen.

Tindakan penyedia layanan Status layanan titik akhir pribadi konsumen Deskripsi
Tidak Tertunda Koneksi dibuat secara manual dan menunggu persetujuan pemilik sumber daya Private Link.
Setujui Disetujui Koneksi disetujui secara otomatis atau manual dan siap digunakan.
Tolak Ditolak Sambungan ditolak oleh pemilik sumber daya Azure Private Link.
Hapus Terputus Sambungan telah dihapus oleh pemilik sumber daya Azure Private Link. Titik akhir private link menjadi informatif dan harus dihapus untuk dibersihkan.

Langkah berikutnya