Mengelola kluster HDInsight dengan Enterprise Security Package

Pelajari pengguna dan peran dalam HDInsight Enterprise Security Package (ESP), dan cara mengelola kluster ESP.

Anda dapat menautkan kluster normal dengan menggunakan nama pengguna yang dikelola Apache Ambari, juga menautkan kluster Apache Hadoop keamanan dengan menggunakan nama pengguna domain (seperti: user1@contoso.com).

  1. Buka Visual Studio Code. Pastikan ekstensi Spark & Hive Tools diinstal.

  2. Ikuti langkah dari Menautkan kluster untuk Visual Studio Code.

Anda dapat menautkan kluster normal dengan menggunakan nama pengguna yang dikelola Ambari, juga menautkan kluster hadoop keamanan dengan menggunakan nama pengguna domain (seperti: user1@contoso.com).

  1. Buka IntelliJ IDEA. Pastikan semua prasyarat terpenuhi.

  2. Ikuti langkah dari Menautkan kluster untuk IntelliJ.

Anda dapat menautkan kluster normal dengan menggunakan nama pengguna yang dikelola Ambari, juga menautkan kluster hadoop keamanan dengan menggunakan nama pengguna domain (seperti: user1@contoso.com).

  1. Buka Eclipse. Pastikan semua prasyarat terpenuhi.

  2. Ikuti langkah dari Menautkan kluster untuk Eclipse.

Mengakses kluster dengan Enterprise Security Package

Enterprise Security Package (sebelumnya dikenal sebagai HDInsight Premium) menyediakan akses multi-pengguna ke kluster, tempat autentikasi dilakukan oleh Direktori Aktif dan otorisasi oleh Apache Ranger dan ACL Penyimpanan (ADLS ACL). Otorisasi menyediakan batasan aman di antara beberapa pengguna dan hanya memungkinkan pengguna dengan hak istimewa untuk memiliki akses ke data berdasarkan kebijakan otorisasi.

Keamanan dan isolasi pengguna penting untuk kluster HDInsight dengan Enterprise Security Package. Untuk memenuhi persyaratan ini, akses SSH ke kluster dengan Enterprise Security Package didukung untuk pengguna lokal yang dipilih pada waktu pembuatan kluster serta pengguna yang tersedia di AAD-DS (yaitu Kerberos). Tabel berikut ini menunjukkan metode akses yang direkomendasikan untuk setiap jenis kluster:

Beban kerja Skenario Metode Akses
Apache Hadoop Hive – Pekerjaan/Interactive Query
Apache Spark Pekerjaan/Interactive Query, interaktif PySpark
Apache Spark Skenario Batch - pengiriman Spark, PySpark
Interactive Query (LLAP) Interaktif
Mana pun Menginstal Aplikasi Kustom

Catatan

Jupyter tidak diinstal/didukung dalam Enterprise Security Package.

Menggunakan API standar membantu dari perspektif keamanan. Anda juga mendapatkan keuntungan berikut:

  • Pengelolaan - Anda dapat mengelola kode dan mengotomatiskan pekerjaan menggunakan API standar - Livy, HS2, dll.
  • Audit - Dengan SSH, tidak ada cara untuk mengaudit, yang akan dilakukan SSH pengguna ke kluster. Ini tidak akan terjadi saat pekerjaan dibuat melalui titik akhir standar karena pekerjaan akan dieksekusi dalam konteks pengguna.

Menggunakan Beeline

Instal Beeline di mesin Anda, dan hubungkan melalui internet publik, gunakan parameter berikut:

- Connection string: -u 'jdbc:hive2://<clustername>.azurehdinsight.net:443/;ssl=true;transportMode=http;httpPath=/hive2'
- Cluster login name: -n admin
- Cluster login password -p 'password'

Jika Anda memiliki Beeline yang diinstal secara lokal, dan terhubung melalui Azure Virtual Network, gunakan parameter berikut:

Connection string: -u 'jdbc:hive2://<headnode-FQDN>:10001/;transportMode=http'

Untuk menemukan nama domain headnode yang sepenuhnya memenuhi syarat, gunakan informasi di Mengelola HDInsight menggunakan dokumen REST API Ambari.

Pengguna kluster HDInsight dengan ESP

Kluster HDInsight non-ESP memiliki dua akun pengguna yang dibuat selama pembuatan kluster:

  • Admin Ambari: Akun ini juga disebut pengguna Hadoop atau pengguna HTTP. Akun ini dapat digunakan untuk masuk ke Ambari di https://CLUSTERNAME.azurehdinsight.net. Ini juga dapat digunakan untuk menjalankan kueri pada tampilan Ambari, menjalankan pekerjaan melalui alat eksternal (misalnya, PowerShell, Templeton, Visual Studio), dan mengautentikasi dengan driver ODBC Hive dan alat BI (misalnya, Excel, Power BI, atau Tableau).

Kluster HDInsight dengan ESP memiliki tiga pengguna baru selain Admin Ambari.

  • Admin Ranger: Akun ini adalah akun admin Apache Ranger lokal. Ini bukan pengguna domain direktori aktif. Akun ini dapat digunakan untuk menyiapkan kebijakan dan membuat admin pengguna lain atau admin yang didelegasikan (sehingga pengguna tersebut dapat mengelola kebijakan). Secara default, nama pengguna adalah admin dan kata sandi sama dengan kata sandi admin Ambari. Kata sandi dapat diperbarui dari halaman Pengaturan di Ranger.

  • Pengguna domain admin kluster: Akun ini adalah pengguna domain direktori aktif yang ditetapkan sebagai admin kluster Hadoop termasuk Ambari dan Ranger. Anda harus menyediakan info masuk pengguna ini selama pembuatan kluster. Pengguna ini memiliki hak istimewa berikut:

    • Gabungkan mesin dengan domain dan letakkan di dalam OU yang Anda tentukan selama pembuatan kluster.
    • Buat perwakilan layanan dalam OU yang Anda tentukan selama pembuatan kluster.
    • Buat entri DNS terbalik.

    Perhatikan bahwa pengguna AD lainnya juga memiliki hak istimewa ini.

    Ada beberapa titik akhir dalam kluster (misalnya, Templeton) yang tidak dikelola oleh Ranger, sehingga tidak aman. Titik akhir ini dikunci untuk semua pengguna kecuali pengguna domain admin kluster.

  • Reguler: Selama pembuatan kluster, Anda dapat menyediakan beberapa grup direktori aktif. Pengguna dalam grup ini disinkronkan ke Ranger dan Ambari. Pengguna ini adalah pengguna domain dan hanya memiliki akses ke titik akhir yang dikelola Ranger (misalnya, Hiveserver2). Semua kebijakan dan audit RBAC akan berlaku untuk pengguna ini.

Pengguna kluster HDInsight dengan ESP

Enterprise Security Package HDInsight memiliki peran berikut:

  • Administrator Kluster
  • Operator Kluster
  • Administrator Layanan
  • Operator Layanan
  • Pengguna Kluster

Untuk melihat izin dari peran ini

  1. Buka UI Pengelolaan Ambari. Lihat Buka UI Pengelolaan Ambari.

  2. Dari menu sebelah kiri, pilih Peran.

  3. Pilih tanda tanya biru untuk melihat izin:

    ESP HDInsight roles permissions.

Membuka UI Pengelolaan Ambari

  1. Arahkan ke https://CLUSTERNAME.azurehdinsight.net/ di mana CLUSTERNAME adalah nama klaster Anda.

  2. Masuk ke Ambari menggunakan nama pengguna dan kata sandi domain administrator kluster.

  3. Pilih menu drop-down admin dari pojok kanan atas, lalu pilih Kelola Ambari.

    ESP HDInsight manage Apache Ambari.

    UI terlihat seperti:

    ESP HDInsight Apache Ambari management UI.

Mencantumkan pengguna domain yang disinkronkan dari Direktori Aktif Anda

  1. Buka UI Pengelolaan Ambari. Lihat Buka UI Pengelolaan Ambari.

  2. Dari menu sebelah kiri, pilih Pengguna. Anda akan melihat semua pengguna yang disinkronkan dari Direktori Aktif Anda ke kluster HDInsight.

    ESP HDInsight Ambari management UI list users.

Mencantumkan grup domain yang disinkronkan dari Direktori Aktif Anda

  1. Buka UI Pengelolaan Ambari. Lihat Buka UI Pengelolaan Ambari.

  2. Dari menu sebelah kiri, pilih Grup. Anda akan melihat semua grup yang disinkronkan dari Direktori Aktif Anda ke kluster HDInsight.

    ESP HDInsight Ambari management UI list groups.

Mengonfigurasi izin Tampilan Hive

  1. Buka UI Pengelolaan Ambari. Lihat Buka UI Pengelolaan Ambari.

  2. Dari menu sebelah kiri, pilih Tampilan.

  3. Pilih HIVE untuk menampilkan detailnya.

    ESP HDInsight Ambari management UI Hive Views.

  4. Pilih tautan Tampilan Hive untuk mengonfigurasi Tampilan Hive.

  5. Gulir ke bawah ke bagian Izin.

    ESP HDInsight Ambari management UI Hive Views configure permissions.

  6. Pilih Tambahkan Pengguna atau Tambahkan Grup, lalu tentukan pengguna atau grup yang dapat menggunakan Tampilan Hive.

Mengonfigurasi pengguna untuk peran

Untuk melihat daftar peran dan izinnya, lihat Peran kluster HDInsight dengan ESP.

  1. Buka UI Pengelolaan Ambari. Lihat Buka UI Pengelolaan Ambari.
  2. Dari menu sebelah kiri, pilih Peran.
  3. Pilih Tambahkan Pengguna atau Tambahkan Grup untuk menetapkan pengguna dan grup ke peran yang berbeda.

Langkah berikutnya