Mengelola kluster HDInsight dengan Enterprise Security Package
Pelajari pengguna dan peran dalam HDInsight Enterprise Security Package (ESP), dan cara mengelola kluster ESP.
Menggunakan Visual Studio Code untuk menautkan ke kluster yang bergabung dengan domain
Anda dapat menautkan kluster normal dengan menggunakan nama pengguna yang dikelola Apache Ambari, juga menautkan kluster Apache Hadoop keamanan dengan menggunakan nama pengguna domain (seperti: user1@contoso.com).
Buka Visual Studio Code. Pastikan ekstensi Spark & Hive Tools diinstal.
Ikuti langkah dari Menautkan kluster untuk Visual Studio Code.
Menggunakan IntelliJ untuk menautkan ke kluster yang bergabung dengan domain
Anda dapat menautkan kluster normal dengan menggunakan nama pengguna yang dikelola Ambari, juga menautkan kluster hadoop keamanan dengan menggunakan nama pengguna domain (seperti: user1@contoso.com).
Buka IntelliJ IDEA. Pastikan semua prasyarat terpenuhi.
Ikuti langkah dari Menautkan kluster untuk IntelliJ.
Menggunakan Eclipse untuk menautkan ke kluster yang bergabung dengan domain
Anda dapat menautkan kluster normal dengan menggunakan nama pengguna yang dikelola Ambari, juga menautkan kluster hadoop keamanan dengan menggunakan nama pengguna domain (seperti: user1@contoso.com).
Buka Eclipse. Pastikan semua prasyarat terpenuhi.
Ikuti langkah dari Menautkan kluster untuk Eclipse.
Mengakses kluster dengan Enterprise Security Package
Enterprise Security Package (sebelumnya dikenal sebagai HDInsight Premium) menyediakan akses multi-pengguna ke kluster, tempat autentikasi dilakukan oleh Direktori Aktif dan otorisasi oleh Apache Ranger dan ACL Penyimpanan (ADLS ACL). Otorisasi menyediakan batasan aman di antara beberapa pengguna dan hanya memungkinkan pengguna dengan hak istimewa untuk memiliki akses ke data berdasarkan kebijakan otorisasi.
Keamanan dan isolasi pengguna penting untuk kluster HDInsight dengan Enterprise Security Package. Untuk memenuhi persyaratan ini, akses SSH ke kluster dengan Enterprise Security Package didukung untuk pengguna lokal yang dipilih pada waktu pembuatan kluster serta pengguna yang tersedia di AAD-DS (yaitu Kerberos). Tabel berikut ini menunjukkan metode akses yang direkomendasikan untuk setiap jenis kluster:
| Beban kerja | Skenario | Metode Akses |
|---|---|---|
| Apache Hadoop | Hive – Pekerjaan/Interactive Query | |
| Apache Spark | Pekerjaan/Interactive Query, interaktif PySpark | |
| Apache Spark | Skenario Batch - pengiriman Spark, PySpark | |
| Interactive Query (LLAP) | Interaktif | |
| Mana pun | Menginstal Aplikasi Kustom |
Catatan
Jupyter tidak diinstal/didukung dalam Enterprise Security Package.
Menggunakan API standar membantu dari perspektif keamanan. Anda juga mendapatkan keuntungan berikut:
- Pengelolaan - Anda dapat mengelola kode dan mengotomatiskan pekerjaan menggunakan API standar - Livy, HS2, dll.
- Audit - Dengan SSH, tidak ada cara untuk mengaudit, yang akan dilakukan SSH pengguna ke kluster. Ini tidak akan terjadi saat pekerjaan dibuat melalui titik akhir standar karena pekerjaan akan dieksekusi dalam konteks pengguna.
Menggunakan Beeline
Instal Beeline di mesin Anda, dan hubungkan melalui internet publik, gunakan parameter berikut:
- Connection string: -u 'jdbc:hive2://<clustername>.azurehdinsight.net:443/;ssl=true;transportMode=http;httpPath=/hive2'
- Cluster login name: -n admin
- Cluster login password -p 'password'
Jika Anda memiliki Beeline yang diinstal secara lokal, dan terhubung melalui Azure Virtual Network, gunakan parameter berikut:
Connection string: -u 'jdbc:hive2://<headnode-FQDN>:10001/;transportMode=http'
Untuk menemukan nama domain headnode yang sepenuhnya memenuhi syarat, gunakan informasi di Managed HDInsight menggunakan dokumen Ambari REST API.
Pengguna kluster HDInsight dengan ESP
Kluster HDInsight non-ESP memiliki dua akun pengguna yang dibuat selama pembuatan kluster:
- Admin Ambari: Akun ini juga disebut pengguna Hadoop atau pengguna HTTP. Akun ini dapat digunakan untuk masuk ke Ambari di
https://CLUSTERNAME.azurehdinsight.net. Ini juga dapat digunakan untuk menjalankan kueri pada tampilan Ambari, menjalankan pekerjaan melalui alat eksternal (misalnya, PowerShell, Templeton, Visual Studio), dan mengautentikasi dengan driver ODBC Hive dan alat BI (misalnya, Excel, Power BI, atau Tableau).
Kluster HDInsight dengan ESP memiliki tiga pengguna baru selain Admin Ambari.
Admin Ranger: Akun ini adalah akun admin Apache Ranger lokal. Ini bukan pengguna domain direktori aktif. Akun ini dapat digunakan untuk menyiapkan kebijakan dan membuat admin pengguna lain atau admin yang didelegasikan (sehingga pengguna tersebut dapat mengelola kebijakan). Secara default, nama pengguna adalah admin dan kata sandi sama dengan kata sandi admin Ambari. Kata sandi dapat diperbarui dari halaman Pengaturan di Ranger.
Pengguna domain admin kluster: Akun ini adalah pengguna domain direktori aktif yang ditetapkan sebagai admin kluster Hadoop termasuk Ambari dan Ranger. Anda harus menyediakan info masuk pengguna ini selama pembuatan kluster. Pengguna ini memiliki hak istimewa berikut:
- Gabungkan mesin dengan domain dan letakkan di dalam OU yang Anda tentukan selama pembuatan kluster.
- Buat perwakilan layanan dalam OU yang Anda tentukan selama pembuatan kluster.
- Buat entri DNS terbalik.
Perhatikan bahwa pengguna AD lainnya juga memiliki hak istimewa ini.
Ada beberapa titik akhir dalam kluster (misalnya, Templeton) yang tidak dikelola oleh Ranger, dan karenanya aman. Titik akhir ini dikunci untuk semua pengguna kecuali pengguna domain admin kluster.
Reguler: Selama pembuatan kluster, Anda dapat menyediakan beberapa grup direktori aktif. Pengguna dalam grup ini disinkronkan ke Ranger dan Ambari. Pengguna ini adalah pengguna domain dan hanya memiliki akses ke titik akhir yang dikelola Ranger (misalnya,
Hiveserver2). Semua kebijakan dan audit RBAC akan berlaku untuk pengguna ini.
Pengguna kluster HDInsight dengan ESP
Enterprise Security Package HDInsight memiliki peran berikut:
- Administrator Kluster
- Operator Kluster
- Administrator Layanan
- Operator Layanan
- Pengguna Kluster
Untuk melihat izin dari peran ini
Buka UI Pengelolaan Ambari. Lihat Buka UI Pengelolaan Ambari.
Dari menu sebelah kiri, pilih Peran.
Pilih tanda tanya biru untuk melihat izin:
Membuka UI Pengelolaan Ambari
Arahkan ke
https://CLUSTERNAME.azurehdinsight.net/di mana CLUSTERNAME adalah nama klaster Anda.Masuk ke Ambari menggunakan nama pengguna dan kata sandi domain administrator kluster.
Pilih menu drop-down admin dari pojok kanan atas, lalu pilih Kelola Ambari.
UI terlihat seperti:
Mencantumkan pengguna domain yang disinkronkan dari Direktori Aktif Anda
Buka UI Pengelolaan Ambari. Lihat Buka UI Pengelolaan Ambari.
Dari menu sebelah kiri, pilih Pengguna. Anda akan melihat semua pengguna yang disinkronkan dari Direktori Aktif Anda ke kluster HDInsight.
Mencantumkan grup domain yang disinkronkan dari Direktori Aktif Anda
Buka UI Pengelolaan Ambari. Lihat Buka UI Pengelolaan Ambari.
Dari menu sebelah kiri, pilih Grup. Anda akan melihat semua grup yang disinkronkan dari Direktori Aktif Anda ke kluster HDInsight.
Mengonfigurasi izin Tampilan Hive
Buka UI Pengelolaan Ambari. Lihat Buka UI Pengelolaan Ambari.
Dari menu sebelah kiri, pilih Tampilan.
Pilih HIVE untuk menampilkan detailnya.
Pilih tautan Tampilan Hive untuk mengonfigurasi Tampilan Hive.
Gulir ke bawah ke bagian Izin.
Pilih Tambahkan Pengguna atau Tambahkan Grup, lalu tentukan pengguna atau grup yang dapat menggunakan Tampilan Hive.
Mengonfigurasi pengguna untuk peran
Untuk melihat daftar peran dan izinnya, lihat Peran kluster HDInsight dengan ESP.
- Buka UI Pengelolaan Ambari. Lihat Buka UI Pengelolaan Ambari.
- Dari menu sebelah kiri, pilih Peran.
- Pilih Tambahkan Pengguna atau Tambahkan Grup untuk menetapkan pengguna dan grup ke peran yang berbeda.
Langkah berikutnya
- Untuk mengonfigurasi kluster Microsoft Azure HDInsight dengan Enterprise Security Package, lihat Mengonfigurasi kluster Microsoft Azure HDInsight dengan ESP.
- Untuk mengonfigurasi kebijakan Hive dan menjalankan kueri Hive, lihat Mengonfigurasi kebijakan Apache Hive untuk kluster HDInsight dengan ESP.
Saran dan Komentar
Segera hadir: Sepanjang tahun 2024 kami akan menghentikan penggunaan GitHub Issues sebagai mekanisme umpan balik untuk konten dan menggantinya dengan sistem umpan balik baru. Untuk mengetahui informasi selengkapnya, lihat: https://aka.ms/ContentUserFeedback.
Kirim dan lihat umpan balik untuk