Kelola klaster HDInsight dengan menggunakan Apache Ambari Web UI
Apache Ambari menyederhanakan manajemen dan pemantauan klaster Apache Hadoop. Penyederhanaan ini dilakukan dengan menyediakan web UI dan REST API yang mudah digunakan. Ambari disertakan pada kluster HDInsight, dan digunakan untuk memantau kluster dan membuat perubahan konfigurasi.
Dalam dokumen ini, Anda akan mempelajari cara menggunakan Ambari Web UI dengan klaster HDInsight.
Apa yang dimaksud dengan Apache Ambari?
Apache Ambari menyederhanakan manajemen Hadoop dengan menyediakan UI web yang mudah digunakan. Anda dapat menggunakan Ambari untuk mengelola dan memantau kluster Hadoop. Pengembang dapat mengintegrasikan kemampuan ini ke dalam aplikasi mereka dengan menggunakan Ambari REST API.
Konektivitas
Ambari Web UI tersedia pada kluster HDInsight Anda di https://CLUSTERNAME.azurehdinsight.net, di mana CLUSTERNAME adalah nama kluster Anda.
Penting
Untuk terhubung ke Ambari pada HDInsight memerlukan HTTPS. Ketika diminta untuk melakukan autentikasi, gunakan nama dan sandi akun admin yang Anda berikan saat kluster dibuat. Jika Anda tidak dimintai kredensial, periksa pengaturan jaringan Anda untuk mengonfirmasi tidak ada masalah konektivitas antara klien dan Azure HDInsight Clusters.
Terowongan SSH (proksi)
Meski Ambari untuk kluster Anda dapat diakses langsung melalui Internet, beberapa tautan dari Ambari Web UI (seperti ke JobTracker) tidak terekspos di internet. Untuk mengakses layanan ini, Anda harus membuat terowongan SSH. Untuk informasi selengkapnya, lihat Gunakan Penerowongan SSH dengan Microsoft Azure HDInsight.
Ambari Web UI
Peringatan
Tidak semua fitur Ambari Web UI mendukung untuk HDInsight. Untuk informasi selengkapnya, lihat bagian Operasi yang tidak didukung pada dokumen ini.
Saat terhubung ke Ambari Web UI, Anda akan diminta untuk mengautentikasi ke halaman. Gunakan pengguna admin kluster (Admin default) dan sandi yang Anda gunakan selama pembuatan kluster.
Ketika halaman terbuka, perhatikan bilah di bagian atas. Bilah ini berisi informasi dan kontrol berikut ini:
| Item | Deskripsi |
|---|---|
| Logo Ambari | Membuka dasbor, yang dapat digunakan untuk memantau kluster. |
| Nama kluster # ops | Menampilkan jumlah operasi Ambari yang sedang berlangsung. Pemilihan nama kluster atau # ops menampilkan daftar operasi latar belakang. |
| # peringatan | Menampilkan peringatan atau peringatan kritis, jika ada, untuk kluster. |
| Dasbor | Menampilkan dasbor. |
| Layanan | Pengaturan informasi dan konfigurasi untuk layanan dalam kluster. |
| Host | Pengaturan informasi dan konfigurasi untuk simpul dalam kluster. |
| Peringatan | Log informasi, peringatan, dan peringatan kritis. |
| Admin | Tumpukan/layanan perangkat lunak yang dipasang pada kluster, informasi akun layanan, dan keamanan Kerberos. |
| Tombol Admin | Manajemen Ambari, pengaturan pengguna, dan keluar. |
Pemantauan
Peringatan
Daftar berikut ini berisi status peringatan umum yang digunakan oleh Ambari:
- OK
- Peringatan
- KRITIS
- TIDAK DIKETAHUI
Peringatan selain OK menyebabkan entri # peringatan di bagian atas halaman untuk menampilkan jumlah peringatan. Pemilihan entri ini menampilkan peringatan dan statusnya.
Peringatan diatur ke dalam beberapa grup default, yang bisa dilihat dari halaman Peringatan.
Anda bisa mengelola grup dengan menggunakan menu Tindakan dan memilih Mengelola Grup Peringatan.
Anda mengelola metode peringatan, dan membuat pemberitahuan peringatan dari menu Tindakan dengan memilih Mengelola Pemberitahuan. Pemberitahuan saat ini ditampilkan. Buat pemberitahuan dari sini. Pemberitahuan dapat dikirim melalui EMAIL atau SNMP saat kombinasi peringatan/tingkat keparahan tertentu terjadi. Contohnya, Anda dapat mengirim pesan email saat ada peringatan apa pun di grup YARN Default diatur ke Kritis.
Akhirnya, pemilihan Mengelola Pengaturan Peringatan dari menu Tindakan memungkinkan Anda mengatur berapa kali peringatan harus terjadi sebelum pemberitahuan dikirim. Pengaturan ini dapat digunakan untuk mencegah pemberitahuan untuk eror sementara.
Untuk tutorial pemberitahuan peringatan menggunakan akun SendGrid gratis, lihat Mengonfigurasi pemberitahuan email Apache Ambari di Azure HDInsight.
Kluster
Tab Metrik dasbor berisi serangkaian widget yang memudahkan pemantauan status kluster Anda dalam sekejap. Beberapa widget, seperti Penggunaan CPU, memberikan informasi tambahan saat diklik.
Tab Heatmaps menampilkan metrik sebagai heatmap berwarna, mulai dari hijau ke merah.
Untuk informasi selengkapnya tentang simpul dalam kluster, pilih Host. Kemudian pilih simpul tertentu yang Anda minati.
Layanan
Bilah samping Layanan pada dasbor memberikan wawasan cepat tentang status layanan yang berjalan pada kluster. Berbagai ikon digunakan untuk menunjukkan status atau tindakan yang harus diambil. Misalnya, simbol daur ulang berwarna kuning ditampilkan jika layanan perlu didaur ulang.
Catatan
Layanan yang ditampilkan berbeda antara jenis dan versi kluster HDInsight. Layanan yang ditampilkan di sini mungkin berbeda dari layanan yang ditampilkan untuk kluster Anda.
Pemilihan layanan menampilkan informasi terperinci tentang layanan.
Tautan cepat
Beberapa layanan menampilkan tautan Tautan Cepat di bagian atas halaman. Tautan ini dapat digunakan untuk mengakses UI web khusus layanan, seperti:
- Riwayat Pekerjaan - riwayat pekerjaan MapReduce.
- Resource Manager - YARN Resource Manager UI.
- Namenode - UI Namenode Sistem File Terdistribusi Hadoop (HDFS).
- Oozie Web UI - Oozie UI.
Pemilihan salah satu tautan ini membuka tab baru di browser Anda, yang menampilkan halaman yang dipilih.
Catatan
Pemilihan entri Tautan Cepat untuk layanan dapat menampilkan eror "server tidak ditemukan". Jika Anda mendapati eror ini, Anda harus menggunakan terowongan SSH ketika menggunakan entri Tautan Cepat untuk layanan ini. Untuk informasi selengkapnya, lihat Menggunakan Penerowongan SSH dengan HDInsight.
Manajemen
Pengguna, grup, dan izin Ambari
Penggunaan pengguna, grup, dan izin didukung. Untuk administrasi lokal, lihat Mengotorisasi pengguna untuk Apache Ambari Views. Untuk kluster yang bergabung dengan domain, lihat Mengelola kluster HDInsight yang bergabung dengan domain.
Peringatan
Jangan menghapus atau mengubah sandi pengawas Ambari (hdinsightwatchdog) pada kluster HDInsight berbasis Linux Anda. Pengubahan sandi mematahkan kemampuan untuk menggunakan tindakan skrip atau melakukan operasi penskalaan dengan kluster Anda.
Host
Halaman Host mencantumkan semua host dalam kluster. Untuk mengelola host, ikuti langkah-langkah ini.
Catatan
Penambahan, penonaktifkan, dan pengujian ulang host tidak boleh digunakan untuk kluster HDInsight.
Pilih host yang ingin Anda kelola.
Gunakan menu Tindakan untuk memilih tindakan yang ingin Anda lakukan:
Item Deskripsi Memulai semua komponen Mulai semua komponen pada host. Menghentikan semua komponen Hentikan semua komponen pada host. Memulai ulang semua komponen Hentikan dan mulai semua komponen pada host. Menyalakan mode pemeliharaan Menghentikan paksa peringatan untuk host. Mode ini harus diaktifkan jika Anda melakukan tindakan yang menghasilkan peringatan. Contohnya, menghentikan dan memulai layanan. Mematikan mode pemeliharaan Mengembalikan host ke peringatan normal. Stop Menghentikan DataNode atau NodeManagers pada host. Mulai Memulai DataNode atau NodeManagers pada host. Mulai ulang Menghentikan dan memulai DataNode atau NodeManagers pada host. Penonaktifan Menghapus host dari kluster. Jangan menggunakan tindakan ini pada kluster HDInsight. Uji ulang Menambahkan host yang sebelumnya dinonaktifkan ke kluster. Jangan menggunakan tindakan ini pada kluster HDInsight.
Layanan
Dari halaman Dasbor atau Layanan, gunakan tombol Tindakan di bagian bawah daftar layanan untuk menghentikan dan memulai semua layanan.
Peringatan
Layanan baru harus ditambahkan menggunakan Tindakan Skrip selama penyediaan kluster. Untuk informasi selengkapnya tentang penggunaan Tindakan Skrip, lihat dokumen Kustomisasi HDInsight menggunakan Tindakan Skrip.
Meskipun tombol Tindakan dapat memulai ulang semua layanan, seringkali Anda ingin memulai, menghentikan, atau memulai ulang layanan tertentu. Gunakan langkah-langkah berikut untuk melakukan tindakan pada layanan individu:
Dari halaman Dasbor atau Layanan, pilih layanan.
Dari bagian atas tab Ringkasan, gunakan tombol Tindakan Layanan dan pilih tindakan yang akan diambil. Aksi ini memulai ulang layanan pada semua simpul.
Catatan
Pemulaian ulang beberapa layanan ketika kluster sedang berjalan dapat menghasilkan peringatan. Untuk menghindari peringatan, Anda dapat menggunakan tombol Tindakan Layanan untuk mengaktifkan mode Pemeliharaan untuk layanan sebelum melakukan mulai ulang.
Setelah tindakan dipilih, entri # op di bagian atas halaman bertambah untuk menunjukkan bahwa operasi latar belakang sedang terjadi. Jika dikonfigurasi untuk ditampilkan, daftar operasi latar belakang ditampilkan.
Catatan
Jika Anda mengaktifkan mode Pemeliharaan untuk layanan, ingatlah untuk menonaktifkannya dengan menggunakan tombol Tindakan Layanan setelah operasi selesai.
Untuk mengonfigurasi layanan, gunakan langkah-langkah berikut:
Dari halaman Dasbor atau Layanan, pilih layanan.
Pilih tab Konfigurasi. Konfigurasi saat ini ditampilkan. Daftar konfigurasi sebelumnya juga ditampilkan.
Gunakan bidang yang ditampilkan untuk mengubah konfigurasi, lalu pilih Simpan. Atau pilih konfigurasi sebelumnya lalu pilih Jadikan saat ini untuk kembali ke pengaturan sebelumnya.
Ambari Views
Ambari Views memungkinkan pengembang untuk mencolokkan elemen UI ke dalam Ambari Web UI menggunakan Apache Ambari Views Framework. HDInsight menyediakan tampilan berikut untuk jenis kluster Hadoop:
Hive View: Hive View memungkinkan Anda menjalankan kueri Hive langsung dari browser web Anda. Anda dapat menyimpan kueri, melihat hasil, menyimpan hasil ke penyimpanan kluster, atau mengunduh hasil ke sistem lokal Anda. Untuk informasi selengkapnya tentang penggunaan Hive Views, lihat Menggunakan Apache Hive Views dengan HDInsight.
Tez View: Tez View memungkinkan Anda untuk lebih memahami dan mengoptimalkan pekerjaan. Anda dapat melihat informasi tentang bagaimana pekerjaan Tez dijalankan dan sumber daya apa yang digunakan.
Operator yang tidak didukung
Operasi Ambari berikut ini tidak didukung pada HDInsight:
- Memindahkan layanan Metrics Collector. Ketika melihat informasi tentang layanan Metrics Collector, salah satu tindakan yang tersedia dari menu Tindakan Layanan adalah Memindahkan Metrics Collector. Tindakan ini tidak didukung untuk HDInsight.