Menggunakan pengelogan selektif dengan tindakan skrip di Azure HDInsight

Log Azure Monitor adalah layanan Azure Monitor yang memantau lingkungan cloud dan lokal Anda. Pemantauan tersebut membantu menjaga ketersedian serta performanya.

Log Azure Monitor mengumpulkan data yang dihasilkan oleh sumber daya di cloud Anda, lingkungan lokal, dan dari alat pemantauan lainnya. Log Azure Monitor menggunakan data tersebut untuk menyediakan analisis di beberapa sumber. Untuk mendapatkan analisis, Anda mengaktifkan fitur pengelogan selektif menggunakan tindakan skrip untuk HDInsight di portal Azure.

Tentang pengelogan selektif

Pengelogan selektif adalah bagian dari sistem pemantauan di Azure secara keseluruhan. Setelah menyambungkan kluster ke ruang kerja Log Analytics dan mengaktifkan pengelogan selektif, Anda dapat melihat log dan metrik seperti log keamanan HDInsight, Resource Manager Yarn, dan metrik sistem. Anda dapat memantau beban kerja dan melihat bagaimana beban kerja tersebut memengaruhi stabilitas kluster.

Pengelogan selektif memungkinkan Anda mengaktifkan/menonaktifkan semua tabel atau mengaktifkan tabel yang dipilih di ruang kerja Log Analytics. Anda dapat menyesuaikan jenis sumber untuk setiap tabel.

Catatan

Apabila Log Analytics diinstal ulang dalam kluster, Anda harus menonaktifkan semua tabel dan jenis log lagi. Penginstalan ulang mereset semua file konfigurasi ke status aslinya.

Pertimbangan untuk tindakan skrip

• Sistem pemantauan menggunakan Metadata Server Daemon (agen pemantauan) dan Fluentd untuk mengumpulkan log menggunakan lapisan pengelogan terpadu.
• Pengelogan selektif menggunakan tindakan skrip untuk menonaktifkan atau mengaktifkan tabel dan jenis lognya. Karena pengelogan selektif tidak membuka port baru atau mengubah pengaturan keamanan yang ada, maka tidak ada perubahan keamanan.
• Tindakan skrip berjalan secara paralel di semua node yang ditentukan dan mengubah file konfigurasi untuk menonaktifkan atau mengaktifkan tabel dan jenis lognya.

Prasyarat

• Ruang kerja Analitik Log. Anda dapat menganggap ruang kerja ini sebagai lingkungan Log Azure Monitor yang unik dengan repositori data, sumber data, dan solusinya sendiri. Untuk mengetahui petunjuknya, lihat Membuat ruang kerja Log Analytics.
• Kluster Microsoft Azure HDInsight. Saat ini, Anda dapat menggunakan fitur pengelogan selektif dengan jenis kluster HDInsight berikut:
  • Hadoop
  • HBase
  • Interactive Query
  • Spark

Untuk petunjuk tentang cara membuat kluster HDInsight, lihat Mulai menggunakan Azure HDInsight.

Mengaktifkan atau menonaktifkan log menggunakan tindakan skrip untuk beberapa tabel dan jenis log

1. Buka tindakan Skrip di kluster Anda dan pilih Kirim baru untuk memulai proses pembuatan tindakan skrip.

   

   Panel Kirim tindakan skrip muncul.

   

2. Untuk jenis skrip, pilih Kustom.

3. Beri nama skrip. Misalnya: Nonaktifkan dua tabel dan dua sumber.

4. URI skrip Bash harus berupa link ke selectiveLoggingScript.sh.

5. Pilih semua jenis node yang berlaku untuk kluster tersebut. Opsinya adalah node kepala, node pekerja, dan node ZooKeeper.

6. Tentukan parameter. Contohnya:

   • Spark: spark HDInsightSparkLogs:SparkExecutorLog --disable
   • Interactive Query: interactivehive HDInsightSparkLogs:SparkExecutorLog --enable
   • Hadoop: hadoop HDInsightSparkLogs:SparkExecutorLog --disable
   • HBase: hbase HDInsightSparkLogs: HDInsightHBaseLogs --enable

   Untuk informasi selengkapnya, lihat bagian Sintaksis parameter.

7. Pilih Buat.

8. Setelah beberapa menit, tanda centang hijau muncul di samping riwayat tindakan skrip Anda. Ini artinya skrip telah berhasil dijalankan.

   

Anda akan melihat perubahan di ruang kerja Log Analytics.

Pemecahan Masalah

Tidak ada perubahan yang muncul di ruang kerja Log Analytics

Apabila Anda mengirimkan tindakan skrip tetapi tidak ada perubahan di ruang kerja Log Analytics:

1. Pada Dasbor, pilih beranda Ambari untuk memeriksa informasi debug.

   

2. Pilih tombol Pengaturan.

   

3. Pilih eksekusi skrip terbaru Anda di bagian atas daftar operasi latar belakang.

   

4. Verifikasi status eksekusi skrip di semua simpul satu per satu.

   

5. Periksa apakah sintaksis parameter dari bagian sintaksis parameter sudah benar.

6. Periksa apakah ruang kerja Log Analytics tersambung ke kluster dan pemantauan Log Analytics diaktifkan.

7. Periksa apakah Anda telah memilih kotak centang Pertahankan tindakan skrip ini untuk dijalankan ulang saat node baru ditambahkan ke kluster untuk tindakan skrip yang Anda jalankan.

   

8. Lihat apakah node baru telah ditambahkan ke kluster baru-baru ini.

   Catatan

   Agar skrip berjalan di kluster terbaru, skrip harus bertahan.

9. Pastikan Anda telah memilih semua jenis node yang Anda inginkan untuk tindakan skrip.

   

Tindakan skrip gagal

Apabila tindakan skrip menampilkan status gagal dalam riwayat tindakan skrip:

1. Periksa apakah sintaksis parameter dari bagian sintaksis parameter sudah benar.
2. Periksa apakah tautan skrip sudah benar. Properti tersebut seharusnya: https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/selectiveLoggingScripts/selectiveLoggingScript.sh.

Nama tabel

Kluster Spark

Nama tabel berikut dimaksudkan untuk jenis log (sumber) yang berbeda di dalam tabel Spark.

Nomor sumber	Nama tabel	Tipe log	Deskripsi
1.	Pemberitahuan HDInsightAmbariCluster	Tipe log tidak ada	Tabel ini berisi peringatan kluster Ambari dari setiap node dalam kluster (kecuali node tepi). Setiap peringatan adalah rekaman dalam tabel ini.
2.	Metrik HDInsightAmbariSystem	Tipe log tidak ada	Tabel ini berisi metrik sistem yang dikumpulkan dari Ambari. Metrik sekarang berasal dari setiap node di kluster (kecuali untuk node tepi) alih-alih hanya dari dua node kepala. Setiap metrik sekarang menjadi kolom dan setiap metrik dilaporkan satu kali per rekaman.
3.	HDInsightHadoopAnd YarnLogs	Node Kepala: MRJobSummary, Resource Manager, TimelineServer Node Pekerja: NodeManager	Tabel ini berisi semua log yang dihasilkan dari kerangka kerja Hadoop dan YARN.
4.	HDInsightSecurityLogs	AmbariAuditLog, AuthLog	Tabel ini berisi rekaman dari audit Ambari dan log autentikasi.
5.	HDInsightSparkLogs	Node Kepala: JupyterLog, LivyLog, SparkThriftDriverLog Node Pekerja: SparkExecutorLog, SparkDriverLog	Tabel ini berisi semua log yang terkait dengan Spark beserta komponen terkait: Livy dan Jupyter.
6.	HDInsightHadoopAnd YarnMetrics	Tipe log tidak ada	Tabel ini berisi metrik JMX dari kerangka kerja Hadoop dan YARN. Tabel ini berisi semua metrik JMX yang sama dengan tabel Log Kustom lama, ditambah metrik lainnya yang kami anggap penting. Kami menambahkan metrik Timeline Server, Node Manager, dan Job History Server. Ia berisi satu metrik per rekaman.
7.	HDInsightOozieLogs	Oozie	Tabel ini berisi semua log yang dihasilkan dari kerangka kerja Oozie.

Kluster Interactive Query

Nama tabel berikut dimaksudkan untuk jenis log (sumber) yang berbeda di dalam tabel Interactive Query.

Nomor sumber	Nama tabel	Tipe log	Deskripsi
1.	HDInsightAmbariClusterAlerts	Tipe log tidak ada	Tabel ini berisi peringatan kluster Ambari dari setiap node dalam kluster (kecuali node tepi). Setiap peringatan adalah rekaman dalam tabel ini.
2.	Metrik HDInsightAmbariSystem	Tipe log tidak ada	Tabel ini berisi metrik sistem yang dikumpulkan dari Ambari. Metrik sekarang berasal dari setiap node di kluster (kecuali untuk node tepi) alih-alih hanya dari dua node kepala. Setiap metrik sekarang menjadi kolom dan setiap metrik dilaporkan satu kali per rekaman.
3.	HDInsightHadoopAndYarnLogs	Node Kepala: MRJobSummary, Resource Manager, TimelineServer Node Pekerja: NodeManager	Tabel ini berisi semua log yang dihasilkan dari kerangka kerja Hadoop dan YARN.
4.	HDInsightHadoopAndYarnMetrics	Tipe log tidak ada	Tabel ini berisi metrik JMX dari kerangka kerja Hadoop dan YARN. Tabel ini berisi semua metrik JMX yang sama dengan tabel Log Kustom lama, ditambah metrik lainnya yang kami anggap penting. Kami menambahkan metrik Timeline Server, Node Manager, dan Job History Server. Ia berisi satu metrik per rekaman.
5.	HDInsightHiveAndLLAPLogs	Head node: InteractiveHiveHSILog, InteractiveHiveMetastoreLog, ZeppelinLog	Tabel ini berisi log yang dihasilkan dari Hive, LLAP, dan komponen terkaitnya: WebHCat dan Zeppelin.
6.	HDInsightHiveAndLLAPmetrics	Tipe log tidak ada	Tabel ini berisi metrik JMX dari kerangka kerja Hive dan LLAP. Ia berisi semua metrik JMX yang sama dengan tabel Log Kustom lama. Ia berisi satu metrik per rekaman.
7.	HDInsightHiveTezAppStats	Tipe log tidak ada
8.	HDInsightSecurityLogs	Node kepala: AmbariAuditLog, AuthLog Node zookeeper, node pekerja: AuthLog	Tabel ini berisi rekaman dari audit Ambari dan log autentikasi.

Kluster HBase

Nama tabel berikut dimaksudkan untuk jenis log (sumber) yang berbeda di dalam tabel HBase.

Nomor sumber	Nama tabel	Tipe log	Deskripsi
1.	HDInsightAmbariClusterAlerts	Tidak ada jenis log lainnya	Tabel ini berisi peringatan kluster Ambari dari setiap node dalam kluster (kecuali node tepi). Setiap peringatan adalah rekaman dalam tabel ini.
2.	Metrik HDInsightAmbariSystem	Tidak ada jenis log lainnya	Tabel ini berisi metrik sistem yang dikumpulkan dari Ambari. Metrik sekarang berasal dari setiap node di kluster (kecuali untuk node tepi) alih-alih hanya dari dua node kepala. Setiap metrik sekarang menjadi kolom dan setiap metrik dilaporkan satu kali per rekaman.
3.	HDInsightHadoopAndYarnLogs	Node Kepala: MRJobSummary, Resource Manager, TimelineServer Node Pekerja: NodeManager	Tabel ini berisi semua log yang dihasilkan dari kerangka kerja Hadoop dan YARN.
4.	HDInsightSecurityLogs	Node kepala: AmbariAuditLog, AuthLog Node pekerja: AuthLog Node ZooKeeper: AuthLog	Tabel ini berisi rekaman dari audit Ambari dan log autentikasi.
5.	HDInsightHBaseLogs	Node kepala : HDFSGarbageCollectorLog, HDFSNameNodeLog Node pekerja: PhoenixServerLog, HBaseRegionServerLog, HBaseRestServerLog Node Zookeeper: HBaseMasterLog	Tabel ini berisi log dari HBase dan komponen terkait: Phoenix dan HDFS.
6.	HDInsightHBaseMetrics	Tipe log tidak ada	Tabel ini berisi metrik JMX dari HBase. Ia berisi semua metrik JMX yang sama dari tabel yang tercantum di kolom Skema Lama. Berbeda dengan tabel lama, setiap baris berisi satu metrik.
7.	Metrik HDInsightHadoopAndYarn	Tipe log tidak ada	Tabel ini berisi metrik JMX dari kerangka kerja Hadoop dan YARN. Tabel ini berisi semua metrik JMX yang sama dengan tabel Log Kustom lama, ditambah metrik lainnya yang kami anggap penting. Kami menambahkan metrik Timeline Server, Node Manager, dan Job History Server. Ia berisi satu metrik per rekaman.

Kluster Hadoop

Nama tabel berikut dimaksudkan untuk jenis log (sumber) yang berbeda di dalam tabel Hadoop.

Nomor sumber	Nama tabel	Tipe log	Deskripsi
1.	HDInsightAmbariClusterAlerts	Tipe log tidak ada	Tabel ini berisi peringatan kluster Ambari dari setiap node dalam kluster (kecuali node tepi). Setiap peringatan adalah rekaman dalam tabel ini.
2.	Metrik HDInsightAmbariSystem	Tipe log tidak ada	Tabel ini berisi metrik sistem yang dikumpulkan dari Ambari. Metrik sekarang berasal dari setiap node di kluster (kecuali untuk node tepi) alih-alih hanya dari dua node kepala. Setiap metrik sekarang menjadi kolom dan setiap metrik dilaporkan satu kali per rekaman.
3.	HDInsightHadoopAndYarnLogs	Node Kepala: MRJobSummary, Resource Manager, TimelineServer Node Pekerja: NodeManager	Tabel ini berisi semua log yang dihasilkan dari kerangka kerja Hadoop dan YARN.
4.	HDInsightHadoopAndYarnMetrics	Tipe log tidak ada	Tabel ini berisi metrik JMX dari kerangka kerja Hadoop dan YARN. Tabel ini berisi semua metrik JMX yang sama dengan tabel Log Kustom lama, ditambah metrik lainnya yang kami anggap penting. Kami menambahkan metrik Timeline Server, Node Manager, dan Job History Server. Ia berisi satu metrik per rekaman.
5.	HDInsightHiveAndLLAPLogs	Head node: HiveMetastoreLog, HiveServer2Log, WebHcatLog	Tabel ini berisi log yang dihasilkan dari Hive, LLAP, dan komponen terkaitnya: WebHCat dan Zeppelin.
6.	Metrik HDInsight Hive Dan LLAP	Tipe log tidak ada	Tabel ini berisi metrik JMX dari kerangka kerja Hive dan LLAP. Ia berisi semua metrik JMX yang sama dengan tabel Log Kustom lama. Ia berisi satu metrik per rekaman.
7.	Log Keamanan HDInsight	Node kepala: AmbariAuditLog, AuthLog Node Zookeeper: AuthLog	Tabel ini berisi rekaman dari audit Ambari dan log autentikasi.

Sintaksis parameter

Parameter menentukan jenis kluster, nama tabel, nama sumber, dan tindakan.

Parameter berisi tiga bagian:

• Jenis kluster
• Jenis tabel dan log
• Tindakan (baik --disable atau --enable)

Sintaksis untuk beberapa tabel

Ketika Anda memiliki beberapa tabel, tabel dipisahkan dengan koma. Contohnya:

spark HDInsightSecurityLogs, HDInsightAmbariSystemMetrics --disable

hbase HDInsightSecurityLogs, HDInsightAmbariSystemMetrics --enable

Sintaksis untuk beberapa jenis sumber atau jenis log

Ketika Anda memiliki beberapa jenis sumber atau jenis log, jenis tersebut dipisahkan dengan spasi.

Untuk menonaktifkan sumber, tulis nama tabel yang berisi jenis log, diikuti dengan titik dua, kemudian nama jenis log nyata:

TableName : LogTypeName

Misalnya, asumsikan bahwa spark HDInsightSecurityLogs adalah tabel yang memiliki dua jenis log: AmbariAuditLog dan AuthLog. Untuk menonaktifkan kedua jenis log, sintaksis yang benar adalah:

spark HDInsightSecurityLogs: AmbariAuditLog AuthLog --disable

Sintaksis untuk beberapa tabel dan jenis sumber

Apabila Anda perlu menonaktifkan dua tabel dan dua jenis sumber, gunakan sintaksis berikut:

• Spark: Jenis log InteractiveHiveMetastoreLog dalam tabel HDInsightHiveAndLLAPLogs
• Hbase: Jenis log InteractiveHiveHSILog dalam tabel HDInsightHiveAndLLAPLogs
• Hadoop: Tabel HDInsightHiveAndLLAPMetrics
• Hadoop: Tabel HDInsightHiveTezAppStats

Pisahkan tabel dengan koma. Tandai sumber dengan titik dua setelah nama tabel tempat sumber berada.

Sintaksis parameter yang benar untuk kasus ini adalah:

interactivehive HDInsightHiveAndLLAPLogs: InteractiveHiveMetastoreLog, HDInsightHiveAndLLAPMetrics, HDInsightHiveTezAppStats, HDInsightHiveAndLLAPLogs: InteractiveHiveHSILog --enable 

Langkah berikutnya

• Mengkueri Log Azure Monitor untuk memantau kluster HDInsight
• Memantau ketersediaan kluster dengan Log Apache Ambari dan Azure Monitor