Menggunakan log Azure Monitor untuk memantau kluster HDInsight

  • Artikel

Pelajari cara mengaktifkan log Azure Monitor untuk memantau operasi kluster Hadoop di Microsoft Azure HDInsight. Dan cara menambahkan solusi pemantauan Microsoft Azure HDInsight.

Log Azure Monitor adalah layanan Azure Monitor yang memantau lingkungan cloud dan lokal Anda. Pemantauan tersebut untuk menjaga ketersediaan dan performanya. Hal ini mengumpulkan data yang dihasilkan oleh sumber daya di cloud Anda, lingkungan lokal dan dari alat pemantauan lainnya. Data digunakan untuk memberikan analisis di beberapa sumber.

Catatan

Artikel ini baru-baru ini diperbarui untuk menggunakan istilah log Azure Monitor alih-alih Analitik Log. Data log masih disimpan di ruang kerja Analitik Log dan masih dikumpulkan dan dianalisis oleh layanan Analitik Log yang sama. Kami memperbarui terminologi untuk mencerminkan peran log di Azure Monitor dengan lebih baik. Lihat Perubahan terminologi Azure Monitor untuk detailnya.

Jika Anda tidak memiliki langganan Azure, buat akun gratis sebelum Anda memulai.

Penting

Pengalaman Azure Monitor baru tersedia di semua wilayah sebagai fitur pratinjau.

Prasyarat

  • Ruang kerja Analitik Log. Anda dapat menganggap ruang kerja ini sebagai lingkungan log Azure Monitor yang unik dengan repositori data, sumber data, dan solusinya sendiri. Untuk mengetahui petunjuknya, lihat Membuat ruang kerja Analitik Log.

  • Kluster Microsoft Azure HDInsight. Saat ini, Anda dapat menggunakan log Azure Monitor dengan tipe kluster Microsoft Azure HDInsight berikut:

    • Hadoop
    • HBase
    • Interactive Query
    • Kafka
    • Spark

    Untuk petunjuk tentang cara membuat kluster Microsoft Azure HDInsight, lihat Mulai menggunakan Microsoft Azure HDInsight.

  • Jika menggunakan PowerShell, Anda memerlukan Modul Az. Pastikan Anda memiliki versi terbaru. Jika perlu, jalankan Update-Module -Name Az.

  • Jika ingin menggunakan Azure CLI dan Anda belum memasangnya, lihat Memasang Azure CLI.

Catatan

Pengalaman Azure Monitor baru hanya tersedia di semua wilayah sebagai fitur pratinjau. Disarankan untuk menempatkan kluster Microsoft Azure HDInsight dan ruang kerja Log Analitik di wilayah yang sama untuk performa yang lebih baik.

Mengaktifkan Azure Monitor menggunakan portal

Di bagian ini, Anda mengonfigurasikan kluster Microsoft Azure HDInsight Hadoop yang ada untuk menggunakan ruang kerja Azure Log Analitik untuk memantau pekerjaan, men-debug log, dan sebagainya.

  1. Dari portal Microsoft Azure, pilih kluster Anda. Kluster ini dibuka di halaman portal baru.

  2. Dari kiri, di bawah Pemantauan, pilih Integrasi Monitor.

  3. Dari tampilan utama, di bawah Azure Monitor untuk Integrasi Kluster HDInsight, pilih Aktifkan.

  4. Dari daftar turun bawah Pilih ruang kerja, pilih ruang kerja Analitik Log yang sudah ada.

  5. Pilih Simpan. Dibutuhkan beberapa saat untuk menyimpan pengaturan.

    Enable monitoring for HDInsight clusters.

Jika Anda ingin menonaktifkan Azure Monitor, Anda dapat melakukan hal yang sama di portal ini.

Mengaktifkan Azure Monitor menggunakan Azure PowerShell

Anda dapat mengaktifkan log Azure Monitor menggunakan cmdlet Enable-AzMicrosoft Azure HDInsightMonitoring modul Azure PowerShell Az.

# Enter user information
$resourceGroup = "<your-resource-group>"
$cluster = "<your-cluster>"
$LAW = "<your-Log-Analytics-workspace>"
# End of user input

# obtain workspace id for defined Log Analytics workspace
$WorkspaceId = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW).CustomerId

# obtain primary key for defined Log Analytics workspace
$PrimaryKey = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW | Get-AzOperationalInsightsWorkspaceSharedKeys).PrimarySharedKey

# Enables monitoring and relevant logs will be sent to the specified workspace.
Enable-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster `
    -WorkspaceId $WorkspaceId `
    -PrimaryKey $PrimaryKey

# Gets the status of monitoring installation on the cluster.
Get-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster

Untuk menonaktifkan, gunakan cmdlet Disable-AzHDInsightMonitoring:

Disable-AzHDInsightAzureMonitor -ResourceGroupName $resourceGroup `
-ClusterName $cluster

Mengaktifkan Azure Monitor menggunakan Azure CLI

Anda dapat mengaktifkan log Azure Monitor menggunakan perintah az hdinsight azure-monitor enable Azure CLI.

# set variables
export resourceGroup=RESOURCEGROUPNAME
export cluster=CLUSTERNAME
export LAW=LOGANALYTICSWORKSPACENAME

# Enable the Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor enable --name $cluster --resource-group $resourceGroup --workspace $LAW

# Get the status of Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor show --name $cluster --resource-group $resourceGroup

Untuk menonaktifkan, gunakan perintah az hdinsight monitor disable.

az hdinsight azure-monitor disable --name $cluster --resource-group $resourceGroup

Gunakan HDInsight out-of-box Insights untuk memantau satu kluster

HDInsight menyediakan buku kerja khusus beban kerja untuk membantu Anda mendapatkan wawasan dengan cepat. Buku kerja ini mengumpulkan metrik kinerja penting dari kluster HDInsight Anda dan menyediakan visualisasi dan dasbor untuk skenario yang paling umum. Insight out-of-box memberikan pandangan lengkap dari satu kluster HDInsight termasuk pemanfaatan sumber daya dan status aplikasi.

Buku kerja HDInsight yang tersedia:

  • Buku Kerja HDInsight Spark
  • Buku Kerja HDInsight Kafka
  • Buku Kerja HDInsight HBase
  • Buku Kerja HDInsight Apache Hive/LLAP

Cuplikan layar Buku Kerja Spark Spark workbook screenshot.

Mengonfigurasi penghitung kinerja

Monitor Azure mendukung pengumpulan dan analisis metrik performa untuk simpul di kluster Anda. Untuk informasi selengkapnya, lihat Sumber data kinerja Linux di Azure Monitor.

Audit kluster

Microsoft Azure HDInsight mendukung audit kluster dengan log Azure Monitor, dengan mengimpor tipe log berikut:

  • log_gateway_audit_CL - tabel ini menyediakan log audit dari simpul gateway kluster yang menunjukkan upaya login yang berhasil dan gagal.
  • log_auth_CL - tabel ini menyediakan log SSH dengan upaya login yang berhasil dan gagal.
  • log_ambari_audit_CL - tabel ini menyediakan log audit dari Ambari.
  • log_ranger_audti_CL - tabel ini menyediakan log audit dari Apache Ranger pada kluster ESP.

Perbarui Agen Log Analytics (OMS) yang digunakan oleh Integrasi HDInsight Azure Monitor

Ketika integrasi Azure Monitor diaktifkan pada kluster, agen Log Analytics, atau Agen Operations Management Suite (OMS), dipasang pada kluster dan tidak diperbarui kecuali Anda menonaktifkan dan mengaktifkan kembali Integrasi Azure Monitor. Selesaikan langkah-langkah berikut jika Anda perlu memperbarui Agen OMS di kluster. Jika Anda berada di belakang firewall, Anda mungkin perlu menyelesaikan Prasyarat untuk kluster di belakang firewall sebelum menyelesaikan langkah-langkah ini.

  1. Dari portal Microsoft Azure, pilih kluster Anda. Kluster ini dibuka di halaman portal baru.
  2. Dari kiri, di bawah Pemantauan, pilih Azure Monitor.
  3. Perhatikan nama ruang kerja Log Analytics Anda saat ini.
  4. Dari tampilan utama, di bawah Integrasi Azure Monitor, nonaktifkan tombol lalu pilihSimpan.
  5. Setelah pengaturan disimpan, aktifkan kembali tombol Integrasi Azure Monitor, dan pastikan ruang kerja Log Analytics yang sama dipilih, lalu pilih Simpan.

Jika Anda mengaktifkan Integrasi Azure Monitor pada klaster, memperbarui agen OMS juga akan memperbarui versi Open Management Infrastructure (OMI). Anda dapat memeriksa versi OMI pada kluster dengan menjalankan perintah berikut:

 sudo /opt/omi/bin/omiserver –version

Langkah berikutnya