Aracılığıyla paylaş

Azure HDInsight'ta betik eylemiyle seçmeli günlük kullanma

  • Makale

Azure İzleyici Günlükleri , bulut ve şirket içi ortamlarınızı izleyen bir Azure İzleyici hizmetidir. İzleme, kullanılabilirlik ve performanslarının korunmasına yardımcı olur.

Azure İzleyici Günlükleri bulutunızdaki kaynaklar, şirket içi ortamlardaki kaynaklar ve diğer izleme araçları tarafından oluşturulan verileri toplar. Birden çok kaynakta analiz sağlamak için verileri kullanır. Analizi almak için, Azure portalında HDInsight için bir betik eylemi kullanarak seçmeli günlük özelliğini etkinleştirirsiniz.

Seçmeli günlük kaydı hakkında

Seçmeli günlük, Azure'daki genel izleme sisteminin bir parçasıdır. Kümenizi Log Analytics çalışma alanına bağlayıp seçmeli günlüğe kaydetmeyi etkinleştirdikten sonra HDInsight güvenlik günlükleri, Yarn Resource Manager ve sistem ölçümleri gibi günlükleri ve ölçümleri görebilirsiniz. İş yüklerini izleyebilir ve bunların küme kararlılığını nasıl etkilediğini görebilirsiniz.

Seçmeli günlük, Log Analytics çalışma alanında tüm tabloları etkinleştirmenize veya devre dışı bırakmanıza veya seçili tabloları etkinleştirmenize olanak tanır. Her tablo için kaynak türünü ayarlayabilirsiniz.

Dekont

Log Analytics bir kümeye yeniden yüklendiyse tüm tabloları ve günlük türlerini yeniden devre dışı bırakmanız gerekir. Yeniden yükleme, tüm yapılandırma dosyalarını özgün durumlarına sıfırlar.

Betik eylemleriyle ilgili dikkat edilmesi gerekenler

  • İzleme sistemi, birleştirilmiş bir günlük katmanı kullanarak günlükleri toplamak için Meta Veri Sunucusu Daemon'unu (izleme aracısı) ve Fluentd'i kullanır.
  • Seçmeli günlük, tabloları ve günlük türlerini devre dışı bırakmak veya etkinleştirmek için bir betik eylemi kullanır. Seçmeli günlük hiçbir yeni bağlantı noktasını açmadığından veya mevcut güvenlik ayarlarını değiştirmediğinden, hiçbir güvenlik değişikliği yoktur.
  • Betik eylemi tüm belirtilen düğümlerde paralel olarak çalışır ve tabloları ve bunların günlük türlerini devre dışı bırakmak veya etkinleştirmek için yapılandırma dosyalarını değiştirir.

Ön koşullar

  • Bir Log Analytics çalışma alanı. Bu çalışma alanını kendi veri deposu, veri kaynakları ve çözümleriyle benzersiz bir Azure İzleyici Günlükleri ortamı olarak düşünebilirsiniz. Yönergeler için bkz . Log Analytics çalışma alanı oluşturma.
  • Bir Azure HDInsight kümesi. Şu anda aşağıdaki HDInsight küme türleriyle seçmeli günlük özelliğini kullanabilirsiniz:
    • Hadoop
    • HBase
    • Interactive Query
    • Spark

HDInsight kümesi oluşturma yönergeleri için bkz . Azure HDInsight'ı kullanmaya başlama.

Birden çok tablo ve günlük türü için betik eylemi kullanarak günlükleri etkinleştirme veya devre dışı bırakma

  1. Betik eylemi oluşturma işlemini başlatmak için kümenizdeki Betik eylemleri'ne gidin ve Yeni gönder'i seçin.

    Screenshot that shows the button for starting the process of creating a script action.

    Betik gönder eylem bölmesi görüntülenir.

    Screenshot that shows the pane for submitting a script action.

  2. Betik türü için Özel'i seçin.

  3. Betiği adlandırın. Örneğin: İki tabloyu ve iki kaynağı devre dışı bırakın.

  4. Bash betiği URI'sinin selectiveLoggingScript.sh bağlantısı olması gerekir.

  5. Küme için geçerli olan tüm düğüm türlerini seçin. Seçenekler baş düğüm, çalışan düğümü ve ZooKeeper düğümü şeklindedir.

  6. Parametreleri tanımlayın. Örnek:

    • Kıvılcım: spark HDInsightSparkLogs:SparkExecutorLog --disable
    • Etkileşimli Sorgu: interactivehive HDInsightSparkLogs:SparkExecutorLog --enable
    • Hadoop: hadoop HDInsightSparkLogs:SparkExecutorLog --disable
    • HBase: hbase HDInsightSparkLogs: HDInsightHBaseLogs --enable

    Daha fazla bilgi için Parametre söz dizimi bölümüne bakın.

  7. Oluştur seçeneğini belirleyin.

  8. Birkaç dakika sonra betik eylem geçmişinizin yanında yeşil bir onay işareti görünür. Bu, betiğin başarıyla çalıştırıldığını gösterir.

    Screenshot that shows a successful run of a script to enable tables and log types.

Değişikliklerinizi Log Analytics çalışma alanında görürsünüz.

Sorun giderme

Log Analytics çalışma alanında değişiklik görünmüyor

Betik eyleminizi gönderirseniz ancak Log Analytics çalışma alanında değişiklik yoksa:

  1. Panolar'ın altında Ambari giriş'i seçerek hata ayıklama bilgilerini denetleyin.

    Screenshot that shows the location of the Ambari home dashboard.

  2. Ayarlar düğmesini seçin.

    Screenshot that shows the Settings button.

  3. Arka plan işlemleri listesinin en üstünde en son betik çalıştırmanızı seçin.

    Screenshot that shows background operations.

  4. Betik çalıştırma durumunu tüm düğümlerde tek tek doğrulayın.

    Screenshot that shows the script run status for hosts.

  5. Parametre söz dizimi bölümündeki parametre söz diziminin doğru olup olmadığını denetleyin.

  6. Log Analytics çalışma alanının kümeye bağlı olduğundan ve Log Analytics izlemesinin açık olduğundan emin olun.

  7. Çalıştırdığınız betik eylemi için kümeye yeni düğümler eklendiğinde yeniden çalıştırmak için Bu betiği kalıcı yap eylemini seçtiğinizden emin olun.

    Screenshot that shows the checkbox for persisting a script action.

  8. Yakın zamanda kümeye yeni bir düğüm eklenip eklenmediğini görün.

    Dekont

    Betiğin en son kümede çalışması için betiğin kalıcı olması gerekir.

  9. Betik eylemi için istediğiniz tüm düğüm türlerini seçtiğinizden emin olun.

    Screenshot that shows selected node types.

Betik eylemi başarısız oldu

Betik eylemi, betik eylem geçmişinde bir hata durumu gösteriyorsa:

  1. Parametre söz dizimi bölümündeki parametre söz diziminin doğru olup olmadığını denetleyin.
  2. Betik bağlantısının doğru olup olmadığını denetleyin. Şu şekilde olmalıdır: https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/selectiveLoggingScripts/selectiveLoggingScript.sh.

Tablo adları

Spark kümesi

Aşağıdaki tablo adları Spark tablolarının içindeki farklı günlük türlerine (kaynaklar) yöneliktir.

Kaynak numarası Tablo adı Günlük türleri Tanım
1. HDInsightAmbariCluster Uyarıları Günlük türü yok Bu tablo, kümedeki her düğümden Ambari kümesi uyarılarını içerir (kenar düğümleri hariç). Her uyarı bu tablodaki bir kayıttır.
2. HDInsightAmbariSystem Ölçümleri Günlük türü yok Bu tablo Ambari'den toplanan sistem ölçümlerini içerir. Ölçümler artık yalnızca iki baş düğüm yerine kümedeki her düğümden (kenar düğümleri hariç) geliyor. Her ölçüm artık bir sütundur ve her ölçüm kayıt başına bir kez raporlanır.
3. HDInsightHadoopAnd YarnLogs Baş düğüm: MRJobSummary, Resource Manager, TimelineServer Çalışan düğümü: NodeManager Bu tablo Hadoop ve YARN çerçevelerinden oluşturulan tüm günlükleri içerir.
4. HDInsightSecurityLogs AmbariAuditLog, AuthLog Bu tablo Ambari denetim ve kimlik doğrulama günlüklerinden kayıtları içerir.
5. HDInsightSparkLogs Baş düğüm: JupyterLog, LivyLog, SparkThriftDriverLog Worker düğümü: SparkExecutorLog, SparkDriverLog Bu tablo Spark ve ilgili bileşenleriyle ilgili tüm günlükleri içerir: Livy ve Jupyter.
6. HDInsightHadoopAnd YarnMetrics Günlük türü yok Bu tablo Hadoop ve YARN çerçevelerinden JMX ölçümlerini içerir. Eski Özel Günlükler tablolarıyla aynı JMX ölçümlerinin yanı sıra önemli kabul ettiğimiz diğer ölçümleri içerir. Zaman Çizelgesi Sunucusu, Düğüm Yöneticisi ve İş Geçmişi Sunucusu ölçümlerini ekledik. Kayıt başına bir ölçüm içerir.
7. HDInsightOozieLogs Oozie Bu tablo, Oozie çerçevesinden oluşturulan tüm günlükleri içerir.

Etkileşimli Sorgu kümesi

Aşağıdaki tablo adları Etkileşimli Sorgu tablolarındaki farklı günlük türlerine (kaynaklar) yöneliktir.

Kaynak numarası Tablo adı Günlük türleri Tanım
1. HDInsightAmbariClusterAlerts Günlük türü yok Bu tablo, kümedeki her düğümden Ambari kümesi uyarılarını içerir (kenar düğümleri hariç). Her uyarı bu tablodaki bir kayıttır.
2. HDInsightAmbariSystem Ölçümleri Günlük türü yok Bu tablo Ambari'den toplanan sistem ölçümlerini içerir. Ölçümler artık yalnızca iki baş düğüm yerine kümedeki her düğümden (kenar düğümleri hariç) geliyor. Her ölçüm artık bir sütundur ve her ölçüm kayıt başına bir kez raporlanır.
3. HDInsightHadoopAndYarnLogs Baş düğüm: MRJobSummary, Resource Manager, TimelineServer Çalışan düğümü: NodeManager Bu tablo Hadoop ve YARN çerçevelerinden oluşturulan tüm günlükleri içerir.
4. HDInsightHadoopAndYarnMetrics Günlük türü yok Bu tablo Hadoop ve YARN çerçevelerinden JMX ölçümlerini içerir. Eski Özel Günlükler tablolarıyla aynı JMX ölçümlerinin yanı sıra önemli kabul ettiğimiz diğer ölçümleri içerir. Zaman Çizelgesi Sunucusu, Düğüm Yöneticisi ve İş Geçmişi Sunucusu ölçümlerini ekledik. Kayıt başına bir ölçüm içerir.
5. HDInsightHiveAndLLAPLogs Baş düğüm: InteractiveHiveHSILog, InteractiveHiveMetastoreLog, ZeppelinLog Bu tablo Hive, LLAP ve ilgili bileşenlerinden oluşturulan günlükleri içerir: WebHCat ve Zeppelin.
6. HDInsightHiveAndLLAPmetrics Günlük türü yok Bu tablo Hive ve LLAP çerçevelerinden JMX ölçümlerini içerir. Eski Özel Günlükler tablolarıyla aynı tüm JMX ölçümlerini içerir. Kayıt başına bir ölçüm içerir.
7. HDInsightHiveTezAppStats Günlük türü yok
8. HDInsightSecurityLogs Baş düğüm: AmbariAuditLog, AuthLog ZooKeeper düğümü, çalışan düğümü: AuthLog Bu tablo Ambari denetim ve kimlik doğrulama günlüklerinden kayıtları içerir.

HBase kümesi

Aşağıdaki tablo adları, HBase tablolarındaki farklı günlük türlerine (kaynaklar) yöneliktir.

Kaynak numarası Tablo adı Günlük türleri Tanım
1. HDInsightAmbariClusterAlerts Başka günlük türü yok Bu tablo, kümedeki her düğümden Ambari kümesi uyarılarını içerir (kenar düğümleri hariç). Her uyarı bu tablodaki bir kayıttır.
2. HDInsightAmbariSystem Ölçümleri Başka günlük türü yok Bu tablo Ambari'den toplanan sistem ölçümlerini içerir. Ölçümler artık yalnızca iki baş düğüm yerine kümedeki her düğümden (kenar düğümleri hariç) geliyor. Her ölçüm artık bir sütundur ve her ölçüm kayıt başına bir kez raporlanır.
3. HDInsightHadoopAndYarnLogs Baş düğüm: MRJobSummary, Resource Manager, TimelineServer Çalışan düğümü: NodeManager Bu tablo Hadoop ve YARN çerçevelerinden oluşturulan tüm günlükleri içerir.
4. HDInsightSecurityLogs Baş düğüm: AmbariAuditLog, AuthLog Worker düğümü: AuthLog ZooKeeper düğümü: AuthLog Bu tablo Ambari denetim ve kimlik doğrulama günlüklerinden kayıtları içerir.
5. HDInsightHBaseLogs Baş düğüm: HDFSGarbageCollectorLog, HDFSNameNodeLog Çalışan düğümü: PhoenixServerLog, HBaseRegionServerLog, HBaseRestServerLog ZooKeeper düğümü: HBaseMasterLog Bu tablo, HBase'den günlükleri ve ilgili bileşenlerini içerir: Phoenix ve HDFS.
6. HDInsightHBaseMetrics Günlük türü yok Bu tabloda HBase'den JMX ölçümleri yer alır. Eski Şema sütununda listelenen tablolardaki tüm aynı JMX ölçümlerini içerir. Eski tablolardan farklı olarak, her satır bir ölçüm içerir.
7. HDInsightHadoopAndYarn Ölçümleri Günlük türü yok Bu tablo Hadoop ve YARN çerçevelerinden JMX ölçümlerini içerir. Eski Özel Günlükler tablolarıyla aynı JMX ölçümlerinin yanı sıra önemli kabul ettiğimiz diğer ölçümleri içerir. Zaman Çizelgesi Sunucusu, Düğüm Yöneticisi ve İş Geçmişi Sunucusu ölçümlerini ekledik. Kayıt başına bir ölçüm içerir.

Hadoop kümesi

Aşağıdaki tablo adları Hadoop tablolarındaki farklı günlük türlerine (kaynaklar) yöneliktir.

Kaynak numarası Tablo adı Günlük türleri Tanım
1. HDInsightAmbariClusterAlerts Günlük türü yok Bu tablo, kümedeki her düğümden Ambari kümesi uyarılarını içerir (kenar düğümleri hariç). Her uyarı bu tablodaki bir kayıttır.
2. HDInsightAmbariSystem Ölçümleri Günlük türü yok Bu tablo Ambari'den toplanan sistem ölçümlerini içerir. Ölçümler artık yalnızca iki baş düğüm yerine kümedeki her düğümden (kenar düğümleri hariç) geliyor. Her ölçüm artık bir sütundur ve her ölçüm kayıt başına bir kez raporlanır.
3. HDInsightHadoopAndYarnLogs Baş düğüm: MRJobSummary, Resource Manager, TimelineServer Çalışan düğümü: NodeManager Bu tablo Hadoop ve YARN çerçevelerinden oluşturulan tüm günlükleri içerir.
4. HDInsightHadoopAndYarnMetrics Günlük türü yok Bu tablo Hadoop ve YARN çerçevelerinden JMX ölçümlerini içerir. Eski Özel Günlükler tablolarıyla aynı JMX ölçümlerinin yanı sıra önemli kabul ettiğimiz diğer ölçümleri içerir. Zaman Çizelgesi Sunucusu, Düğüm Yöneticisi ve İş Geçmişi Sunucusu ölçümlerini ekledik. Kayıt başına bir ölçüm içerir.
5. HDInsightHiveAndLLAPLogs Baş düğüm: HiveMetastoreLog, HiveServer2Log, WebHcatLog Bu tablo Hive, LLAP ve ilgili bileşenlerinden oluşturulan günlükleri içerir: WebHCat ve Zeppelin.
6. HDInsight Hive ve LLAP Ölçümleri Günlük türü yok Bu tablo Hive ve LLAP çerçevelerinden JMX ölçümlerini içerir. Eski Özel Günlükler tablolarıyla aynı tüm JMX ölçümlerini içerir. Kayıt başına bir ölçüm içerir.
7. HDInsight Güvenlik Günlükleri Baş düğüm: AmbariAuditLog, AuthLog ZooKeeper düğümü: AuthLog Bu tablo Ambari denetim ve kimlik doğrulama günlüklerinden kayıtları içerir.

Parametre söz dizimi

Parametreler küme türünü, tablo adlarını, kaynak adlarını ve eylemi tanımlar.

Screenshot that shows the parameter syntax box.

Parametre üç bölümden oluşur:

  • Küme türü
  • Tablolar ve günlük türleri
  • Eylem ( --disable veya --enable)

Birden çok tablo için söz dizimi

Birden çok tablonuz olduğunda, bunlar virgülle ayrılır. Örnek:

spark HDInsightSecurityLogs, HDInsightAmbariSystemMetrics --disable

hbase HDInsightSecurityLogs, HDInsightAmbariSystemMetrics --enable

Birden çok kaynak türü veya günlük türü için söz dizimi

Birden çok kaynak türünüz veya günlük türünüz olduğunda, bunlar bir boşlukla ayrılır.

Kaynağı devre dışı bırakmak için, günlük türlerini içeren tablo adını ve ardından iki nokta üst üste ve ardından gerçek günlük türü adını yazın:

TableName : LogTypeName

Örneğin, iki günlük türüne sahip bir tablo olduğunu spark HDInsightSecurityLogs varsayalım: AmbariAuditLog ve AuthLog. Her iki günlük türünü de devre dışı bırakmak için doğru söz dizimi şöyle olacaktır:

spark HDInsightSecurityLogs: AmbariAuditLog AuthLog --disable

Birden çok tablo ve kaynak türü için söz dizimi

İki tabloyu ve iki kaynak türünü devre dışı bırakmanız gerekiyorsa aşağıdaki söz dizimini kullanın:

  • Spark: InteractiveHiveMetastoreLog tabloda günlük türü HDInsightHiveAndLLAPLogs
  • Hbase: InteractiveHiveHSILog tabloda günlük türü HDInsightHiveAndLLAPLogs
  • Hadoop: HDInsightHiveAndLLAPMetrics tablo
  • Hadoop: HDInsightHiveTezAppStats tablo

Tabloları virgülle ayırın. Kaynakları, bulundukları tablo adından sonra iki nokta üst üste kullanarak belirtin.

Bu durumlar için doğru parametre söz dizimi şöyle olabilir:

interactivehive HDInsightHiveAndLLAPLogs: InteractiveHiveMetastoreLog, HDInsightHiveAndLLAPMetrics, HDInsightHiveTezAppStats, HDInsightHiveAndLLAPLogs: InteractiveHiveHSILog --enable

Sonraki adımlar