Azure HDInsight'ta betik eylemiyle seçmeli günlük kullanma
Azure İzleyici Günlükleri , bulut ve şirket içi ortamlarınızı izleyen bir Azure İzleyici hizmetidir. İzleme, kullanılabilirlik ve performanslarının korunmasına yardımcı olur.
Azure İzleyici Günlükleri bulutunızdaki kaynaklar, şirket içi ortamlardaki kaynaklar ve diğer izleme araçları tarafından oluşturulan verileri toplar. Birden çok kaynakta analiz sağlamak için verileri kullanır. Analizi almak için, Azure portalında HDInsight için bir betik eylemi kullanarak seçmeli günlük özelliğini etkinleştirirsiniz.
Seçmeli günlük kaydı hakkında
Seçmeli günlük, Azure'daki genel izleme sisteminin bir parçasıdır. Kümenizi Log Analytics çalışma alanına bağlayıp seçmeli günlüğe kaydetmeyi etkinleştirdikten sonra HDInsight güvenlik günlükleri, Yarn Resource Manager ve sistem ölçümleri gibi günlükleri ve ölçümleri görebilirsiniz. İş yüklerini izleyebilir ve bunların küme kararlılığını nasıl etkilediğini görebilirsiniz.
Seçmeli günlük, Log Analytics çalışma alanında tüm tabloları etkinleştirmenize veya devre dışı bırakmanıza veya seçili tabloları etkinleştirmenize olanak tanır. Her tablo için kaynak türünü ayarlayabilirsiniz.
Dekont
Log Analytics bir kümeye yeniden yüklendiyse tüm tabloları ve günlük türlerini yeniden devre dışı bırakmanız gerekir. Yeniden yükleme, tüm yapılandırma dosyalarını özgün durumlarına sıfırlar.
Betik eylemleriyle ilgili dikkat edilmesi gerekenler
- İzleme sistemi, birleştirilmiş bir günlük katmanı kullanarak günlükleri toplamak için Meta Veri Sunucusu Daemon'unu (izleme aracısı) ve Fluentd'i kullanır.
- Seçmeli günlük, tabloları ve günlük türlerini devre dışı bırakmak veya etkinleştirmek için bir betik eylemi kullanır. Seçmeli günlük hiçbir yeni bağlantı noktasını açmadığından veya mevcut güvenlik ayarlarını değiştirmediğinden, hiçbir güvenlik değişikliği yoktur.
- Betik eylemi tüm belirtilen düğümlerde paralel olarak çalışır ve tabloları ve bunların günlük türlerini devre dışı bırakmak veya etkinleştirmek için yapılandırma dosyalarını değiştirir.
Ön koşullar
- Bir Log Analytics çalışma alanı. Bu çalışma alanını kendi veri deposu, veri kaynakları ve çözümleriyle benzersiz bir Azure İzleyici Günlükleri ortamı olarak düşünebilirsiniz. Yönergeler için bkz . Log Analytics çalışma alanı oluşturma.
- Bir Azure HDInsight kümesi. Şu anda aşağıdaki HDInsight küme türleriyle seçmeli günlük özelliğini kullanabilirsiniz:
- Hadoop
- HBase
- Interactive Query
- Spark
HDInsight kümesi oluşturma yönergeleri için bkz . Azure HDInsight'ı kullanmaya başlama.
Birden çok tablo ve günlük türü için betik eylemi kullanarak günlükleri etkinleştirme veya devre dışı bırakma
Betik eylemi oluşturma işlemini başlatmak için kümenizdeki Betik eylemleri'ne gidin ve Yeni gönder'i seçin.
Betik gönder eylem bölmesi görüntülenir.
Betik türü için Özel'i seçin.
Betiği adlandırın. Örneğin: İki tabloyu ve iki kaynağı devre dışı bırakın.
Bash betiği URI'sinin selectiveLoggingScript.sh bağlantısı olması gerekir.
Küme için geçerli olan tüm düğüm türlerini seçin. Seçenekler baş düğüm, çalışan düğümü ve ZooKeeper düğümü şeklindedir.
Parametreleri tanımlayın. Örnek:
- Kıvılcım:
spark HDInsightSparkLogs:SparkExecutorLog --disable
- Etkileşimli Sorgu:
interactivehive HDInsightSparkLogs:SparkExecutorLog --enable
- Hadoop:
hadoop HDInsightSparkLogs:SparkExecutorLog --disable
- HBase:
hbase HDInsightSparkLogs: HDInsightHBaseLogs --enable
Daha fazla bilgi için Parametre söz dizimi bölümüne bakın.
- Kıvılcım:
Oluştur seçeneğini belirleyin.
Birkaç dakika sonra betik eylem geçmişinizin yanında yeşil bir onay işareti görünür. Bu, betiğin başarıyla çalıştırıldığını gösterir.
Değişikliklerinizi Log Analytics çalışma alanında görürsünüz.
Sorun giderme
Log Analytics çalışma alanında değişiklik görünmüyor
Betik eyleminizi gönderirseniz ancak Log Analytics çalışma alanında değişiklik yoksa:
Panolar'ın altında Ambari giriş'i seçerek hata ayıklama bilgilerini denetleyin.
Ayarlar düğmesini seçin.
Arka plan işlemleri listesinin en üstünde en son betik çalıştırmanızı seçin.
Betik çalıştırma durumunu tüm düğümlerde tek tek doğrulayın.
Parametre söz dizimi bölümündeki parametre söz diziminin doğru olup olmadığını denetleyin.
Log Analytics çalışma alanının kümeye bağlı olduğundan ve Log Analytics izlemesinin açık olduğundan emin olun.
Çalıştırdığınız betik eylemi için kümeye yeni düğümler eklendiğinde yeniden çalıştırmak için Bu betiği kalıcı yap eylemini seçtiğinizden emin olun.
Yakın zamanda kümeye yeni bir düğüm eklenip eklenmediğini görün.
Dekont
Betiğin en son kümede çalışması için betiğin kalıcı olması gerekir.
Betik eylemi için istediğiniz tüm düğüm türlerini seçtiğinizden emin olun.
Betik eylemi başarısız oldu
Betik eylemi, betik eylem geçmişinde bir hata durumu gösteriyorsa:
- Parametre söz dizimi bölümündeki parametre söz diziminin doğru olup olmadığını denetleyin.
- Betik bağlantısının doğru olup olmadığını denetleyin. Şu şekilde olmalıdır:
https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/selectiveLoggingScripts/selectiveLoggingScript.sh
.
Tablo adları
Spark kümesi
Aşağıdaki tablo adları Spark tablolarının içindeki farklı günlük türlerine (kaynaklar) yöneliktir.
Kaynak numarası | Tablo adı | Günlük türleri | Tanım |
---|---|---|---|
1. | HDInsightAmbariCluster Uyarıları | Günlük türü yok | Bu tablo, kümedeki her düğümden Ambari kümesi uyarılarını içerir (kenar düğümleri hariç). Her uyarı bu tablodaki bir kayıttır. |
2. | HDInsightAmbariSystem Ölçümleri | Günlük türü yok | Bu tablo Ambari'den toplanan sistem ölçümlerini içerir. Ölçümler artık yalnızca iki baş düğüm yerine kümedeki her düğümden (kenar düğümleri hariç) geliyor. Her ölçüm artık bir sütundur ve her ölçüm kayıt başına bir kez raporlanır. |
3. | HDInsightHadoopAnd YarnLogs | Baş düğüm: MRJobSummary, Resource Manager, TimelineServer Çalışan düğümü: NodeManager | Bu tablo Hadoop ve YARN çerçevelerinden oluşturulan tüm günlükleri içerir. |
4. | HDInsightSecurityLogs | AmbariAuditLog, AuthLog | Bu tablo Ambari denetim ve kimlik doğrulama günlüklerinden kayıtları içerir. |
5. | HDInsightSparkLogs | Baş düğüm: JupyterLog, LivyLog, SparkThriftDriverLog Worker düğümü: SparkExecutorLog, SparkDriverLog | Bu tablo Spark ve ilgili bileşenleriyle ilgili tüm günlükleri içerir: Livy ve Jupyter. |
6. | HDInsightHadoopAnd YarnMetrics | Günlük türü yok | Bu tablo Hadoop ve YARN çerçevelerinden JMX ölçümlerini içerir. Eski Özel Günlükler tablolarıyla aynı JMX ölçümlerinin yanı sıra önemli kabul ettiğimiz diğer ölçümleri içerir. Zaman Çizelgesi Sunucusu, Düğüm Yöneticisi ve İş Geçmişi Sunucusu ölçümlerini ekledik. Kayıt başına bir ölçüm içerir. |
7. | HDInsightOozieLogs | Oozie | Bu tablo, Oozie çerçevesinden oluşturulan tüm günlükleri içerir. |
Etkileşimli Sorgu kümesi
Aşağıdaki tablo adları Etkileşimli Sorgu tablolarındaki farklı günlük türlerine (kaynaklar) yöneliktir.
Kaynak numarası | Tablo adı | Günlük türleri | Tanım |
---|---|---|---|
1. | HDInsightAmbariClusterAlerts | Günlük türü yok | Bu tablo, kümedeki her düğümden Ambari kümesi uyarılarını içerir (kenar düğümleri hariç). Her uyarı bu tablodaki bir kayıttır. |
2. | HDInsightAmbariSystem Ölçümleri | Günlük türü yok | Bu tablo Ambari'den toplanan sistem ölçümlerini içerir. Ölçümler artık yalnızca iki baş düğüm yerine kümedeki her düğümden (kenar düğümleri hariç) geliyor. Her ölçüm artık bir sütundur ve her ölçüm kayıt başına bir kez raporlanır. |
3. | HDInsightHadoopAndYarnLogs | Baş düğüm: MRJobSummary, Resource Manager, TimelineServer Çalışan düğümü: NodeManager | Bu tablo Hadoop ve YARN çerçevelerinden oluşturulan tüm günlükleri içerir. |
4. | HDInsightHadoopAndYarnMetrics | Günlük türü yok | Bu tablo Hadoop ve YARN çerçevelerinden JMX ölçümlerini içerir. Eski Özel Günlükler tablolarıyla aynı JMX ölçümlerinin yanı sıra önemli kabul ettiğimiz diğer ölçümleri içerir. Zaman Çizelgesi Sunucusu, Düğüm Yöneticisi ve İş Geçmişi Sunucusu ölçümlerini ekledik. Kayıt başına bir ölçüm içerir. |
5. | HDInsightHiveAndLLAPLogs | Baş düğüm: InteractiveHiveHSILog, InteractiveHiveMetastoreLog, ZeppelinLog | Bu tablo Hive, LLAP ve ilgili bileşenlerinden oluşturulan günlükleri içerir: WebHCat ve Zeppelin. |
6. | HDInsightHiveAndLLAPmetrics | Günlük türü yok | Bu tablo Hive ve LLAP çerçevelerinden JMX ölçümlerini içerir. Eski Özel Günlükler tablolarıyla aynı tüm JMX ölçümlerini içerir. Kayıt başına bir ölçüm içerir. |
7. | HDInsightHiveTezAppStats | Günlük türü yok | |
8. | HDInsightSecurityLogs | Baş düğüm: AmbariAuditLog, AuthLog ZooKeeper düğümü, çalışan düğümü: AuthLog | Bu tablo Ambari denetim ve kimlik doğrulama günlüklerinden kayıtları içerir. |
HBase kümesi
Aşağıdaki tablo adları, HBase tablolarındaki farklı günlük türlerine (kaynaklar) yöneliktir.
Kaynak numarası | Tablo adı | Günlük türleri | Tanım |
---|---|---|---|
1. | HDInsightAmbariClusterAlerts | Başka günlük türü yok | Bu tablo, kümedeki her düğümden Ambari kümesi uyarılarını içerir (kenar düğümleri hariç). Her uyarı bu tablodaki bir kayıttır. |
2. | HDInsightAmbariSystem Ölçümleri | Başka günlük türü yok | Bu tablo Ambari'den toplanan sistem ölçümlerini içerir. Ölçümler artık yalnızca iki baş düğüm yerine kümedeki her düğümden (kenar düğümleri hariç) geliyor. Her ölçüm artık bir sütundur ve her ölçüm kayıt başına bir kez raporlanır. |
3. | HDInsightHadoopAndYarnLogs | Baş düğüm: MRJobSummary, Resource Manager, TimelineServer Çalışan düğümü: NodeManager | Bu tablo Hadoop ve YARN çerçevelerinden oluşturulan tüm günlükleri içerir. |
4. | HDInsightSecurityLogs | Baş düğüm: AmbariAuditLog, AuthLog Worker düğümü: AuthLog ZooKeeper düğümü: AuthLog | Bu tablo Ambari denetim ve kimlik doğrulama günlüklerinden kayıtları içerir. |
5. | HDInsightHBaseLogs | Baş düğüm: HDFSGarbageCollectorLog, HDFSNameNodeLog Çalışan düğümü: PhoenixServerLog, HBaseRegionServerLog, HBaseRestServerLog ZooKeeper düğümü: HBaseMasterLog | Bu tablo, HBase'den günlükleri ve ilgili bileşenlerini içerir: Phoenix ve HDFS. |
6. | HDInsightHBaseMetrics | Günlük türü yok | Bu tabloda HBase'den JMX ölçümleri yer alır. Eski Şema sütununda listelenen tablolardaki tüm aynı JMX ölçümlerini içerir. Eski tablolardan farklı olarak, her satır bir ölçüm içerir. |
7. | HDInsightHadoopAndYarn Ölçümleri | Günlük türü yok | Bu tablo Hadoop ve YARN çerçevelerinden JMX ölçümlerini içerir. Eski Özel Günlükler tablolarıyla aynı JMX ölçümlerinin yanı sıra önemli kabul ettiğimiz diğer ölçümleri içerir. Zaman Çizelgesi Sunucusu, Düğüm Yöneticisi ve İş Geçmişi Sunucusu ölçümlerini ekledik. Kayıt başına bir ölçüm içerir. |
Hadoop kümesi
Aşağıdaki tablo adları Hadoop tablolarındaki farklı günlük türlerine (kaynaklar) yöneliktir.
Kaynak numarası | Tablo adı | Günlük türleri | Tanım |
---|---|---|---|
1. | HDInsightAmbariClusterAlerts | Günlük türü yok | Bu tablo, kümedeki her düğümden Ambari kümesi uyarılarını içerir (kenar düğümleri hariç). Her uyarı bu tablodaki bir kayıttır. |
2. | HDInsightAmbariSystem Ölçümleri | Günlük türü yok | Bu tablo Ambari'den toplanan sistem ölçümlerini içerir. Ölçümler artık yalnızca iki baş düğüm yerine kümedeki her düğümden (kenar düğümleri hariç) geliyor. Her ölçüm artık bir sütundur ve her ölçüm kayıt başına bir kez raporlanır. |
3. | HDInsightHadoopAndYarnLogs | Baş düğüm: MRJobSummary, Resource Manager, TimelineServer Çalışan düğümü: NodeManager | Bu tablo Hadoop ve YARN çerçevelerinden oluşturulan tüm günlükleri içerir. |
4. | HDInsightHadoopAndYarnMetrics | Günlük türü yok | Bu tablo Hadoop ve YARN çerçevelerinden JMX ölçümlerini içerir. Eski Özel Günlükler tablolarıyla aynı JMX ölçümlerinin yanı sıra önemli kabul ettiğimiz diğer ölçümleri içerir. Zaman Çizelgesi Sunucusu, Düğüm Yöneticisi ve İş Geçmişi Sunucusu ölçümlerini ekledik. Kayıt başına bir ölçüm içerir. |
5. | HDInsightHiveAndLLAPLogs | Baş düğüm: HiveMetastoreLog, HiveServer2Log, WebHcatLog | Bu tablo Hive, LLAP ve ilgili bileşenlerinden oluşturulan günlükleri içerir: WebHCat ve Zeppelin. |
6. | HDInsight Hive ve LLAP Ölçümleri | Günlük türü yok | Bu tablo Hive ve LLAP çerçevelerinden JMX ölçümlerini içerir. Eski Özel Günlükler tablolarıyla aynı tüm JMX ölçümlerini içerir. Kayıt başına bir ölçüm içerir. |
7. | HDInsight Güvenlik Günlükleri | Baş düğüm: AmbariAuditLog, AuthLog ZooKeeper düğümü: AuthLog | Bu tablo Ambari denetim ve kimlik doğrulama günlüklerinden kayıtları içerir. |
Parametre söz dizimi
Parametreler küme türünü, tablo adlarını, kaynak adlarını ve eylemi tanımlar.
Parametre üç bölümden oluşur:
- Küme türü
- Tablolar ve günlük türleri
- Eylem (
--disable
veya--enable
)
Birden çok tablo için söz dizimi
Birden çok tablonuz olduğunda, bunlar virgülle ayrılır. Örnek:
spark HDInsightSecurityLogs, HDInsightAmbariSystemMetrics --disable
hbase HDInsightSecurityLogs, HDInsightAmbariSystemMetrics --enable
Birden çok kaynak türü veya günlük türü için söz dizimi
Birden çok kaynak türünüz veya günlük türünüz olduğunda, bunlar bir boşlukla ayrılır.
Kaynağı devre dışı bırakmak için, günlük türlerini içeren tablo adını ve ardından iki nokta üst üste ve ardından gerçek günlük türü adını yazın:
TableName : LogTypeName
Örneğin, iki günlük türüne sahip bir tablo olduğunu spark HDInsightSecurityLogs
varsayalım: AmbariAuditLog
ve AuthLog
. Her iki günlük türünü de devre dışı bırakmak için doğru söz dizimi şöyle olacaktır:
spark HDInsightSecurityLogs: AmbariAuditLog AuthLog --disable
Birden çok tablo ve kaynak türü için söz dizimi
İki tabloyu ve iki kaynak türünü devre dışı bırakmanız gerekiyorsa aşağıdaki söz dizimini kullanın:
- Spark:
InteractiveHiveMetastoreLog
tabloda günlük türüHDInsightHiveAndLLAPLogs
- Hbase:
InteractiveHiveHSILog
tabloda günlük türüHDInsightHiveAndLLAPLogs
- Hadoop:
HDInsightHiveAndLLAPMetrics
tablo - Hadoop:
HDInsightHiveTezAppStats
tablo
Tabloları virgülle ayırın. Kaynakları, bulundukları tablo adından sonra iki nokta üst üste kullanarak belirtin.
Bu durumlar için doğru parametre söz dizimi şöyle olabilir:
interactivehive HDInsightHiveAndLLAPLogs: InteractiveHiveMetastoreLog, HDInsightHiveAndLLAPMetrics, HDInsightHiveTezAppStats, HDInsightHiveAndLLAPLogs: InteractiveHiveHSILog --enable
Sonraki adımlar
Geri Bildirim
https://aka.ms/ContentUserFeedback.
Çok yakında: 2024 boyunca, içerik için geri bildirim mekanizması olarak GitHub Sorunları’nı kullanımdan kaldıracak ve yeni bir geri bildirim sistemiyle değiştireceğiz. Daha fazla bilgi için bkz.Gönderin ve geri bildirimi görüntüleyin