Aracılığıyla paylaş

Azure HDInsight'ta Azure İzleyici Aracısı (AMA) için bir betik eylemi kullanarak seçici günlük kaydı gerçekleştirme

Azure İzleyici Günlükleri , bulut ve şirket içi ortamlarınızı izleyen bir Azure İzleyici hizmetidir. İzleme, kullanılabilirlik ve performanslarının korunmasına yardımcı olur.

Azure İzleyici Günlükleri bulutunızdaki kaynaklar, şirket içi ortamlardaki kaynaklar ve diğer izleme araçları tarafından oluşturulan verileri toplar. Birden çok kaynakta analiz sağlamak için verileri kullanır. Analizi almak için, Azure portalında HDInsight için bir betik eylemi kullanarak seçmeli günlük özelliğini etkinleştirirsiniz.

Seçmeli günlük kaydı hakkında

Seçici günlükleme, Azure'daki genel izleme sisteminin bir parçasıdır. Kümenizi Log Analytics çalışma alanına bağlayıp seçmeli günlüğe kaydetmeyi etkinleştirdikten sonra HDInsight güvenlik günlükleri, Yarn Resource Manager ve sistem ölçümleri gibi günlükleri ve ölçümleri görebilirsiniz. İş yüklerini izleyebilir ve bunların küme kararlılığını nasıl etkilediğini görebilirsiniz.

Kayıt seçimini, Log Analytics çalışma alanında tüm tabloları etkinleştirmek veya devre dışı bırakmak ya da seçili tabloları etkinleştirmek için kullanabilirsiniz. Her tablo için kaynak türünü ayarlayabilirsiniz.

Not

Log Analytics bir kümeye yeniden yüklendiyse tüm tabloları ve günlük türlerini yeniden devre dışı bırakmanız gerekir. Yeniden yükleme, tüm yapılandırma dosyalarını özgün durumlarına sıfırlar.

Betik eylemleriyle ilgili dikkat edilmesi gerekenler

  • İzleme sistemi, birleştirilmiş bir günlük katmanı kullanarak günlükleri toplamak için Meta Veri Sunucusu Daemon'unu (izleme aracısı) ve Fluentd'i kullanır.
  • Seçmeli günlük, tabloları ve günlük türlerini devre dışı bırakmak veya etkinleştirmek için bir betik eylemi kullanır. Seçimli günlük kaydı herhangi bir yeni bağlantı noktasını açmadığı veya mevcut güvenlik ayarlarını değiştirmediği için, güvenlikte herhangi bir değişiklik olmaz.
  • Betik eylemi tüm belirtilen düğümlerde paralel olarak çalışır ve tabloları ve bunların günlük türlerini devre dışı bırakmak veya etkinleştirmek için yapılandırma dosyalarını değiştirir.

Önkoşullar

  • Bir Log Analytics çalışma alanı. Bu çalışma alanını kendi veri deposu, veri kaynakları ve çözümleriyle benzersiz bir Azure İzleyici Günlükleri ortamı olarak düşünebilirsiniz. Yönergeler için bkz Log Analytics çalışma alanı oluşturma.
  • Bir Azure HDInsight kümesi. Şu anda aşağıdaki HDInsight küme türleriyle seçmeli günlük özelliğini kullanabilirsiniz:
    • Hadoop
    • HBase
    • Interactive Query
    • Spark

HDInsight kümesi oluşturma yönergeleri için bkz . Azure HDInsight'ı kullanmaya başlama.

Birden fazla tablo ve günlük türü için bir betik eylemi kullanarak günlükleri etkinleştir veya devre dışı bırak

  1. Betik eylemi oluşturma işlemini başlatmak için kümenizdeki Betik eylemleri'ne gidin ve Yeni gönder'i seçin.

    Betik eylemi oluşturma işlemini başlatma düğmesini gösteren ekran görüntüsü.

    Betik gönder eylem bölmesi görüntülenir.

    Betik eylemi gönderme bölmesini gösteren ekran görüntüsü.

  2. Betik türü için Özel'i seçin.

  3. Betiği adlandırın. Örneğin: İki tabloyu ve iki kaynağı devre dışı bırakın.

  4. Bash betiği URI'sinin selectiveLoggingScript.sh bağlantısı olması gerekir.

  5. Küme için geçerli olan tüm düğüm türlerini seçin. Seçenekler baş düğüm, çalışan düğümü ve ZooKeeper düğümü şeklindedir.

  6. Parametreleri tanımlayın. Örneğin:

    • Kıvılcım: spark HDInsightSparkLogs:SparkExecutorLog --disable
    • Etkileşimli Sorgu: interactivehive HDInsightHadoopAndYarnLogs:NodeManager --enable
    • Hadoop: hadoop HDInsightHiveAndLLAPLogs:HiveServer2Log --disable
    • HBase: hbase HDInsightHBaseLogs:HBaseRegionServerLog --enable

    Daha fazla bilgi için Parametre söz dizimi bölümüne bakın.

  7. Oluştur'u belirleyin.

  8. Birkaç dakika sonra senaryo işlem geçmişinizin yanında yeşil bir onay işareti görünür. Bu, betiğin başarıyla çalıştırıldığını gösterir.

    Tabloları ve günlük türlerini etkinleştirmek için bir betiğin başarılı bir şekilde çalıştırılmasını gösteren ekran görüntüsü.

Değişikliklerinizi Log Analytics çalışma alanında görürsünüz.

Sorun giderme

Log Analytics çalışma alanında değişiklik görünmüyor

Betik eyleminizi gönderirseniz ancak Log Analytics çalışma alanında değişiklik yoksa:

  1. Panolar altında Ambari ana sayfasınıseçerek hata ayıklama bilgilerini denetleyin.

    Ambari giriş panosunun konumunu gösteren ekran görüntüsü.

  2. Ayarlar düğmesini seçin.

    Ayarlar düğmesini gösteren ekran görüntüsü.

  3. Arka plan işlemleri listesinin en üstünde en son çalıştırdığınız betiği seçin.

    Arka plan işlemlerini gösteren ekran görüntüsü.

  4. Betik çalıştırma durumunu tüm düğümlerde tek tek doğrulayın.

    Konaklar için betiğin çalıştırılma durumunu gösteren ekran görüntüsü.

  5. Parametre söz dizimi bölümündeki parametre söz diziminin doğru olup olmadığını denetleyin.

  6. Log Analytics çalışma alanının kümeye bağlı olduğundan ve Log Analytics izlemesinin açık olduğundan emin olun.

  7. Çalıştırdığınız betik eylemi için, kümeye yeni düğümler eklendiğinde bu betik eylemini yeniden çalıştırmak üzere kalıcı hâle getirme seçeneğini seçtiğinizden emin olun.

    Bir betik eylemini kalıcı hale getiren onay kutusunu gösteren ekran görüntüsü.

  8. Yakın zamanda kümeye yeni bir düğüm eklenip eklenmediğini görün.

    Not

    Betiğin en son kümede çalışması için betiğin kalıcı olması gerekir.

  9. Komut dosyası işlemi için ihtiyaç duyduğunuz tüm düğüm türlerini seçtiğinizden emin olun.

    Seçili düğüm türlerini gösteren ekran görüntüsü.

Betik eylemi başarısız oldu

Betik eylemi, betik eylem geçmişinde bir hata durumu gösteriyorsa:

  1. Parametre söz dizimi bölümündeki parametre söz diziminin doğru olup olmadığını denetleyin.
  2. Betik bağlantısının doğru olup olmadığını denetleyin. Şu şekilde olmalıdır: https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/selectiveLoggingScriptsAma/selectiveLoggingScript.sh.

Tablo adları

Farklı günlük türleri (kaynaklar) için tablo adlarının tam listesi için bkz . Azure İzleyici Günlükleri tabloları.

Parametre söz dizimi

Parametreler küme türünü, tablo adlarını, kaynak adlarını ve eylemi tanımlar.

Parametre söz dizimi kutusunu gösteren ekran görüntüsü.

Parametre üç bölümden oluşur:

  • Küme türü
  • Tablolar ve günlük türleri
  • Eylem ( --disable veya --enable)

Birden çok tablo için söz dizimi

Birden çok tablonuz olduğunda, bunlar virgülle ayrılır. Örneğin:

spark HDInsightSecurityLogs, HDInsightAmbariSystemMetrics --disable

hbase HDInsightSecurityLogs, HDInsightAmbariSystemMetrics --enable

Birden çok kaynak türü veya günlük türü için söz dizimi

Birden çok kaynak türünüz veya günlük türünüz olduğunda, bunlar bir boşlukla ayrılır.

Kaynağı devre dışı bırakmak için, günlük türlerini içeren tablo adını ve ardından iki nokta üst üste ve ardından gerçek günlük türü adını yazın:

TableName : LogTypeName

Örneğin, iki günlük türüne sahip bir tablo olduğunu spark HDInsightSecurityLogs varsayalım: AmbariAuditLog ve AuthLog. Her iki günlük türünü de devre dışı bırakmak için doğru yazılım sözdizimi şöyle olacaktır:

spark HDInsightSecurityLogs: AmbariAuditLog AuthLog --disable

Birden çok tablo ve kaynak türü için söz dizimi

İki tabloyu ve iki kaynak türünü devre dışı bırakmanız gerekiyorsa aşağıdaki söz dizimini kullanın:

  • Spark: InteractiveHiveMetastoreLog tablosundaki HDInsightHiveAndLLAPLogs günlük türü
  • HBase: InteractiveHiveHSILogHDInsightHiveAndLLAPLogs tablosunda günlük türü
  • Hadoop: HDInsightHiveAndLLAPMetrics tablo
  • Hadoop: HDInsightHiveTezAppStats tablo

Tabloları virgülle ayırın. Kaynakları, bulundukları tablo adından sonra iki nokta kullanarak belirtin.

Bu durumlar için doğru parametre söz dizimi şöyle olabilir:

interactivehive HDInsightHiveAndLLAPLogs: InteractiveHiveMetastoreLog, HDInsightHiveAndLLAPMetrics, HDInsightHiveTezAppStats, HDInsightHiveAndLLAPLogs: InteractiveHiveHSILog --enable

Sonraki adımlar

  • Last updated on