Azure HDInsight kümeleri için Log Analytics geçiş kılavuzu
Azure HDInsight, kurumsal kullanıma hazır, yönetilen bir küme hizmetidir. Bu hizmet Azure'da Apache Spark, Hadoop, HBase ve Kafka gibi açık kaynak analiz çerçeveleri çalıştırır. Azure HDInsight, müşterilerin büyük veri analizi uygulamalarını daha iyi yönetmesini sağlamak için diğer Azure hizmetleriyle tümleştirilmiştir.
Log Analytics, Azure portalında günlük sorgularını düzenlemek ve çalıştırmak için bir araç sağlar. Sorgular, Azure İzleyici Günlükleri tarafından toplanan verilerden gelir ve sonuçlarını etkileşimli olarak analiz edin. Müşteriler, belirli ölçütlerle eşleşen kayıtları almak için Log Analytics sorgularını kullanabilir. Ayrıca eğilimleri belirlemek, desenleri analiz etmek ve verileriyle ilgili içgörüler sağlamak için de sorgular kullanabilirler.
Azure HDInsight, 2017'de Log Analytics ile tümleştirmeyi etkinleştirdi. HDInsight müşterileri, HDInsight kümelerini izlemek ve kümelerdeki günlükleri sorgulamak için bu özelliği hızla benimsemiştir. Bu özelliğin benimsenmesi artmış olsa da müşteriler tümleştirme hakkında geri bildirimde bulundu:
- Müşteriler hangi günlüklerin depolandığına karar veremiyor ve tüm günlükleri depolamak pahalıya patlayabilir.
- Geçerli HDInsight şema günlükleri tutarlı adlandırma kurallarını izlemiyor ve bazı tablolar tekrarlanıyor.
- Müşteriler, HDInsight kümelerinin KPI'sını kolayca izlemek için kullanıma açık bir pano istiyor.
- Müşterilerin basit sorgular çalıştırmak için Log Analytics'e atlaması gerekir.
Çözüme genel bakış
Müşteri geri bildirimlerini göz önünde bulunduran Azure HDInsight ekibi, Azure İzleyici ile tümleştirmeye yatırım yaptı. Bu tümleştirme şunları sağlar:
- Müşterilerin Log Analytics çalışma alanında yeni bir tablo kümesi. Yeni tablolar yeni bir Log Analytics işlem hattı aracılığıyla teslim edilir.
- Daha yüksek güvenilirlik
- Daha hızlı günlük teslimi
- Kaynak tabanlı tablo gruplandırma ve varsayılan sorgular
Not
Yeni Azure Montitor tümleştirmesi, HDInsight'ın kullanılabildiği tüm bölgelerde Genel Önizleme aşamasındadır.
Yeni Azure İzleyici tümleştirmesinin avantajları
Bu belgede Azure İzleyici tümleştirmesinde yapılan değişiklikler özetlenir ve yeni tabloları kullanmaya yönelik en iyi yöntemler sağlanır.
Yeniden tasarlanan şemalar: Yeni Azure İzleyici tümleştirmesi için şema biçimlendirmesi daha iyi düzenlenmiş ve anlaşılması kolaydır. Eski şemalarda mümkün olduğunca fazla belirsizliği kaldıracak üçte iki daha az şema vardır.
Seçmeli Günlük: Log Analytics aracılığıyla kullanılabilen günlükler ve ölçümler vardır. İzleme maliyetlerinden tasarruf etmenize yardımcı olmak için yeni bir seçmeli günlük özelliği yayınlıyoruz. Farklı günlükleri ve ölçüm kaynaklarını açmak ve kapatmak için bu özelliği kullanın. Bu özellik sayesinde yalnızca kullandığınız kadar ödemeniz gerekir. Daha fazla ayrıntı için bkz. Seçmeli Günlük
Günlükler küme portalı tümleştirmesi: Günlükler bölmesi HDInsight Küme portalında yenidir. Kümeye erişimi olan herkes, küme kaynağının kayıtları gönderdiği herhangi bir tabloyu sorgulamak için bu bölmeye gidebilir. Kullanıcıların artık belirli bir küme kaynağının kayıtlarını görmek için Log Analytics çalışma alanına erişmesi gerekmez.
Analizler küme portalı tümleştirmesi: Analizler bölmesi HDInsight Küme portalında da yenidir. Yeni Azure İzleyici tümleştirmesini etkinleştirdikten sonra Analizler bölmesini seçebilirsiniz ve kümenin türüne özgü hazır günlükler ve ölçümler panosu sizin için otomatik olarak doldurulur. Bu panolar önceki Azure çözümlerimizden yenilenmiştir. Kümenizin performansı ve durumu hakkında ayrıntılı içgörüler sunar.
Müşteri senaryoları
Aşağıdaki bölümlerde müşterilerin farklı senaryolarda yeni Azure İzleyici tümleştirmesini nasıl kullanabileceği açıklanmaktadır. Yeni Azure İzleyici tümleştirmesini etkinleştirme bölümünde yeni Azure İzleyici tümleştirmesinin nasıl etkinleştirilip kullanılacağı özetlenir. Klasik Azure İzleyici'den yeni Azure İzleyici Tümleştirmesine Geçiş bölümünde, kullanıcılar için eski Azure İzleyici tümleştirmesine bağımlı olan ek bilgiler bulunur.
Not
Yalnızca Eylül 2020 sonu ve sonrasında oluşturulan kümeler yeni Azure İzleme tümleştirmesi için uygundur.
Yeni bir Azure İzleyici tümleştirmesini etkinleştirme
Not
Yeni tümleştirmeyi etkinleştirmeden önce erişiminiz olan bir abonelikte oluşturulmuş bir Log Analytics çalışma alanınız olmalıdır. Log Analytics çalışma alanı oluşturma hakkında daha fazla bilgi için bkz . Azure portalında Log Analytics çalışma alanı oluşturma.
Kümenizin portal sayfasına gidip İzleme bölümüne ulaşana kadar sol taraftaki menüyü aşağı kaydırarak yeni tümleştirmeyi etkinleştirin. İzleme bölümünde Tümleştirmeyi izle'yi seçin. Ardından Etkinleştir'i seçerek günlüklerinizin gönderilmesini istediğiniz Log Analytics çalışma alanını seçebilirsiniz. Çalışma alanınızı seçtikten sonra Kaydet'i seçin.
Yeni tablolara erişme
Yeni tablolara erişmenin iki yolu vardır.
Yaklaşım 1:
Yeni tablolara erişmenin ilk yolu Log Analytics çalışma alanıdır.
- Tümleştirmeyi etkinleştirdiğinizde seçtiğiniz Log Analytics çalışma alanına gidin.
- Ekranın sol tarafındaki menüde aşağı kaydırın ve Günlükler'i seçin. Günlükler sorgu düzenleyicisi, çalışma alanı içindeki tüm tabloların listesiyle açılır.
- Tablolar Çözüme göre gruplandırılmışsa, yeni HDI tabloları Günlük Yönetimi bölümünün altındadır.
- Tabloları Kaynak Türüne göre gruplandırıyorsanız, tablolar aşağıdaki resimde gösterildiği gibi HDInsight Kümeleri bölümünün altındadır.
Not
Bu işlem, eski tümleştirmede günlüklere nasıl erişildiğini açıklar. Bunun için kullanıcının çalışma alanına erişimi olması gerekir.
Yaklaşım 2:
Yeni tablolara erişmenin ikinci yolu Küme portalı erişimidir.
- Kümenizin portal sayfasına gidin ve İzleme bölümünü görene kadar sol taraftaki menüyü aşağı kaydırın. Bu bölümde Günlükler bölmesini göreceksiniz.
- Günlükler'i seçtiğinizde Günlükler sorgu düzenleyicisi görüntülenir. Düzenleyici, küme kaynağıyla ilişkili tüm günlükleri içerir. Tümleştirmeyi etkinleştirdiğinizde günlükleri Log Analytics çalışma alanına gönderdiniz. Bu günlükler kaynak tabanlı erişim (RBAC) sağlar. RBAC ile, kümeye erişimi olan ancak çalışma alanına erişimi olmayan kullanıcılar kümeyle ilişkili günlükleri görebilir.
Karşılaştırma için, aşağıdaki ekran görüntüleri eski tümleştirme çalışma alanı görünümünü ve yeni tümleştirme çalışma alanı görünümünü gösterir:
Eski tümleştirme çalışma alanı görünümü
Yeni tümleştirme çalışma alanı görünümü
Yeni tabloları kullanma
Bu tümleştirmeler yeni tabloları kullanmanıza yardımcı olabilir:
Yeni tablolarla kullanılacak varsayılan sorgular
Günlükler sorgu düzenleyicinizde iki durumlu düğmeyi tablolar listesinin üzerindeki Sorgular olarak ayarlayın. Sorguları Kaynak Türüne göre gruplandırdığınızdan ve HDInsight Kümeleri dışında bir kaynak türü için filtre kümesi olmadığından emin olun. Aşağıdaki görüntüde, Sonuçların Kaynak Türüne göre gruplandırıldığında ve HDInsight Kümeleri için filtrelendiğinde nasıl göründüğü gösterilmektedir. Birini seçtiğinizde Günlükler sorgu düzenleyicisinde görünür. Sorgunun başarıyla çalışması için küme adınız gibi bazı bilgileri girmenizi gerektirdiğinden, sorgulara dahil edilen açıklamaları okuduğunuzdan emin olun.
Kendi sorgularınızı oluşturma
Günlükler sorgu düzenleyicisinde kendi sorgularınızı girebilirsiniz. Eski tablolarda kullanılan sorgular, yeni tabloların çoğunda yeni, geliştirilmiş şemalar olduğundan yeni tablolarda geçerli olmaz. Varsayılan sorgular, yeni tablolardaki sorguları şekillendirmek için harika başvurulardır.
İçgörüler
Analizler kullanılarak yapılan kümeye özgü görselleştirme panolarıdırAzure Çalışma Kitapları. Bu panolar, kümenizin nasıl çalıştığına ilişkin ayrıntılı grafikler ve görselleştirmeler sağlar. Panolarda her küme türü, YARN, sistem ölçümleri ve bileşen günlükleri için bölümler bulunur. Kümenizin panosuna erişmek için portalda kümenizin sayfasını ziyaret edebilir, ekranı aşağı kaydırarak İzleme bölümüne gidebilir ve Analizler bölmesini seçebilirsiniz. Yeni tümleştirmeyi etkinleştirdiyseniz pano otomatik olarak yüklenir. Günlükleri sorgularken grafiklerin yüklenmesi için birkaç saniye bekleyin.
Özel Azure çalışma kitapları
Özel grafikler ve görselleştirmelerle kendi Azure çalışma kitaplarınızı oluşturabilirsiniz. Kümenizin portal sayfasında, ekranı aşağı kaydırarak İzleme bölümüne gelin ve soldaki menüden Çalışma Kitapları bölmesini seçin. Boş bir şablon kullanmaya başlayabilir veya HDInsight Kümeleri bölümünün altındaki şablonlardan birini kullanabilirsiniz. Her küme türü için bir şablon vardır. Şablonlar, varsayılan HDInsight Analizler sağlamayan belirli özelleştirmeleri kaydetmek istiyorsanız kullanışlıdır. Eksik olduğunu düşünüyorsanız HDInsight Analizler yeni özellikler için istek göndermekten çekinmeyin.
Uyarılar
Günlük sorgusu düzenleyicisinde kümelerinize ve çalışma alanlarınıza özel uyarılar ekleyebilirsiniz. Kümenizden veya çalışma alanı portalınızdan Günlükler bölmesini seçerek Günlükler sorgu düzenleyicisine gidin. Bir sorgu çalıştırın ve aşağıdaki ekran görüntüsünde gösterildiği gibi Yeni Uyarı Kuralı'nı seçin. Daha fazla bilgi için uyarıları yapılandırma makalesini okuyun.
Yeni Azure İzleyici Tümleştirmesine geçiş
Klasik Azure İzleyici tümleştirmesini kullanıyorsanız, yeni Azure İzleyici tümleştirmesine geçtikten sonra yeni tablo biçimlerinde bazı ayarlamalar yapmanız gerekir.
Yeni Azure İzleyici tümleştirmesini etkinleştirmek için Yeni Azure İzleyici tümleştirmesini etkinleştirme bölümünde açıklanan adımları izleyin.
Log Analytics'te sorgu çalıştırma
Yeni tablo biçimi öncekinden farklı olduğundan, yeni tablolarımızı kullanabilmeniz için sorgularınızın yeniden çalışması gerekir. Yeni Azure İzleyici tümleştirmesini etkinleştirdikten sonra tablolara ve şemalara göz atarak eski sorgularınızda kullanılan alanları belirleyebilirsiniz.
Panolarınızı ve sorgularınızı geçirmek için kullanmanız gereken yeni alanları hızla bulmanıza yardımcı olmak için eski tablo ile yeni tablo arasında bir eşleme tablosu sağlıyoruz.
Varsayılan sorgular: Yaygın durumlarda yeni tabloların nasıl kullanılacağını gösteren varsayılan sorgular oluşturduk. Varsayılan sorgular, her tabloda hangi bilgilerin kullanılabilir olduğunu da gösterir. Bu makaledeki Yeni tablolarla kullanılacak varsayılan sorgular bölümündeki yönergeleri izleyerek varsayılan sorgulara erişebilirsiniz.
HDInsight kümeleri için panoları güncelleştirme
HDInsight kümelerinizi izlemek için birden çok pano derlediyseniz, yeni Azure İzleyici tümleştirmesini etkinleştirdikten sonra tablonun arkasındaki sorguyu ayarlamanız gerekir. Yeni tümleştirmede tablo adı veya alan adı değişebilir, ancak eski tümleştirmede sahip olduğunuz tüm bilgiler eklenir.
Panoların arkasındaki sorguyu güncelleştirmek için eski tablo/şema ile yeni tablo/şema arasındaki eşleme tablosuna bakın.
Kullanıma yönelik panolar
Ayrıca, hem küme düzeyinde kullanıma kullanıma yönelik panoları geliştirdik. Her grafiğin sağ üst kısmında, bilgileri oluşturan temel sorguyu görmenize olanak tanıyan bir düğme vardır. Grafik, yeni tabloların nasıl etkili bir şekilde sorgulanabileceğini öğrenmek için harika bir yoldur.
Geçişi hızlandırmak için her iki tümleştirmeyi de etkinleştirme
Her iki tümleştirmenin de yeni Azure İzleyici tümleştirmesine hızla geçirilmesi için uygun olan bir kümede hem klasik hem de yeni Azure İzleyici tümleştirmelerini aynı anda etkinleştirebilirsiniz. Yeni tümleştirme, Eylül 2020 ortasından sonra oluşturulan tüm kümeler için kullanılabilir.
Bu şekilde, kullandığınız sorgular için kolayca yan yana karşılaştırma yapabilirsiniz.
Klasik tümleştirmeyi etkinleştirme
Eylül 2020 ortasından sonra oluşturulan bir küme kullanıyorsanız, kümenizin portalında yeni portal deneyimini görürsünüz. Yeni işlem hattını etkinleştirmek için Yeni Azure İzleyici tümleştirmesini etkinleştirme bölümünde açıklanan adımları izleyebilirsiniz. Bu kümede klasik tümleştirmeyi etkinleştirmek için kümenizin portal sayfasına gidin. Küme portalınızın sol tarafındaki menünün İzleme bölümünde tümleştirmeyi izle bölmesini seçin. HDInsight kümeleri tümleştirmesi (klasik) için Azure İzleyici'yi yapılandır'ı seçin. Klasik Azure İzleme tümleştirmesini etkinleştirmek ve devre dışı bırakmak için kullanabileceğiniz bir iki durumlu düğme içeren bir yan bağlam görüntülenir.
Not
Küme portalınızın günlükleri ve Analizler sayfası aracılığıyla klasik tümleştirmeden hiçbir günlük veya ölçüm görmezsiniz. Bu konumlarda yalnızca yeni tümleştirme günlükleri ve ölçümleri bulunur.
Klasik Azure İzleyici tümleştirmesi ile yeni kümeler oluşturma işlemi 1 Ocak 2023'den sonra kullanılamaz.
Sürüm ve destek zaman çizelgesi
- Klasik Azure İzleme tümleştirmesi 15 Ekim 2021'de kullanılamaz. Bu tarihten sonra klasik Azure İzleme tümleştirmesini etkinleştiremezsiniz.
- Mevcut klasik Azure izleme tümleştirmeleri çalışmaya devam edecektir. Klasik Azure İzleme tümleştirmesi için sınırlı destek olacaktır.
- Müşteriler destek biletini gönderdikten sonra sorunlar araştırılır.
- Çözüm görüntü değişikliği gerektiriyorsa müşterilerin yeni tümleştirmeye geçmesi gerekir.
- Kritik güvenlik sorunları dışında klasik Azure İzleme tümleştirme kümelerine düzeltme eki uygulamayacağız.
Ek: Tablo eşleme
Klasik Azure İzleyici tümleştirmesinden yenisine günlük tablosu eşlemeleri için bkz . Günlük tablosu eşlemesi.
İlgili içerik
Azure İzleyici günlüklerini sorgulayarak HDInsight kümelerini izleme