İşlem ölçümlerini görüntüleme

Bu makalede, önemli donanımları ve Spark ölçümlerini toplamak için Azure Databricks kullanıcı arabirimindeki yerel işlem ölçümleri aracının nasıl kullanılacağı açıklanmaktadır. Databricks Runtime 13.3 LTS ve üzerini kullanan tüm işlemlerin varsayılan olarak bu ölçümlere erişimi vardır.

Ölçümler neredeyse gerçek zamanlı olarak kullanılabilir ve normal gecikme süresi bir dakikadan kısadır. Ölçümler müşterinin depolama alanında değil Azure Databricks tarafından yönetilen depolama alanında depolanır.

Bu yeni ölçümlerin Ganglia'dan farkı nedir?

Yeni işlem ölçümleri kullanıcı arabirimi, Spark tüketimi ve iç Databricks işlemleri dahil olmak üzere kümenizin kaynak kullanımına ilişkin daha kapsamlı bir görünüme sahiptir. Buna karşılık, Ganglia kullanıcı arabirimi yalnızca Spark kapsayıcı tüketimini ölçer. Bu fark, iki arabirim arasındaki ölçüm değerlerinde tutarsızlıklara neden olabilir.

İşlem ölçümleri kullanıcı arabirimine erişme

İşlem ölçümleri kullanıcı arabirimini görüntülemek için:

1. Kenar çubuğunda İşlem'e tıklayın.
2. Ölçümlerini görüntülemek istediğiniz işlem kaynağına tıklayın.
3. Ölçümler sekmesine tıklayın.

Donanım ölçümleri varsayılan olarak gösterilir. Spark ölçümlerini görüntülemek için Donanım etiketli açılan menüye tıklayın ve Spark'ı seçin. Örnek GPU etkinse GPU'yi de seçebilirsiniz.

Ölçümleri zaman aralığına göre filtreleme

Tarih seçici filtresini kullanarak bir zaman aralığı seçerek geçmiş ölçümleri görüntüleyebilirsiniz. Ölçümler dakikada bir toplanır, böylece son 30 günün gün, saat veya dakika aralığına göre filtreleyebilirsiniz. Önceden tanımlanmış veri aralıklarından seçim yapmak için takvim simgesine tıklayın veya özel değerler tanımlamak için metin kutusunun içine tıklayın.

Not

Grafiklerde görüntülenen zaman aralıkları, görüntülediğiniz süreye göre ayarlanır. Ölçümlerin çoğu, görüntülemekte olduğunuz zaman aralığına göre ortalamalardır.

Yenile düğmesine tıklayarak da en son ölçümleri alabilirsiniz.

Ölçümleri düğüm düzeyinde görüntüleme

İşlem açılan menüsüne tıklayıp ölçümleri görüntülemek istediğiniz düğümü seçerek tek tek düğümlerin ölçümlerini görüntüleyebilirsiniz. GPU ölçümleri yalnızca tek düğüm düzeyinde kullanılabilir. Spark ölçümleri tek tek düğümler için kullanılamaz.

Not

Belirli bir düğümü seçmezseniz, sonuç bir küme içindeki tüm düğümler (sürücü dahil) üzerinden ortalama alınır.

Donanım ölçüm grafikleri

İşlem ölçümleri kullanıcı arabiriminde görüntülemek için aşağıdaki donanım ölçüm grafikleri kullanılabilir:

• Sunucu yükü dağıtımı: Bu grafik, her düğüm için son dakika içindeki CPU kullanımını gösterir.
• CPU kullanımı: Toplam CPU saniye maliyetine göre CPU'nun her modda harcadığı süre yüzdesi. Ölçüm, grafikte görüntülenen zaman aralığına göre ortalamasını alır. İzlenen modlar şunlardır:
  • konuk: VM çalıştırıyorsanız, bu VM'lerin kullandığı CPU
  • iowait: G/Ç beklerken harcanan süre
  • boşta kalma: CPU'ya hiçbir şey yapılmadığı zaman
  • irq: Kesme istekleri için harcanan süre
  • nice: Olumlu bir güzelliğe sahip olan işlemler tarafından kullanılan süre, diğer görevlerden daha düşük bir öncelik anlamına gelir
  • softirq: Yazılım kesme istekleri için harcanan süre
  • steal: Bir VM'yseniz, diğer VM'lerin CPU'larınızdan "çalındığını" zaman
  • sistem: Çekirdekte harcanan süre
  • user: Userland'da harcanan süre
• Bellek kullanımı: Her moda göre bayt cinsinden ölçülen ve grafikte görüntülenen zaman aralığına göre ortalaması alınan toplam bellek kullanımı. Aşağıdaki kullanım türleri izlenir:
  • kullanılan: Kullanılan bellek (işlem üzerinde çalışan arka plan işlemleri tarafından kullanılan bellek dahil)
  • ücretsiz: Kullanılmayan bellek
  • arabellek: Çekirdek arabellekleri tarafından kullanılan bellek
  • önbelleğe alınmış: dosya sistemi önbelleği tarafından işletim sistemi düzeyinde kullanılan bellek
• Bellek değiştirme kullanımı: Grafikte görüntülenen zaman aralığına göre bayt cinsinden ölçülen ve ortalaması alınan her moda göre toplam bellek değiştirme kullanımı.
• Boş dosya sistemi alanı: Her bağlama noktasına göre bayt cinsinden ölçülen ve grafikte görüntülenen zaman aralığına göre ortalaması alınan toplam dosya sistemi kullanımı.
• Ağ üzerinden alınan: Her cihaz tarafından ağ üzerinden alınan bayt sayısı, grafikte görüntülenen zaman aralığına göre ortalaması alınır.
• Ağ üzerinden iletilen: Her cihaz tarafından ağ üzerinden iletilen bayt sayısı, grafikte görüntülenen zaman aralığına göre ortalaması alınır.
• Etkin düğüm sayısı: Bu, verilen işlem için her zaman damgasındaki etkin düğüm sayısını gösterir.

Spark ölçüm grafikleri

İşlem ölçümleri kullanıcı arabiriminde görüntülemek için aşağıdaki Spark ölçüm grafikleri kullanılabilir:

• Sunucu yükü dağıtımı: Bu grafik, her düğüm için son dakika içindeki CPU kullanımını gösterir.
• Etkin görevler: Herhangi bir zamanda yürütülen toplam görev sayısı, grafikte görüntülenen zaman aralığına göre ortalamasını alır.
• Başarısız görevlerin toplamı: Yürütücülerde başarısız olan ve grafikte görüntülenen zaman aralığına göre ortalaması alınan toplam görev sayısı.
• Tamamlanan toplam görevler: Yürütücülerde tamamlanan ve grafikte görüntülenen zaman aralığına göre ortalaması alınan toplam görev sayısı.
• Toplam görevsayısı: Yürütücülerdeki tüm görevlerin (çalışıyor, başarısız ve tamamlandı) toplam sayısı, grafikte görüntülenen zaman aralığına göre ortalamasını alır.
• Toplam karıştırma okuma: Karışık okuma verilerinin toplam boyutu, bayt cinsinden ölçülür ve grafikte görüntülenen zaman aralığına göre ortalamasını alır. Shuffle read , bir aşamanın başındaki tüm yürütücülerde serileştirilmiş okuma verilerinin toplamı anlamına gelir.
• Toplam karıştırma yazma: Karıştırma yazma verilerinin toplam boyutu, bayt cinsinden ölçülür ve grafikte görüntülenen zaman aralığına göre ortalamasını alır. Shuffle Write , iletmeden önce tüm yürütücüler üzerindeki tüm yazılı serileştirilmiş verilerin toplamıdır (normalde bir aşamanın sonunda).
• Toplam görev süresi: JVM'nin yürütücülerde görevleri yürütmek için harcadığı, saniye cinsinden ölçülen ve grafikte görüntülenen zaman aralığına göre ortalaması alınan toplam süre.

GPU ölçüm grafikleri

İşlem ölçümleri kullanıcı arabiriminde görüntülemek için aşağıdaki GPU ölçüm grafikleri kullanılabilir:

• Sunucu yükü dağıtımı: Bu grafik, her düğüm için son dakika içindeki CPU kullanımını gösterir.
• GPU başına kod çözücü kullanımı: Grafikte görüntülenen zaman aralığına göre ortalaması alınan GPU kod çözücü kullanımı yüzdesi.
• GPU başına kodlayıcı kullanımı: Grafikte görüntülenen zaman aralığına göre ortalaması alınan GPU kodlayıcı kullanımı yüzdesi.
• GPU başına çerçeve arabelleği bellek kullanım baytları: Çerçeve arabelleği bellek kullanımı, bayt cinsinden ölçülür ve grafikte görüntülenen zaman aralığına göre ortalamasını alır.
• GPU başına bellek kullanımı: Grafikte görüntülenen zaman aralığına göre ortalaması alınan GPU bellek kullanımı yüzdesi.
• GPU başına kullanım: Grafikte görüntülenen zaman aralığına göre ortalaması alınan GPU kullanımı yüzdesi.

Sorun giderme

Bir dönem için eksik veya eksik ölçümler görürseniz, bu aşağıdaki sorunlardan biri olabilir:

• Databricks hizmetinde ölçümleri sorgulamaktan ve depolamaktan sorumlu bir kesinti.
• Müşteri tarafında ağ sorunları.
• İşlem iyi durumda değil veya durumundaydı.