İşlem ölçümlerini görüntüleme

Bu makalede, önemli donanımları ve Spark ölçümlerini toplamak için Azure Databricks kullanıcı arabirimindeki yerel işlem ölçümleri aracının nasıl kullanılacağı açıklanmaktadır. Ölçümler arayüzü, tüm amaçlar ve iş hesaplamalarında kullanılabilir.

Ölçümler neredeyse gerçek zamanlı olarak kullanılabilir ve normal gecikme süresi bir dakikadan kısadır. Ölçümler müşterinin depolama alanında değil Azure Databricks tarafından yönetilen depolama alanında depolanır.

Not defterleri ve işler için sunucusuz işlem, ölçüm kullanıcı arabirimi yerine sorgu içgörülerini kullanır. Sunucusuz işlem ölçümleri hakkında daha fazla bilgi için bkz . Sorgu içgörülerini görüntüleme.

Hesaplama ölçümleri kullanıcı arabirimine erişim

Bilgisayar ölçümleri kullanıcı arayüzünü görüntülemek için:

1. Kenar çubuğunda Hesapla'ya tıklayın.
2. Ölçümlerini görüntülemek istediğiniz işlem kaynağına tıklayın.
3. Ölçümler sekmesine tıklayın.

Tüm düğümler için donanım ölçümleri varsayılan olarak gösterilir. Spark ölçümlerini görüntülemek için Donanım etiketli açılan menüye tıklayın ve Spark'ı seçin. Örnek GPU özellikliyse, GPU'yi de seçebilirsiniz.

Ölçümleri zaman aralığına göre filtreleme

Tarih seçici filtresini kullanarak bir zaman aralığı seçerek geçmiş ölçümleri görüntüleyebilirsiniz. Ölçümler dakikada bir toplanır, böylece son 30 günün gün, saat veya dakika aralığına göre filtreleyebilirsiniz. Önceden tanımlanmış veri aralıklarından seçim yapmak için takvim simgesine tıklayın veya özel değerler tanımlamak için metin kutusunun içine tıklayın.

Not

Grafiklerde görüntülenen zaman aralıkları, görüntülediğiniz süreye göre ayarlanır. Ölçümlerin çoğu, görüntülemekte olduğunuz zaman aralığına göre ortalamalardır.

Yenile düğmesine tıklayarak da en son ölçümleri alabilirsiniz.

Ölçümleri düğüm düzeyinde görüntüleme

Ölçümler sayfasında varsayılan olarak, bir küme içindeki tüm düğümlerin (sürücü dahil) zaman aralığı boyunca ortalaması alınan ölçümler gösterilir.

Tüm düğümler açılan menüsüne tıklayıp ölçümleri görüntülemek istediğiniz düğümü seçerek tek tek düğümlerin ölçümlerini görüntüleyebilirsiniz. GPU ölçümleri yalnızca tek düğüm düzeyinde kullanılabilir. Spark ölçümleri tek tek düğümler için kullanılamaz.

Küme içindeki aykırı düğümleri tanımlamaya yardımcı olmak için, tek bir sayfada tek tek tüm düğümlerin ölçümlerini de görüntüleyebilirsiniz. Bu görünüme erişmek için Tüm düğümler açılan menüsüne tıklayın ve Düğüme göre'yi ve ardından görüntülemek istediğiniz ölçüm alt kategorisini seçin.

Grafik verilerini indirme

Bireysel bir grafik için veriyi dışa aktarmak için, grafikin sağ üst köşesindeki taşma menüsüne (⋯) tıklayın, ardından Download CSV veya Download Excel'i seçin. İhracat, grafikte gösterilen her metrik için her bir zaman damgası için bir satır içerir; bu da şu anda gösterilen kategori, düğüm ve zaman aralığıyla eşleşir.

By node görünümü hariç tüm grafikler için indirmeler mevcuttur.

Donanım ölçüm grafikleri

İşlem ölçümleri kullanıcı arabiriminde görüntülemek için aşağıdaki donanım ölçüm grafikleri kullanılabilir:

• CPU kullanımı ve etkin düğümler: Çizgi grafik, verilen işlem için her zaman damgasında etkin düğüm sayısını görüntüler. Çubuk grafik, toplam CPU saniye maliyetine göre CPU'nun her modda harcadığı sürenin yüzdesini görüntüler. Takip edilen modlar şunlardır:
  • guest: VM çalıştırıyorsanız, bu VM'lerin kullandığı CPU
  • iowait: G/Ç beklerken harcanan süre
  • idle: CPU'nun yapacak işi olmadığı zaman
  • irq: Kesme istekleri için harcanan süre
  • nice: Olumlu bir güzelliğe sahip olan işlemler tarafından kullanılan süre, diğer görevlerden daha düşük bir öncelik anlamına gelir
  • softirq: Yazılım kesme istekleri için harcanan süre
  • steal: Bir VM'yseniz, diğer VM'lerin CPU'larınızdan kullandığı zaman miktarı
  • system: Çekirdekte harcanan süre
  • user: Kullanıcı alanında harcanan süre
• Kapsayıcı bellek kullanımı: Spark kapsayıcısı tarafından tüketilen bellek miktarının, tüm geçerli düğümler üzerindeki ortalaması. Geri kazanılamayan belleğin (Container memory used), işletim sistemi dosya sayfası önbelleğinin ()Container memory file cache ve yapılandırılan bellek sınırının (Container memory limit ) ortalamalarını içerir.
• JVM yığın kullanımı: Tüm geçerli düğümlerde ortalaması alınan JVM yığın bellek kullanımı. Gerçek yığın kullanımı, yığın kapasitesi ve yapılandırılan en yüksek yığın sınırının ortalamalarını içerir.
• Alınan ve iletilen ağ: Her cihaz tarafından ağ üzerinden alınan ve iletilen bayt sayısı.
• Boş dosya sistemi alanı: Her bağlama noktasına göre bayt cinsinden ölçülen toplam dosya sistemi kullanımı.

Spark ölçüm grafikleri

İşlem ölçümleri kullanıcı arabiriminde görüntülemek için aşağıdaki Spark ölçüm grafikleri kullanılabilir:

• Sunucu yükü dağıtımı: Bu kutucuklar işlem kaynağındaki her düğüm için son dakika içindeki CPU kullanımını gösterir. Her bir karo, her bir düğümün ölçüm sayfasına tıklanabilir bir bağlantıdır.
• Etkin görevler: Herhangi bir zamanda yürütülen toplam görev sayısı.
• Başarısız görevlerin toplamı: Yürütücülerde başarısız olan toplam görev sayısı.
• Tamamlanan toplam görev sayısı: Yürütücülerde tamamlanan toplam görev sayısı.
• Toplam görev sayısı: Yürütücülerdeki tüm görevlerin (çalışan, başarısız ve tamamlanan) toplam sayısı.
• Toplam karışık okuma: Karışık okuma verilerinin bayt cinsinden ölçülen toplam boyutu. Shuffle read , bir aşamanın başındaki tüm yürütücülerde serileştirilmiş okuma verilerinin toplamı anlamına gelir.
• Toplam karıştırma yazma: Karışık yazma verilerinin bayt cinsinden ölçülen toplam boyutu. Shuffle Write , iletmeden önce tüm yürütücüler üzerindeki tüm yazılı serileştirilmiş verilerin toplamıdır (normalde bir aşamanın sonunda).
• Toplam görev süresi: JVM'nin yürütücülerde görevleri yürütmek için harcadığı ve saniye cinsinden ölçülen toplam süre.

GPU ölçüm grafikleri

Not

GPU ölçümleri yalnızca Databricks Runtime ML 13.3 ve üzerinde kullanılabilir.

İşlem ölçümleri kullanıcı arabiriminde görüntülemek için aşağıdaki GPU ölçüm grafikleri kullanılabilir:

• Sunucu yükü dağıtımı: Bu grafik, her düğüm için son dakika içindeki CPU kullanımını gösterir.
• Per-GPU kod çözücü kullanımı: GPU kod çözücü kullanımı yüzdesi.
• Her GPU için kodlayıcı kullanımı: GPU kodlayıcı kullanımı yüzdesi.
• Per-GPU çerçeve arabelleği bellek kullanım baytları: Bayt cinsinden ölçülen çerçeve arabelleği bellek kullanımı.
• Per-GPU bellek kullanımı: GPU bellek kullanımı yüzdesi.
• Per-GPU kullanımı: GPU kullanımı yüzdesi.

Sorun giderme

Bir dönem için eksik veya eksik ölçümler görürseniz, bu aşağıdaki sorunlardan biri olabilir:

• Databricks hizmetinde ölçümleri sorgulamaktan ve depolamaktan sorumlu bir kesinti.
• Müşteri tarafında ağ sorunları.
• Bilgisayar sistemi sağlıksız durumda veya bir zamanlar sağlıksızdı.