Apache Spark uygulaması ayrıntı izleme

Microsoft Fabric ile Apache Spark'ı kullanarak çalışma alanınızda not defterlerini, işleri ve diğer uygulama türlerini çalıştırabilirsiniz. Bu makalede Apache Spark uygulamanızın nasıl izleneceği açıklanır ve işlerinizin son çalıştırma durumunu, sorunlarını ve ilerleme durumunu takip edebilirsiniz.

Apache Spark uygulamalarını görüntüleme

Tüm Apache Spark uygulamalarını Spark iş tanımından görüntüleyebilirsiniz veya not defteri öğesi bağlam menüsünde son çalıştırma seçeneği ->Son çalıştırmalar gösterilir.

Görüntülemek istediğiniz uygulamanın adını uygulama listesinden seçebilir, uygulama ayrıntıları sayfasında uygulama ayrıntılarını görüntüleyebilirsiniz.

Apache Spark uygulama durumunu izleme

Not defterinin veya Spark iş tanımının Son çalıştırmalar sayfasını açın, Apache uygulamasının durumunu görüntüleyebilirsiniz.

• Başarılı

• Kuyruğa alındı

• Durduruldu

• İptal edildi

• Başarısız oldu

İşler

Spark iş tanımından veya not defteri öğesi bağlam menüsünden bir Apache Spark uygulama işi açın, Son çalıştırma seçeneği ->Son çalıştırmalar -> son çalıştırmalarda bir iş seçin sayfasını gösterir.

Apache Spark uygulama izleme ayrıntıları sayfasında, iş çalıştırmaları listesi İşler sekmesinde görüntülenir. İş Kimliği, Açıklama, Durum, Aşamalar, Görevler, Süre, İşlenen, Veri okuma, Yazılan veriler ve Kod parçacığı gibi her işin ayrıntılarını burada görüntüleyebilirsiniz.

• İş Kimliği'ne tıklanması işi genişletebilir/daraltabilir.
• İş açıklamasına tıklayın, spark kullanıcı arabiriminde iş veya aşama sayfasına atlayabilirsiniz.
• İş Kodu parçacığına tıklayın, bu işle ilgili kodu denetleyip kopyalayabilirsiniz.

Kaynaklar (Önizleme)

Yürütücü kullanım grafiği, Spark işi yürütücülerinin ayırmasını ve kaynak kullanımını görsel olarak görüntüler. Şu anda yalnızca Spark 3.4 ve üzeri sürümlerin çalışma zamanı bilgileri bu özelliği görüntüler. Kaynaklar (Önizleme) öğesini seçin, ardından yürütücü kullanımıyla ilgili dört tür eğrisi taslak olarak oluşturulur( Çalışan, Boşta Kalan, Ayrılan, En fazla örnek sayısı gibi).

• Ayrılmış için, Spark uygulamasının çalıştırılması sırasında ayrılan temel durumu ifade eder.

• En fazla örnek sayısı için Spark uygulamasına ayrılan çekirdek sayısı üst sınırına başvurur.

• Çalıştırma için, Spark uygulaması çalışırken kullandığı gerçek çekirdek sayısını ifade eder. Spark uygulaması çalışırken belirli bir noktaya tıklayın. Çalışan yürütücü çekirdek ayırma ayrıntılarını grafiğin en altında görebilirsiniz.

  

• Boşta kalanlar için, Spark uygulaması çalışırken kullanılmayan çekirdek sayısıdır.

Bazı durumlarda, bazı durumlarda görev sayısı yürütücü çekirdeklerinin kapasitesini aşabilir (yani, görev numaraları > toplam yürütücü çekirdekleri / spark.task.cpus). Çalışıyor olarak işaretlenmiş bir görev ile yürütücü çekirdeğinde çalışmakta olan görev arasında zaman aralığı olduğundan bu beklendiği gibidir. Bu nedenle bazı görevler çalışıyor olarak gösterilebilir, ancak herhangi bir çekirdekte çalışmaz.

Tüm grafikteki ilgili içeriği seçmek veya seçimini kaldırmak için renk simgesini seçin.

Özet paneli

Apache Spark uygulama izleme sayfasında Özellikler düğmesine tıklayarak özet panelini açın/daraltın. Bu uygulamanın ayrıntılarını Ayrıntılar'da görüntüleyebilirsiniz.

• Bu spark uygulamasının durumu.
• Bu Spark uygulamasının kimliği.
• Toplam süre.
• Bu Spark uygulaması için çalışma süresi.
• Bu spark uygulaması için kuyruğa alınan süre.
• Livy Kimliği
• Bu Spark uygulaması için gönderici.
• Bu Spark uygulaması için zaman gönderin.
• Yürütücü sayısı.

Günlükler

Günlükler sekmesinde Livy, Prelaunch, Sürücü günlüğünün tam günlüğünü, sol panelde farklı seçenekler seçili olarak görüntüleyebilirsiniz. Ayrıca, anahtar sözcükleri arayarak gerekli günlük bilgilerini doğrudan alabilir ve günlük durumunu filtreleyerek günlükleri görüntüleyebilirsiniz. Günlük bilgilerini yerel ortama indirmek için Günlüğü İndir'e tıklayın.

Bazen işin durumu kuyruğa alınmış ve küme oluşturma başarısız olmuş gibi günlükler kullanılamaz.

Canlı günlükler yalnızca uygulama gönderimi başarısız olduğunda kullanılabilir ve sürücü günlükleri de sağlanır.

Veriler

Veri sekmesi için panodaki veri listesini kopyalayabilir, veri listesini ve tek verileri indirebilir ve her verinin özelliklerini de kontrol edebilirsiniz.

• Sol panel genişletilebilir veya daraltılabilir.
• Giriş ve çıkış dosyalarının adı, okuma biçimi, boyutu, kaynağı ve yolu bu listede görüntülenir.
• Giriş ve çıkıştaki dosyalar indirilebilir, yolu kopyalayabilir ve özellikleri görüntüleyebilir.

İlgili öğeler

İlgili öğeler sekmesi, Apache Spark uygulamasıyla ilişkilendirilmiş Not Defterleri, Spark iş tanımı ve/veya İşlem Hatları gibi öğelere göz atmanızı ve görüntülemenizi sağlar. İlgili öğeler sayfası, Not Defterleri için yürütme sırasında kodun ve parametre değerlerinin anlık görüntüsünü görüntüler. Ayrıca Spark iş tanımları için gönderim sırasında tüm ayarların ve parametrelerin anlık görüntüsünü gösterir. Apache Spark uygulaması bir işlem hattıyla ilişkilendirilmişse, ilgili öğe sayfasında ilgili işlem hattı ve Spark etkinliği de gösterilir.

İlgili Öğeler ekranında şunları yapabilirsiniz:

• Hiyerarşik ağaçtaki ilgili öğelere göz atın ve bu öğelerde gezinin.
• Farklı eylemler yapmak için her öğe için 'Diğer eylemlerin listesi' üç nokta simgesine tıklayın.
• İçeriğini görüntülemek için anlık görüntü öğesine tıklayın.
• Seçili öğeden köke giden yolu görmek için İçerik Haritası'nı görüntüleyin.

Tanılama

Tanılama paneli, kullanıcılara Spark Danışmanı tarafından kullanıcının kodunun analizi aracılığıyla oluşturulan gerçek zamanlı öneriler ve hata analizi sağlar. Yerleşik desenlerle Apache Spark Danışmanı, kullanıcıların yaygın hataları önlemesine yardımcı olur ve kök nedenlerini belirlemek için hataları analiz eder.

İlgili içerik

Apache Spark uygulamasının ayrıntılarını görüntüledikten sonraki adım, Spark işinin ilerleme durumunu Not Defteri hücresinin altında görüntülemektir. Şu ifadelere başvurabilirsiniz:

• Not defteri bağlamsal izleme ve hata ayıklama