Apache Spark uygulamalarınızı izlemek için Synapse Studio kullanma

Azure Synapse Analytics ile çalışma alanınızdaki Apache Spark havuzlarınızda not defterlerini, işleri ve diğer tür uygulamaları çalıştırmak için Apache Spark'ı kullanabilirsiniz.

Bu makalede Apache Spark uygulamalarınızı nasıl izleyeceğiniz, bu sayede en son durumu, sorunları ve ilerlemeyi nasıl takip edebileceğiniz açıklanır.

Apache Spark uygulamalarını görüntüleme

Tüm Apache Spark uygulamalarını İzleyici ->Apache Spark uygulamalarından görüntüleyebilirsiniz.

Tamamlanan Apache Spark uygulamalarını görüntüleme

İzleyici'yi açın ve Apache Spark uygulamaları'yı seçin. Tamamlanan Apache Spark uygulamalarıyla ilgili ayrıntıları görüntülemek için Apache Spark uygulamasını seçin.

1. Tamamlanan görevler, Durum ve Toplam süre'yi denetleyin.

2. İşi yenileyin.

3. Karşılaştırma özelliğini kullanmak için Uygulamaları karşılaştır'a tıklayın. Bu özellik hakkında daha fazla bilgi için bkz. Apache Spark uygulamalarını karşılaştırma.

4. Geçmiş Sunucusu sayfasını açmak için Spark geçmiş sunucusuna tıklayın.

5. Özet bilgilerine bakın.

6. Tanılama sekmesinde tanılamayı denetleyin.

7. Günlükleri denetleyin. Açılan listede farklı seçenekler belirleyerek Livy, Prelaunch ve Driver günlüklerinin tam günlüğünü görüntüleyebilirsiniz. Ayrıca anahtar sözcükleri arayarak gerekli günlük bilgilerini doğrudan alabilirsiniz. Günlük bilgilerini yerel ortama indirmek için Günlüğü indir'e tıklayın ve ihtiyacınız olan hataları ve uyarıları filtrelemek için Hataları ve uyarıları filtrele onay kutusunu seçin.

8. Oluşturulan iş grafiğinde işinize genel bir bakış görebilirsiniz. Grafikte varsayılan olarak tüm işler gösterilir. Bu görünümü İş Kimliğine göre filtreleyebilirsiniz.

9. Varsayılan olarak İlerleme ekranı seçilidir. Görünüm açılan listesinde İlerleme/Okuma/Yazılı/Süresi'ni seçerek veri akışını de kontrol edebilirsiniz.

10. İşi geri almak için Kayıttan Yürüt düğmesine tıklayın. Durdurmak için istediğiniz zaman Durdur düğmesine tıklayabilirsiniz.

11. İş grafını yakınlaştırmak ve uzaklaştırmak için kaydırma çubuğunu kullanın; ekrana sığdırmak için Sığdırmak için Yakınlaştır'ı da seçebilirsiniz.

12. İş grafı düğümü her aşamanın aşağıdaki bilgilerini görüntüler:

    • İş kimliği

    • Görev numarası

    • Süre süresi

    • Satır sayısı

    • Veri okuma: Giriş boyutunun toplamı ve okuma boyutunu karıştırma

    • Yazılan veriler: Çıkış boyutu ve karıştırma yazma boyutunun toplamı

    • Aşama numarası

      

13. Fareyi bir işin üzerine getirdiğinizde iş ayrıntıları araç ipucunda görüntülenir:

    • İş durumu simgesi: İş durumu başarılı olursa yeşil bir "√" olarak görüntülenir; İş bir sorun algılarsa sarı bir "!"

    • İş kimliği

    • Genel bölüm:

      • İlerleme Durumu
      • Süre süresi
      • Toplam görev numarası

    • Veri bölümü:

      • Toplam satır sayısı
      • Okuma boyutu
      • Yazılı boyut

    • Eğme kısmı:

      • Veri dengesizliği
      • Zaman dengesizliği

    • Aşama numarası

      

14. İşin içerdiği tüm aşamaları genişletmek için Aşama numarası'na tıklayın. İşin tüm aşamalarını daraltmak için İş Kimliği'nin yanındaki Daralt'a tıklayın.

15. Aşama grafiğinde ayrıntıları görüntüle'ye tıklayın, ardından bir aşamanın ayrıntıları görüntülenir.

    

Apache Spark uygulamasının ilerleme durumunu izleme

İzleyici'yi açın ve Apache Spark uygulamaları'yı seçin. Çalışmakta olan Apache Spark uygulamalarıyla ilgili ayrıntıları görüntülemek için gönderilen Apache Spark uygulamasını seçin. Apache Spark uygulaması hala çalışıyorsa ilerleme durumunu izleyebilirsiniz.

1. Tamamlanan görevler, Durum ve Toplam süre'yi denetleyin.

2. Apache Spark uygulamasını iptal edin.

3. İşi yenileyin.

4. Spark İşi sayfasına gitmek için Spark Kullanıcı Arabirimi düğmesine tıklayın.

5. İş grafı, Özet, Tanılama, Günlükler için. Oluşturulan iş grafiğinde işinize genel bir bakış görebilirsiniz. Tamamlanan Apache Spark uygulamalarını görüntüleme adım 5 - 15'e bakın.

İptal edilen Apache Spark uygulamalarını görüntüleme

İzleyici'yi açın ve Apache Spark uygulamaları'yı seçin. İptal edilen Apache Spark uygulamalarıyla ilgili ayrıntıları görüntülemek için Apache Spark uygulamasını seçin.

1. Tamamlanan görevler, Durum ve Toplam süre'yi denetleyin.

2. İşi yenileyin.

3. Karşılaştırma özelliğini kullanmak için Uygulamaları karşılaştır'a tıklayın. Bu özellik hakkında daha fazla bilgi için bkz. Apache Spark uygulamalarını karşılaştırma.

4. Spark geçmiş sunucusu'nu tıklatarak Apache geçmiş sunucusu bağlantısını açın.

5. Grafiği görüntüleyin. Oluşturulan iş grafiğinde işinize genel bir bakış görebilirsiniz. Tamamlanan Apache Spark uygulamalarını görüntüleme adım 5 - 15'e bakın.

Başarısız Apache Spark uygulamasında hata ayıklama

İzleyici'yi açın ve Apache Spark uygulamaları'yı seçin. Başarısız Apache Spark uygulamalarıyla ilgili ayrıntıları görüntülemek için Apache Spark uygulamasını seçin.

1. Tamamlanan görevler, Durum ve Toplam süre'yi denetleyin.

2. İşi yenileyin.

3. Karşılaştırma özelliğini kullanmak için Uygulamaları karşılaştır'a tıklayın. Bu özellik hakkında daha fazla bilgi için bkz. Apache Spark uygulamalarını karşılaştırma.

4. Spark geçmiş sunucusu'nu tıklatarak Apache geçmiş sunucusu bağlantısını açın.

5. Grafiği görüntüleyin. Oluşturulan iş grafiğinde işinize genel bir bakış görebilirsiniz. Tamamlanan Apache Spark uygulamalarını görüntüleme adım 5 - 15'e bakın.

Giriş verilerini/çıkış verilerini görüntüleme

Bir Apache Spark uygulaması seçin ve Apache Spark uygulamasının giriş ve çıkış tarihlerini görüntülemek için Giriş verileri/Çıkış verileri sekmesine tıklayın. Bu işlev Spark işinde hata ayıklamanıza yardımcı olabilir. Veri kaynağı üç depolama yöntemini destekler: 1. nesil, 2. nesil ve blob.

Giriş verileri sekmesi

1. Giriş dosyasını yerel dosyaya yapıştırmak için Girişi kopyala düğmesine tıklayın.

2. Giriş dosyasını CSV biçiminde dışarı aktarmak için CSV'ye Aktar düğmesine tıklayın.

3. Arama kutusunda giriş anahtar sözcüklerine göre dosyaları arayabilirsiniz (anahtar sözcükler dosya adı, okuma biçimi ve yol içerir).

4. Ad, Okuma biçimi ve yol'a tıklayarak giriş dosyalarını sıralayabilirsiniz.

5. Fareyi kullanarak giriş dosyasının üzerine gelin; İndirme/Kopyalama yolu/Diğer düğmesinin simgesi görüntülenir.

6. Diğer düğmesine tıklayın. Yolu kopyala/Gezginde göster/Özellikler bağlam menüsünde görünür.

   

   • Kopyalama yolu: Tam yol ve Göreli yol kopyalayabilir.

   • Gezginde göster: bağlı depolama hesabına (Veri Bağlantılı>) atlayabilir.

   • Özellikler: dosyanın temel özelliklerini gösterir (Dosya adı/Dosya yolu/Okuma biçimi/Boyut/Değiştirildi).

     

Çıktı verileri sekmesi

Giriş sekmesiyle aynı özellikleri görüntüler.

Apache Spark Uygulamalarını Karşılaştırma

Uygulamaları karşılaştırmanın iki yolu vardır. Uygulamayı Karşılaştır'ı seçerek karşılaştırabilir veya not defterinde görüntülemek için Not defterinde karşılaştır düğmesine tıklayabilirsiniz.

Uygulamaya göre karşılaştır

Uygulamaları karşılaştır düğmesine tıklayın ve performansı karşılaştırmak için bir uygulama seçin. İki uygulama arasındaki farkı görebilirsiniz.

1. Fareyi kullanarak bir uygulamanın üzerine gelin ve uygulamaları karşılaştır simgesi görüntülenir.

2. Uygulamaları karşılaştır simgesine tıklayın; Uygulamaları karşılaştır sayfası açılır.

3. Uygulama seç düğmesine tıklayarak Karşılaştırma uygulaması seç sayfasını açın.

4. Karşılaştırma uygulamasını seçerken uygulama URL'sini girmeniz veya yinelenen listeden seçim yapmanız gerekir. Ardından Tamam düğmesine tıklayın.

   

5. Karşılaştırma sonucu uygulamaları karşılaştır sayfasında görüntülenir.

   

Not defterinde karşılaştır

Not defterini açmak için Uygulamaları karşılaştır sayfasındaki Not Defterinde Karşılaştır düğmesine tıklayın. .ipynb dosyasının varsayılan adı Yinelenen Uygulama Analizi'dir.

Not Defteri: Yinelenen Application Analytics dosyasında, Spark havuzunu ve Dil'i ayarladıktan sonra doğrudan çalıştırabilirsiniz.

Sonraki adımlar

İşlem hattı çalıştırmalarını izleme hakkında daha fazla bilgi için Synapse Studio kullanarak işlem hattı çalıştırmalarını izleme makalesine bakın.