Apache Spark uygulamalarınızı izlemek için Synapse Studio kullanma

Azure Synapse Analytics ile çalışma alanınızdaki Apache Spark havuzlarınızda not defterlerini, işleri ve diğer uygulama türlerini çalıştırmak için Apache Spark'ı kullanabilirsiniz.

Bu makalede Apache Spark uygulamalarınızın nasıl izleneceği açıklanır ve bu sayede en son durum, sorun ve ilerleme durumunu takip edebilirsiniz.

Apache Spark uygulamalarını görüntüleme

tüm Apache Spark uygulamalarını İzleyici ->Apache Spark uygulamalarından görüntüleyebilirsiniz.

Tamamlanmış Apache Spark uygulamalarını görüntüleme

İzleyici'yi açın ve Apache Spark uygulamaları'yı seçin. Tamamlanan Apache Spark uygulamalarıyla ilgili ayrıntıları görüntülemek için Apache Spark uygulamasını seçin.

1. Tamamlanan görevler, Durum ve Toplam süre'yi denetleyin.

2. İşi yenile.

3. Karşılaştırma özelliğini kullanmak için Uygulamaları karşılaştır'a tıklayın. Bu özellik hakkında daha fazla bilgi için bkz. Apache Spark uygulamalarını karşılaştırma.

4. Geçmiş Sunucusu sayfasını açmak için Spark geçmiş sunucusuna tıklayın.

5. Özet bilgilerine bakın.

6. Tanılama sekmesinde tanılamayı denetleyin.

7. Günlükleri denetleyin. Açılan listede farklı seçenekler belirleyerek Livy, Prelaunch ve Driver günlüklerinin tam günlüğünü görüntüleyebilirsiniz. Ayrıca anahtar sözcükleri arayarak gerekli günlük bilgilerini doğrudan alabilirsiniz. Günlük bilgilerini yerel ortama indirmek için Günlüğü indir'e tıklayın ve ihtiyacınız olan hataları ve uyarıları filtrelemek için Hataları ve uyarıları filtrele onay kutusunu seçin.

8. Oluşturulan iş grafiğinde işinize genel bir bakış görebilirsiniz. Grafik varsayılan olarak tüm işleri gösterir. Bu görünümü İş Kimliği'ne göre filtreleyebilirsiniz.

9. Varsayılan olarak İlerleme ekranı seçilidir. Görünüm açılan listesinden İlerleme/Okunan/Yazılan/Süresi'ni seçerek veri akışını kontrol edebilirsiniz.

10. İşlemi çalmak için Kayıttan Yürüt düğmesine tıklayın. Durdurmak için istediğiniz zaman Durdur düğmesine tıklayabilirsiniz.

11. İş grafiğini yakınlaştırmak ve uzaklaştırmak için kaydırma çubuğunu kullanın; ekrana sığdırmak için Sığdıracak Şekilde Yakınlaştır seçeneğini seçebilirsiniz.

12. İş grafı düğümü her aşamanın aşağıdaki bilgilerini görüntüler:

    • İş Kimliği

    • Görev numarası

    • Süre süresi

    • Satır sayısı

    • Veri okuma: Giriş boyutunun toplamı ve okuma boyutunu karıştırma

    • Yazılan veriler: Çıkış boyutu ile karıştırma yazma boyutunun toplamı

    • Aşama numarası

      

13. Fareyi bir işin üzerine getirdiğinizde iş ayrıntıları araç ipucunda görüntülenir:

    • İş durumu simgesi: İş durumu başarılı olursa, yeşil bir "√" olarak görüntülenir; İş bir sorun algılarsa sarı "!"

    • İş Kimliği

    • Genel bölüm:

      • İlerleme
      • Süre süresi
      • Toplam görev numarası

    • Veri bölümü:

      • Toplam satır sayısı
      • Okuma boyutu
      • Yazı boyutu

    • Eğme bölümü:

      • Veri dengesizliği
      • Zaman dengesizliği

    • Aşama numarası

      

14. İşin içerdiği tüm aşamaları genişletmek için Aşama numarası'na tıklayın. İşteki tüm aşamaları daraltmak için İş Kimliği'nin yanındaki Daralt düğmesine tıklayın.

15. Aşama grafiğinde ayrıntıları görüntüle'ye tıklayın, ardından bir aşamanın ayrıntıları görüntülenir.

    

Apache Spark uygulamasının ilerleme durumunu izleme

İzleyici'yi açın ve Apache Spark uygulamaları'yı seçin. Çalışmakta olan Apache Spark uygulamalarıyla ilgili ayrıntıları görüntülemek için gönderilen Apache Spark uygulamasını seçin. Apache Spark uygulaması hala çalışıyorsa ilerleme durumunu izleyebilirsiniz.

1. Tamamlanan görevler, Durum ve Toplam süre'yi denetleyin.

2. Apache Spark uygulamasını iptal edin.

3. Lütfen işi yenileyin.

4. Spark İşi sayfasına gitmek için Spark kullanıcı arabirimi düğmesine tıklayın.

5. İş grafiği, Özet, Tanılama, Günlükler. Oluşturulan iş grafiğinde işinize genel bir bakış görebilirsiniz. Tamamlanan Apache Spark uygulamalarını görüntülemenin 5- 15. adımlarına bakın.

İptal edilen Apache Spark uygulamalarını görüntüleme

İzleyici'yi açın ve Apache Spark uygulamaları'yı seçin. İptal edilen Apache Spark uygulamalarıyla ilgili ayrıntıları görüntülemek için Apache Spark uygulamasını seçin.

1. Tamamlanan görevler, Durum ve Toplam süre'yi denetleyin.

2. Görevi yenile.

3. Karşılaştırma özelliğini kullanmak için Uygulamaları karşılaştır'a tıklayın. Bu özellik hakkında daha fazla bilgi için bkz. Apache Spark uygulamalarını karşılaştırma.

4. Spark geçmiş sunucusu'nu tıklatarak Apache geçmiş sunucusu bağlantısını açın.

5. Grafiği görüntüleyin. Oluşturulan iş grafiğinde işinize genel bir bakış görebilirsiniz. Tamamlanan Apache Spark uygulamalarını görüntülemenin 5- 15. adımlarına bakın.

Hatalı Apache Spark uygulamasını çözümleme

İzleyici'yi açın ve Apache Spark uygulamaları'yı seçin. Başarısız Apache Spark uygulamalarıyla ilgili ayrıntıları görüntülemek için Apache Spark uygulamasını seçin.

1. Tamamlanan görevler, Durum ve Toplam süre'yi denetleyin.

2. Görevi yenile.

3. Karşılaştırma özelliğini kullanmak için Uygulamaları karşılaştır'a tıklayın. Bu özellik hakkında daha fazla bilgi için bkz. Apache Spark uygulamalarını karşılaştırma.

4. Spark geçmiş sunucusu'nu tıklatarak Apache geçmiş sunucusu bağlantısını açın.

5. Grafiği görüntüleyin. Oluşturulan iş grafiğinde işinize genel bir bakış görebilirsiniz. Tamamlanan Apache Spark uygulamalarını görüntülemenin 5- 15. adımlarına bakın.

Giriş verilerini/çıkış verilerini görüntüleme

Bir Apache Spark uygulaması seçin ve Apache Spark uygulamasının giriş ve çıkış tarihlerini görüntülemek için Giriş verileri/Çıkış verileri sekmesine tıklayın. Bu işlev Spark işinde hata ayıklamanıza yardımcı olabilir. Veri kaynağı üç depolama yöntemini destekler: 1. nesil, 2. nesil ve blob.

Giriş verileri sekmesi

1. Giriş dosyasını yerel ortama yapıştırmak için Girişi kopyala düğmesine tıklayın.

2. Giriş dosyasını CSV biçiminde dışarı aktarmak için CSV'ye Aktar düğmesine tıklayın.

3. Arama kutusunda giriş anahtar sözcüklerine göre dosyaları arayabilirsiniz (anahtar sözcükler dosya adı, okuma biçimi ve yol içerir).

4. Ad, Okuma biçimi ve yola tıklayarak giriş dosyalarını sıralayabilirsiniz.

5. Fareyi kullanarak bir giriş dosyasının üzerine gelin; İndir/Kopyala yolu/Diğer düğmesinin simgesi görüntülenir.

6. Diğer düğmesine tıklayın. Yolu kopyala/Gezginde göster/Özellikler bağlam menüsünde görünür.

   

   • Yolu kopyala: Tam yol ve Göreli yol kopyalayabilir.

   • Explorer'da göster: bağlı depolama hesabına (Veri->Bağlantılı) geçiş yapabilir.

   • Özellikler: Dosyanın temel özelliklerini gösterir (Dosya adı/Dosya yolu/Okuma biçimi/Boyut/Değiştirildi).

     

Çıktı verileri sekmesi

Giriş sekmesiyle aynı özellikleri görüntüler.

Apache Spark Uygulamalarını Karşılaştırma

Uygulamaları karşılaştırmanın iki yolu vardır. Uygulamayı Karşılaştır'ı seçerek karşılaştırabilir veya not defterinde görüntülemek için Not defterinde karşılaştır düğmesine tıklayabilirsiniz.

Uygulamaya göre karşılaştır

Uygulamaları karşılaştır düğmesine tıklayın ve performansı karşılaştırmak için bir uygulama seçin. İki uygulama arasındaki farkı görebilirsiniz.

1. Fareyi kullanarak bir uygulamanın üzerine gelin ve uygulamaları karşılaştır simgesi görüntülenir.

2. Uygulamaları karşılaştır simgesine tıkladığımızda Uygulamaları karşılaştır sayfası açılır.

3. Uygulama seç düğmesine tıklayarak Karşılaştırma uygulaması seç sayfasını açın.

4. Karşılaştırma uygulamasını seçerken uygulama URL'sini girmeniz veya yinelenen listeden seçim yapmanız gerekir. Ardından Tamam düğmesine tıklayın.

   

5. Karşılaştırma sonucu uygulamaları karşılaştır sayfasında görüntülenir.

   

Not defterinde karşılaştırma

Not defterini açmak için Uygulamaları karşılaştır sayfasındaki Not Defterinde Karşılaştır düğmesine tıklayın. .ipynb dosyasının varsayılan adı Yinelenen Uygulama Analizi'dir.

Spark havuzunu ve Dili ayarladıktan sonra Not Defteri: Yinelenen Uygulama Analizi dosyasını doğrudan çalıştırabilirsiniz.

Sonraki adımlar

İşlem hattı çalıştırmalarını izleme hakkında daha fazla bilgi için Synapse Studio kullanarak işlem hattı çalıştırmalarını izleme makalesine bakın.