Azure Data Lake Analytics için İş Tarayıcısı’nı ve İş Görünümü’nü kullanma

Önemli

Azure Data Lake Analytics 29 Şubat 2024'te kullanımdan kaldırıldı. Bu duyuru ile daha fazla bilgi edinin.

Veri analizi için kuruluşunuz Azure Synapse Analytics veya Microsoft Fabric kullanabilir.

Azure Data Lake Analytics hizmeti, gönderilen işleri bir sorgu deposunda arşivler. Bu makalede, geçmiş iş bilgilerini bulmak için Visual Studio için Azure Data Lake Araçları'da İş Tarayıcısı ve İş Görünümü'nü kullanmayı öğreneceksiniz.

varsayılan olarak, Data Lake Analytics hizmeti işleri 30 gün boyunca arşivler. Süre sonu, özelleştirilmiş süre sonu ilkesi yapılandırılarak Azure portal yapılandırılabilir. Süre dolduktan sonra iş bilgilerine erişemezsiniz.

Önkoşullar

Bkz. Visual Studio için Data Lake Araçları önkoşulları.

İş Tarayıcısı'nı açma

Visual Studio'da Sunucu Gezgini>Azure> Data Lake Analytics> jobs aracılığıyla İş Tarayıcısı'na erişin. İş Tarayıcısı'nı kullanarak bir Data Lake Analytics hesabının sorgu deposuna erişebilirsiniz. İş Tarayıcısı sol tarafta Sorgu Deposu'nda temel iş bilgilerini, sağ tarafta ise ayrıntılı iş bilgilerini gösteren İş Görünümü'nü görüntüler.

İş Görünümü

İş Görünümü, işin ayrıntılı bilgilerini gösterir. Bir işi açmak için İş Tarayıcısı'nda bir işe çift tıklayabilir veya data lake menüsünden İş Görünümü'ne tıklayarak bu işi açabilirsiniz. İş URL'si ile doldurulmuş bir iletişim kutusu görmeniz gerekir.

İş Görünümü içeriği:

• İş Özeti

  İşleri çalıştırma hakkında daha yeni bilgileri görmek için İş Görünümü'nü yenileyin.

  • İş Durumu (grafik):

    İş Durumu, iş aşamalarını özetler:

    

    • Hazırlanıyor: Betiğinizi buluta yükleyin, derleme hizmetini kullanarak betiği derleyin ve iyileştirin.

    • Kuyruğa alındı: İşler, yeterli kaynak beklediğinde veya işler hesap başına maksimum eş zamanlı iş sınırını aştığında kuyruğa alınıyor. Öncelik ayarı, kuyruğa alınan işlerin sırasını belirler. Sayı ne kadar düşük olursa öncelik de o kadar yüksek olur.

    • Çalışıyor: İş aslında Data Lake Analytics hesabınızda çalışıyor.

    • Son haline getirme: İş tamamlanıyor (örneğin, dosyayı son haline getirme).

      İş her aşamada başarısız olabilir. Örneğin, Hazırlama aşamasındaki derleme hataları, Kuyruğa Alınan aşamada zaman aşımı hataları ve Çalıştırma aşamasındaki yürütme hataları vb.

  • Temel Bilgiler

    Temel iş bilgileri, İş Özeti panelinin alt kısmında gösterilir.

    

    • İş Sonucu: Başarılı veya başarısız. İş her aşamada başarısız olabilir.
    • Toplam Süre: Gönderme süresi ile bitiş saati arasındaki duvar saati süresi (süre).
    • Toplam İşlem Süresi: Her köşe yürütme süresinin toplamıdır, bunu işin yalnızca bir köşede yürütüldiği zaman olarak düşünebilirsiniz. Köşe hakkında daha fazla bilgi edinmek için Toplam Köşeler'e bakın.
    • Gönderme/Başlangıç/Bitiş Saati: Data Lake Analytics hizmetinin işi aldığı/işi çalıştırmaya başladığı/işi başarıyla bitirdiği veya bitirmediği zaman.
    • Derleme/Kuyruğa Alındı/Çalışıyor: Hazırlama/Kuyruğa Alma/Çalıştırma aşamasında harcanan duvar saati süresi.
    • Hesap: İşi çalıştırmak için kullanılan Data Lake Analytics hesabı.
    • Yazar: İşi gönderen kullanıcı, gerçek bir kişinin hesabı veya sistem hesabı olabilir.
    • Öncelik: İşin önceliği. Sayı ne kadar düşükse öncelik de o kadar yüksektir. Yalnızca kuyruktaki işlerin sırasını etkiler. Daha yüksek bir öncelik ayarlamak, çalışan işleri önceden ayarlamaz.
    • Paralellik: köşe olarak da bilinen, istenen en fazla eş zamanlı Azure Data Lake Analytics Birimi (ADLAU) sayısıdır. Şu anda bir köşe iki sanal çekirdeğe ve altı GB RAM'e sahip bir VM'ye eşittir, ancak bu, gelecekteki Data Lake Analytics güncelleştirmelerde yükseltilebilir.
    • Kalan Bayt: İş tamamlanana kadar işlenmesi gereken baytlar.
    • Okunan/yazılan bayt: İş çalışmaya başladığından beri okunan/yazılan baytlar.
    • Toplam köşe: İş birçok çalışma parçasına ayrılmıştır ve her çalışma parçası köşe olarak adlandırılır. Bu değer, işin kaç parçadan oluştuğunı açıklar. Köşeyi Azure Data Lake Analytics Birimi (ADLAU) olarak da bilinen temel bir işlem birimi olarak düşünebilirsiniz ve köşeler paralel olarak çalıştırılabilir.
    • Tamamlandı/Çalışıyor/Başarısız: Tamamlanan/çalışan/başarısız köşelerin sayısı. Hem kullanıcı kodu hem de sistem hataları nedeniyle köşeler başarısız olabilir, ancak sistem başarısız köşeleri otomatik olarak birkaç kez yeniden denenir. Köşe yeniden denendikten sonra hala başarısız olursa, tüm iş başarısız olur.

• İş Grafı

  U-SQL betiği, giriş verilerini çıkış verilerine dönüştürme mantığını temsil eder. Betik, Hazırlama aşamasında bir fiziksel yürütme planı için derlenmiş ve iyileştirilmiştir. İş Grafı, fiziksel yürütme planını göstermektir. Aşağıdaki diyagramda işlem gösterilmektedir:

  

  Bir iş birçok işe ayrılmıştır. Her iş parçası köşe olarak adlandırılır. Köşeler Süper Köşe (aşama olarak da bilinir) olarak gruplandırılır ve İş Grafı olarak görselleştirilir. İş grafiğindeki yeşil aşama levhaları aşamaları gösterir.

  Bir aşamadaki her köşe, aynı verinin farklı parçalarıyla aynı türde işler yapıyor. Örneğin, bir TB'lık veri içeren bir dosyanız varsa ve bu dosyadan okunan yüzlerce köşe varsa, her biri bir öbek okuyordur. Bu köşeler aynı aşamada gruplandırılır ve aynı giriş dosyasının farklı parçaları üzerinde aynı çalışma lanır.

  • Aşama bilgileri

    Belirli bir aşamada, bazı sayılar levhada gösterilir.

    

    • SV1 Ayıkla: Bir sayının ve işlem yönteminin adlandırdığı aşamanın adı.

    • 84 köşe: Bu aşamadaki köşelerin toplam sayısı. Şekilde, bu aşamada kaç iş parçasının bölündüğü gösterilir.

    • 12,90 s/köşe: Bu aşama için ortalama köşe yürütme süresi. Bu şekil TOPLA (her köşe yürütme süresi) / (toplam Köşe sayısı) ile hesaplanır. Bu da paralellik içinde yürütülen tüm köşeleri atayabileceğiniz anlamına gelir, tüm aşama 12,90 sn içinde tamamlanır. Ayrıca, bu aşamadaki tüm çalışmalar seri olarak yapılırsa maliyet * ORT süresi #vertices anlamına gelir.

    • 850.895 satır yazıldı: Bu aşamada yazılan toplam satır sayısı.

    • G/Ç: Bu aşamada bayt cinsinden okunan/yazılan veri miktarı.

    • Renkler: Farklı köşe durumunu göstermek için aşamada renkler kullanılır.

      • Yeşil köşenin başarılı olduğunu gösterir.
      • Turuncu köşenin yeniden denendiğini gösterir. Yeniden denenen köşe başarısız oldu, ancak sistem tarafından otomatik olarak ve başarıyla yeniden denendi ve genel aşama başarıyla tamamlandı. Köşe yeniden denenmiş ancak yine de başarısız olmuşsa, renk kırmızıya dönüşür ve tüm iş başarısız olur.
      • Kırmızı başarısız olduğunu gösterir, bu da belirli bir köşenin sistem tarafından birkaç kez yeniden denendiği ancak yine de başarısız olduğu anlamına gelir. Bu senaryo tüm işin başarısız olmasına neden olur.
      • Mavi, belirli bir köşenin çalıştığı anlamına gelir.
      • Beyaz, köşenin Bekliyor olduğunu gösterir. Bir ADLAU kullanılabilir duruma geldikten sonra köşe zamanlanmayı bekliyor olabilir veya giriş verileri hazır olmayabileceği için giriş bekliyor olabilir.

      Fare imlecinizi tek bir duruma getirerek aşamayla ilgili daha fazla ayrıntı bulabilirsiniz:

      

  • Köşeler: Toplam kaç köşe, kaç köşenin tamamlandığı, başarısız mı yoksa hala çalışıyor mu/bekliyor vb. köşe ayrıntılarını açıklar.

  • Podlar arası/pod içi okuma verileri: Dosyalar ve veriler dağıtılmış dosya sisteminde birden çok podda depolanır. Buradaki değer, aynı podda veya çapraz podda ne kadar verinin okundığını açıklar.

  • Toplam işlem süresi: Aşamadaki tüm köşe yürütme sürelerinin toplamı, aşamadaki tüm çalışmalar yalnızca bir köşede yürütülürse gereken süre olarak düşünebilirsiniz.

  • Yazılan/okunan veri ve satırlar: Ne kadar veri veya satırın okundu/yazıldığını veya okunmasının gerektiğini gösterir.

  • Köşe okuma hataları: Verileri okurken kaç köşenin başarısız olduğunu açıklar.

  • Köşe yinelenen atmaları: Bir köşe çok yavaş çalışıyorsa, sistem aynı iş parçasını çalıştırmak için birden çok köşe zamanlayabilir. Köşelerden biri başarıyla tamamlandıktan sonra yedekli köşeler atılır. Köşe yinelemesi, aşamada yineleme olarak atılan köşe sayısını kaydeder.

  • Köşe iptalleri: Köşe başarılı oldu, ancak bazı nedenlerden dolayı daha sonra yeniden çalıştırıldı. Örneğin, aşağı akış köşesi ara giriş verilerini kaybederse yukarı akış köşesinin yeniden çalıştırılmasını ister.

  • Köşe zamanlama yürütmeleri: Köşelerin zamanlandığı toplam süre.

  • Min/Average/Max Köşe verileri okuma: Her köşe okuma verilerinin en düşük/ortalama/maksimum değeri.

  • Süre: Bir aşamanın aldığı duvar saati saati, bu değeri görmek için profili yüklemeniz gerekir.

  • İş Kayıttan Yürütme

    Data Lake Analytics işleri çalıştırır ve köşelerin ne zaman başlatılıp durdurulduğu, başarısız olduğu ve nasıl yeniden denendiği gibi işlerin bilgilerini çalıştıran köşeleri arşivler. Tüm bilgiler otomatik olarak sorgu deposuna kaydedilir ve İş Profilinde depolanır. İş Profili'ni İş Görünümü'nde "Profili Yükle" aracılığıyla indirebilir ve İş Profili'ni indirdikten sonra İş Kayıttan Yürütme'yi görüntüleyebilirsiniz.

    İş Kayıttan Yürütme, kümede neler olduğunu gösteren bir görselleştirmedir. İş yürütme ilerleme durumunu watch ve performans anomalilerini ve performans sorunlarını çok kısa sürede (genellikle 30'dan az) görsel olarak algılamanıza yardımcı olur.

  • İş Isı Haritası Görüntüsü

    İş Isı Haritası, İş Grafı'ndaki Görüntü açılan listesinden seçilebilir.

    

    Bir işin G/Ç, zaman ve aktarım hızı ısı haritasını gösterir. Bu harita sayesinde işin çoğu zaman nereye harcandığını veya işinizin G/Ç sınırı işi olup olmadığını vb. bulabilirsiniz.

    

    • İlerleme: İş yürütme ilerleme durumu, bkz. Aşama bilgilerindeki bilgiler.
    • Okunan/yazılan veriler: Her aşamada okunan/yazılan toplam verilerin ısı haritası.
    • İşlem süresi: TOPLA'nın ısı haritası (her köşe yürütme süresi), aşamadaki tüm çalışmaların tek bir köşeyle yürütülmesinin ne kadar süreceğini göz önünde bulundurabilirsiniz.
    • Düğüm başına ortalama yürütme süresi: TOPLA ısı haritası (her köşe yürütme süresi) / (Köşe Numarası). Bu da paralellik içinde yürütülen tüm köşeleri atayabileceğiniz anlamına gelir, tüm aşama bu zaman diliminde tamamlanır.
    • Giriş/Çıkış aktarım hızı: Her aşamanın giriş/çıkış aktarım hızının ısı haritası, işinizin G/Ç'ye bağlı bir iş olup olmadığını bu işlemle onaylayabilirsiniz.

• Meta Veri İşlemleri

  U-SQL betiğinizde veritabanı oluşturma, tablo bırakma gibi bazı meta veri işlemleri gerçekleştirebilirsiniz. Bu işlemler, derlemeden sonra Meta Veri İşlemi'nde gösterilir. Onayları bulabilir, varlık oluşturabilir ve varlıkları burada bırakabilirsiniz.

  

• Durum Geçmişi

  Durum Geçmişi, İş Özeti'nde de görselleştirilir, ancak daha fazla ayrıntıya buradan ulaşabilirsiniz. İşin ne zaman hazırlandığı, kuyruğa alındığını, çalışmaya başladığını, sona erdiği gibi ayrıntılı bilgileri bulabilirsiniz. Ayrıca işin kaç kez derlendiğini (CcsAttempts: 1), işin kümeye ne zaman gönderildiğini (Ayrıntı: İşi kümeye dağıtma) vb. bulabilirsiniz.

  

• Tanılama

  Araç, iş yürütmeyi otomatik olarak tanılar. İşlerinizde bazı hatalar veya performans sorunları olduğunda uyarılar alırsınız. Tüm bilgileri buradan almak için Profil'i indirmeniz gerektiğini lütfen unutmayın.

  

  • Uyarılar: Burada derleyici uyarısı olan bir uyarı gösterilir. Uyarı görüntülendiğinde daha fazla ayrıntıya sahip olmak için "x sorun" bağlantısını seçebilirsiniz.
  • Köşe çok uzun çalışır: Herhangi bir köşenin süresi dolarsa (örneğin 5 saat), burada sorunlar bulunur.
  • Kaynak kullanımı: Gerekenden daha fazla Paralellik ayırdıysanız veya ayırmadıysanız, burada sorunlar bulunur. Ayrıca daha fazla ayrıntı görmek ve daha iyi bir kaynak ayırma bulmak için durum senaryoları gerçekleştirmek için Kaynak kullanımı'na da bakabilirsiniz (daha fazla ayrıntı için bu kılavuza bakın).
  • Bellek denetimi: Herhangi bir köşe 5 GB'tan fazla bellek kullanıyorsa, burada sorunlar bulunur. Sistem sınırlamasından daha fazla bellek kullanıyorsa, iş yürütme sistem tarafından öldürülebilir.

İş Ayrıntısı

İş Ayrıntıları, Betik, Kaynaklar ve Köşe Yürütme Görünümü dahil olmak üzere işin ayrıntılı bilgilerini gösterir.

• Komut Dosyası

  İşin U-SQL betiği sorgu deposunda depolanır. Özgün U-SQL betiğini görüntüleyebilir ve gerekirse yeniden gönderebilirsiniz.

• Kaynaklar

  Sorgu deposunda depolanan iş derleme çıkışlarını Kaynaklar aracılığıyla bulabilirsiniz. Örneğin, burada İş Grafiğini, kaydettiğiniz derlemeleri vb. göstermek için kullanılan "algebra.xml" bulabilirsiniz.

• Köşe yürütme görünümü

  Köşe yürütme ayrıntılarını gösterir. İş Profili, toplam okuma/yazma, çalışma zamanı, durum gibi tüm köşe yürütme günlüklerini arşivler. Bu görünüm aracılığıyla, bir işin nasıl çalıştığını gösteren daha fazla ayrıntıya ulaşabilirsiniz. Daha fazla bilgi için bkz. Visual Studio için Data Lake Araçları'nda Köşe Yürütme Görünümünü Kullanma.

Sonraki Adımlar

• Tanılama bilgilerini günlüğe kaydetmek için bkz. Azure Data Lake Analytics için tanılama günlüklerine erişme
• Daha karmaşık bir sorgu görmek için Azure Data Lake Analytics'i kullanarak Web sitesi günlüklerini çözümleme makalesine bakın.
• Köşe yürütme görünümünü kullanmak için bkz. Visual Studio için Data Lake Araçları'nda Köşe Yürütme Görünümünü Kullanma