Databricks İşleri için izleme ve gözlemlenebilirlik

Bu makalede, erişiminiz olan işleri görüntülemek, bir işin çalıştırma geçmişini görüntülemek ve iş çalıştırmalarının ayrıntılarını görüntülemek için Azure Databricks kullanıcı arabiriminde sağlanan özellikler açıklanmaktadır. İşlerin bildirimlerini yapılandırmak için bkz . İş olayları için e-posta ve sistem bildirimleri ekleme.

Databricks CLI kullanarak işleri görüntüleme ve işleri çalıştırma hakkında bilgi edinmek için , databricks jobs get -hve databricks jobs run-now -hCLI komutlarını databricks jobs list -hçalıştırın. İşler API'sini kullanma hakkında bilgi edinmek için bkz. İşler API'sini.

Şemaya erişiminiz varsa, hesabınızdan system.lakeflow iş çalıştırmalarının ve görevlerin kayıtlarını görüntüleyebilir ve sorgulayabilirsiniz. Bkz. İşler sistem tablosu başvurusu.

İşleri görüntüleme

Erişiminiz olan işlerin listesini görüntülemek için kenar çubuğunda İş Akışları'na tıklayın. İş Akışları kullanıcı arabirimindeki İşler sekmesi, işin oluşturucusu, varsa işin tetikleyicisi ve son çalıştırmanın sonucu gibi kullanılabilir tüm işler hakkındaki bilgileri listeler.

İşler listesinde görüntülenen sütunları değiştirmek için tıklayın ve sütunları seçin veya seçimini kaldırın.

İşler listesinde işleri filtreleyebilirsiniz:

• Anahtar sözcükleri kullanma. Bu çalışma alanı için artan iş sınırı özelliğini etkinleştirdiyseniz anahtar sözcüklere göre arama yalnızca ad, iş kimliği ve iş etiketi alanları için desteklenir.
• Yalnızca sahip olduğunuz işleri seçme.
• Erişim izniniz olan tüm işleri seçme.
• Etiketleri kullanma. Yalnızca bir anahtarla oluşturulan bir etiketi aramak için, anahtarı arama kutusuna yazın. Anahtar ve değerle oluşturulan bir etiketi aramak için anahtara, değere veya hem anahtara hem de değere göre arama yapabilirsiniz. Örneğin, anahtarı department ve değeri financeolan bir etiket için department eşleşen işleri arayabilir veya finance bulabilirsiniz. Anahtara ve değere göre arama yapmak için anahtarı ve değeri iki nokta üst üste ile ayırarak girin; örneğin, department:finance.

ayrıca herhangi bir sütun üst bilgisine tıklayarak iş listesini (azalan veya artan) o sütuna göre sıralayabilirsiniz. Artan iş sınırı özelliği etkinleştirildiğinde, yalnızca , Job IDveya Created byölçütüne göre Namesıralayabilirsiniz. Varsayılan sıralama artan düzendedir Name .

İşin eylemlerine erişmek için tıklatın , örneğin işi silin.

bir iş için çalıştırmaları görüntüleme

Apache Airflow veya Azure Data Factory gibi dış düzenleme araçları tarafından başlatılan çalıştırmalar da dahil olmak üzere erişiminiz olan tüm işler için çalışmakta olan ve son tamamlanan çalıştırmaların listesini görüntüleyebilirsiniz. Son iş çalıştırmalarının listesini görüntülemek için:

1. Kenar çubuğunda İş Akışları'na tıklayın.
2. Ad sütununda bir iş adına tıklayın. Çalıştırmalar sekmesi etkin ve tamamlanmış çalıştırmaların matris ve liste görünümleriyle birlikte görüntülenir.

Matris görünümü, her iş görevi dahil olmak üzere işin çalıştırma geçmişini gösterir.

Matrisin Çalıştırma toplam süresi satırı, çalıştırmanın toplam süresini ve çalıştırmanın durumunu görüntüler. Çalıştırmanın başlangıç saati, süre ve durum gibi ayrıntılarını görüntülemek için, Toplam çalıştırma süresi satırında çubuğun üzerine gelin.

Görevler satırındaki her hücre bir görevi ve görevin ilgili durumunu temsil eder. Başlangıç zamanı, süre, küme ve durum dahil olmak üzere her görevin ayrıntılarını görüntülemek için, bu görevin hücresinin üzerine gelin.

İş çalıştırması ve görev çalıştırma çubukları, çalıştırmanın durumunu belirtmek için renk kodludur. Başarılı çalıştırmalar yeşil, başarısız çalıştırmalar kırmızı ve atlanan çalıştırmalar pembedir. Tek tek iş çalıştırmasının ve görev çalıştırma çubuklarının yüksekliği, çalıştırma süresini görsel olarak gösterir.

Beklenen tamamlanma süresini yapılandırdıysanız, çalıştırma süresi yapılandırılan süreyi aştığında matris görünümü bir uyarı görüntüler.

Varsayılan olarak, çalıştırma listesi görünümü şunları görüntüler:

• Çalıştırmanın başlangıç saati.
• Çalıştırma tanımlayıcısı.
• Çalıştırmanın bir iş zamanlaması veya API isteği tarafından tetiklenip tetiklenmediği veya el ile başlatılıp başlatılmadığı.
• Çalışmakta olan bir iş için geçen süre veya tamamlanan çalıştırmanın toplam çalışma süresi. Süre yapılandırılan beklenen tamamlanma süresini aşarsa bir uyarı görüntülenir.
• Spark günlüklerine bağlantılar.
• Çalıştırmanın durumu, , , , , Skipped, Succeeded, Failed, , Terminating, Timed OutCancelingCanceledTerminatedInternal Errorveya .Waiting for RetryRunningPendingQueued
• Çalıştırmanın bağlama özgü eylemlerine erişmek için tıklayın ; örneğin, etkin bir çalıştırmayı durdurun veya tamamlanmış bir çalıştırmayı silin.

Çalıştırma listesi görünümünde görüntülenen sütunları değiştirmek için tıklayın ve sütunları seçin veya seçimini kaldırın.

bir iş çalıştırmasının ayrıntılarını görüntülemek için çalıştırma listesi görünümündeki Başlangıç zamanı sütununda çalıştırmanın bağlantısına tıklayın. Bu işin en son başarılı çalıştırmasının ayrıntılarını görüntülemek için En son başarılı çalıştırmaya git'e tıklayın.

Azure Databricks, iş çalıştırmalarınızın geçmişini 60 güne kadar korur. İş çalıştırmalarını korumanız gerekiyorsa Databricks, sonuçların süresi dolmadan dışarı aktarmanızı önerir. Daha fazla bilgi için bkz . İş çalıştırma sonuçlarını dışarı aktarma.

İş çalıştırması ayrıntılarını görüntüleme

İş çalıştırma ayrıntıları sayfası, iş çıktısını ve iş çalıştırmasında her görevin başarısı veya başarısızlığı hakkında bilgiler de dahil olmak üzere günlüklere bağlantılar içerir. İş çalıştırması ayrıntılarına işin Çalıştırmalar sekmesinden erişebilirsiniz. Çalıştırmalar sekmesinden iş çalıştırması ayrıntılarını görüntülemek için, çalıştırma listesi görünümündeki Başlangıç zamanı sütununda çalıştırmanın bağlantısına tıklayın. İşin Çalıştırmalar sekmesine dönmek için İş Kimliği değerine tıklayın.

İş birden çok görev içeriyorsa, aşağıdakiler dahil olmak üzere görev çalıştırma ayrıntılarını görüntülemek için bir göreve tıklayın:

• görevi çalıştıran küme
  • görevin Spark kullanıcı arabirimi
  • görev için günlükler
  • görev için ölçümler

İşin Çalıştırmalar sekmesine dönmek için İş Kimliği değerine tıklayın.

Azure Databricks iş çalıştırma durumunu nasıl belirler?

Azure Databricks, işin yaprak görevlerinin sonucuna göre bir iş çalıştırmasının başarılı olup olmadığını belirler. Yaprak görev, aşağı akış bağımlılıkları olmayan bir görevdir. bir iş çalıştırması üç sonuçtan birine sahip olabilir:

• Başarılı: Tüm görevler başarılı oldu.
• Hatalarla başarılı oldu: Bazı görevler başarısız oldu, ancak tüm yaprak görevler başarılı oldu.
• Başarısız: Bir veya daha fazla yaprak görev başarısız oldu.

Görev çalıştırma geçmişini görüntüleme

Başarılı ve başarısız çalıştırmalar dahil olmak üzere görevin çalıştırma geçmişini görüntülemek için:

1. İş çalıştırma ayrıntıları sayfasında bir göreve tıklayın. Görev çalıştırma ayrıntıları sayfası görüntülenir.
2. Çalıştırma geçmişi açılan menüsünden görev çalıştırmasını seçin.

Görevin For each görev çalıştırma geçmişini görüntüleme

Bir For each görevin çalıştırma geçmişine erişmek, standart bir Azure Databricks İşleri göreviyle aynıdır. İş çalıştırma ayrıntıları sayfasında görev düğümüne veya matris görünümünde ilgili hücreye tıklayabilirsinizFor each. Ancak, standart bir görevin aksine, bir For each görevin çalıştırma ayrıntıları iç içe görev yinelemelerinin bir tablosu olarak sunulur.

Yalnızca başarısız yinelemeleri görüntülemek için Yalnızca başarısız yinelemeler'e tıklayın.

Yinelemenin çıkışını görüntülemek için yinelemenin Başlangıç saati veya Bitiş saati değerlerine tıklayın.

Son iş çalıştırmalarını görüntüleme

Apache Airflow veya Azure Data Factory gibi dış düzenleme araçları tarafından başlatılan çalıştırmalar da dahil olmak üzere erişiminiz olan bir çalışma alanında bulunan tüm işler için çalışmakta olan ve son tamamlanan çalıştırmaların listesini görüntüleyebilirsiniz. Son iş çalıştırmalarının listesini görüntülemek için:

1. Kenar çubuğunda İş Akışları'na tıklayın.
2. İş çalıştırmaları listesini görüntülemek için İş çalıştırmaları sekmesine tıklayın.

Tamamlanan çalıştırma sayısı grafiği, son 48 saatte tamamlanan iş çalıştırmalarının sayısını görüntüler. Grafik varsayılan olarak başarısız, atlanmış ve başarılı iş çalıştırmalarını görüntüler. Ayrıca belirli çalıştırma durumlarını göstermek için grafiği filtreleyebilir veya grafiği belirli bir zaman aralığıyla kısıtlayabilirsiniz. İş çalıştırmaları sekmesi, son 67 güne ait bir iş çalıştırmaları tablosu da içerir. Varsayılan olarak, tablo başarısız, atlanan ve başarılı iş çalıştırmalarıyla ilgili ayrıntıları içerir.

Not

Tamamlanan çalıştırma sayısı grafiği yalnızca Bana ait'e tıkladığınızda görüntülenir.

Tamamlanan çalıştırma sayısını çalıştırma durumuna göre filtreleyebilirsiniz:

• Grafı çalışmakta olan veya çalıştırmayı bekleyen işleri gösterecek şekilde güncelleştirmek için Etkin çalıştırmalar'a tıklayın.
• Grafı başarısız, başarılı ve atlanmış çalıştırmalar da dahil olmak üzere yalnızca tamamlanmış çalıştırmaları gösterecek şekilde güncelleştirmek için Tamamlanan çalıştırmalar'a tıklayın.
• Grafı yalnızca son 48 saat içinde başarıyla tamamlanan çalıştırmaları gösterecek şekilde güncelleştirmek için Başarılı çalıştırmalar'a tıklayın.
• Grafiği yalnızca atlanan çalıştırmaları gösterecek şekilde güncelleştirmek için Atlanan çalıştırmalar'a tıklayın. Çalışma alanınızda eş zamanlı çalıştırma sayısı üst sınırını aştığınızdan veya iş iş yapılandırması tarafından belirtilen en fazla eşzamanlı çalıştırma sayısını aştığınızdan çalıştırmalar atlanır.
• Grafiği yalnızca hata durumunda tamamlanan çalıştırmaları gösterecek şekilde güncelleştirmek için Başarısız çalıştırmalar'a tıklayın.

Filtre düğmelerinden herhangi birine tıkladığınızda, çalıştırmalar tablosundaki çalıştırma listesi de yalnızca seçilen durumla eşleşen iş çalıştırmalarını gösterecek şekilde güncelleştirilir.

Tamamlanan çalıştırma sayısı grafiğinde görüntülenen zaman aralığını sınırlamak için, zaman aralığını seçmek için imlecinizi grafikte tıklatıp sürükleyin. Grafik ve çalıştırma tablosu yalnızca seçilen zaman aralığındaki çalıştırmaları görüntülemek için güncelleştirilir.

Varsayılan olarak, çalıştırmalar tablosundaki çalıştırmaların listesi şu şekilde görüntülenir:

• Çalıştırmanın başlangıç saati.
• Çalıştırmayla ilişkili işin adı.
• İşin çalıştığı kullanıcı adı.
• Çalıştırmanın bir iş zamanlaması veya API isteği tarafından tetiklenip tetiklenmediği veya el ile başlatılıp başlatılmadığı.
• Çalışmakta olan bir iş için geçen süre veya tamamlanan çalıştırmanın toplam çalışma süresi. Süre yapılandırılan beklenen tamamlanma süresini aşarsa bir uyarı görüntülenir.
• Çalıştırmanın durumu, , , , , Skipped, Succeeded, Failed, , Terminating, Timed OutCancelingCanceledTerminatedInternal Errorveya .Waiting for RetryRunningPendingQueued
• Çalıştırma için herhangi bir parametre.
• Çalıştırmanın bağlama özgü eylemlerine erişmek için tıklayın ; örneğin, etkin bir çalıştırmayı durdurun veya tamamlanmış bir çalıştırmayı silin.

Çalıştırmalar listesinde görüntülenen sütunları değiştirmek için tıklayın ve sütunları seçin veya seçimini kaldırın.

İlk 5 hata türü tablosu, seçilen zaman aralığındaki en sık karşılaşılan hata türlerinin listesini görüntüleyerek çalışma alanınızdaki iş sorunlarının en yaygın nedenlerini hızla görmenize olanak sağlar.

İş çalıştırması ayrıntılarını görüntülemek için çalıştırmanın Başlangıç zamanı sütunundaki bağlantıya tıklayın. İş ayrıntılarını görüntülemek için İş sütununda iş adına tıklayın.

bir işin köken bilgilerini görüntüleme

Çalışma alanınızda Unity Kataloğu etkinleştirildiyse, iş akışınızdaki Unity Kataloğu tablolarının köken bilgilerini görüntüleyebilirsiniz. İş akışınız için köken bilgileri varsa, işinizin İş ayrıntıları panelinde, iş çalıştırması için İş çalıştırma ayrıntıları panelinde veya görev çalıştırması için Görev çalıştırma ayrıntıları panelinde yukarı akış ve aşağı akış tablolarının sayısını içeren bir bağlantı görürsünüz. Tablo listesini göstermek için bağlantıya tıklayın. Katalog Gezgini'nde ayrıntılı bilgileri görmek için bir tabloya tıklayın.

Databricks Varlık Paketi ile oluşturulan bir işi görüntüleme ve çalıştırma

Databricks Varlık Paketi tarafından dağıtılan işleri görüntülemek ve çalıştırmak için Azure Databricks İşleri kullanıcı arabirimini kullanabilirsiniz. Varsayılan olarak, bu işler İşler kullanıcı arabiriminde salt okunur olur. Paket tarafından dağıtılan bir işi düzenlemek için paket yapılandırma dosyasını değiştirin ve işi yeniden dağıtın. Değişiklikleri yalnızca paket yapılandırmasına uygulamak, paket kaynak dosyalarının her zaman geçerli iş yapılandırmasını yakalamasını sağlar.

Ancak, bir işte hemen değişiklik yapmanız gerekiyorsa, kullanıcı arabiriminde iş ayarlarını düzenlemeyi etkinleştirmek için işin paket yapılandırmasıyla bağlantısını kesebilirsiniz. İşin bağlantısını kesmek için Kaynakla bağlantıyı kes'e tıklayın. Kaynak bağlantısını kes iletişim kutusunda Bağlantıyı Kes'e tıklayarak onaylayın.

Kullanıcı arabirimindeki işte yaptığınız değişiklikler paket yapılandırmasına uygulanmaz. Kullanıcı arabiriminde yaptığınız değişiklikleri pakete uygulamak için paket yapılandırmasını el ile güncelleştirmeniz gerekir. İşi paket yapılandırmasına yeniden bağlamak için paketi kullanarak işi yeniden dağıtın.

İş çalıştırma sonuçlarını dışarı aktarma

Tüm iş türleri için not defteri çalıştırma sonuçlarını ve iş çalıştırma günlüklerini dışarı aktarabilirsiniz.

Not defteri çalıştırma sonuçlarını dışarı aktarma

İş çalıştırmalarını, sonuçlarını dışarı aktararak kalıcı hale gelebilirsiniz. Not defteri işi çalıştırmaları için, daha sonra Azure Databricks çalışma alanınıza aktarabileceğiniz işlenmiş bir not defterini dışarı aktarabilirsiniz.

Not defterini dışarı aktarmak için, tek bir görevi olan bir işin sonuçlarını çalıştırın:

1. İş ayrıntıları sayfasında, Tamamlanan Çalıştırmalar (son 60 gün) tablosunun Çalıştır sütununda çalıştırmanın Ayrıntıları Görüntüle bağlantısına tıklayın.
2. HTML'ye Aktar'a tıklayın.

Not defterini dışarı aktarmak için birden çok görevi olan bir işin sonuçlarını çalıştırın:

1. İş ayrıntıları sayfasında, Tamamlanan Çalıştırmalar (son 60 gün) tablosunun Çalıştır sütununda çalıştırmanın Ayrıntıları Görüntüle bağlantısına tıklayın.
2. Dışarı aktarmak için not defteri görevine tıklayın.
3. HTML'ye Aktar'a tıklayın.

İş çalıştırma günlüklerini dışarı aktarma

ayrıca iş çalıştırmanız için günlükleri dışarı aktarabilirsiniz. İş API'sini kullanarak günlükleri DBFS'ye otomatik olarak teslim etmek için işinizi ayarlayabilirsiniz. new_cluster.cluster_log_conf İşler API'sindeki Yeni iş oluşturma işlemine (POST /jobs/create) geçirilen istek gövdesindeki nesneye bakın.