Kullanıcı arabiriminde işlem hatlarını izleme

Bu bölümde, Azure Databricks kullanıcı arabiriminde Lakeflow Spark Bildirimli İşlem Hatları için yerleşik izleme ve gözlemlenebilirlik özelliklerinin kullanımı açıklanmaktadır. Bu özellikler aşağıdakiler gibi görevleri destekler:

• İşlem hattı güncelleştirmelerinin ilerleme durumunu gözlemleme. İzleme sayfasında bulunan işlem hattı ayrıntılarına bkz .
• İşlem hattı güncelleştirmelerinin başarılı veya başarısız olması gibi işlem hattı olaylarında uyarı. bkz. İşlem hattı olayları için e-posta bildirimleri ekleme.
• Apache Kafka ve Otomatik Yükleyici (Genel Önizleme) gibi akış kaynakları için ölçümleri görüntüleme. Akış ölçümlerini görüntüleme için bkz..

İşlem hattı olayları için e-posta bildirimleri ekleme

Aşağıdaki durumlarda bildirim almak için bir veya daha fazla e-posta adresi yapılandırabilirsiniz:

• İşlem hattı güncellemesi başarıyla tamamlanır.
• İşlem hattı güncellemesi, yeniden denenebilir veya yeniden denenemez bir hatayla başarısız olur. Tüm işlem hattı hataları için bir bildirim almak için bu seçeneği belirleyin.
• İşlem hattı güncelleştirmesi yeniden denenemeyen (önemli) bir hatayla başarısız oluyor. Yalnızca yeniden denenemeyen bir hata oluştuğunda bildirim almak için bu seçeneği belirleyin.
• Tek bir veri akışı başarısız olur.

E-posta bildirimlerini yapılandırmak için işlem hattı ayarlarını düzenleyin. Bkz. Bildirimler.

Uyarı

Python olay kancalarını kullanarak bildirimler veya özel işleme dahil olmak üzere olaylara özel yanıtlar oluşturun.

Kullanıcı arabiriminde işlem hatlarını görüntüleme

işlem hattınızı bulun.Çalışma alanı kenar çubuğunda İşler ve İşlem Hatları seçeneği. Bu, erişiminiz olan her iş ve işlem hattı hakkındaki bilgileri görüntüleyebileceğiniz İşler ve işlem hatları sayfasını açar. İşlem hattı izleme sayfasını açmak için işlem hattının adına tıklayın. İşi veya işlem hattını düzenlemek için menü ve Düzenle'yi seçin.

Uyarı

İşlerin ve farklı işlem hattı türlerinin farklı düzenleyicileri vardır. Düzenle seçeneği seçtiğiniz nesne için doğru düzenleyiciyi açar.

İşler ve boru hatları listesini kullanma

Erişiminiz olan işlem hatlarının listesini görüntülemek için Kenar çubuğundaki İşler ve İşlem Hatları. İşler ve işlem hatları sekmesi oluşturucu, tetikleyici (varsa) ve son beş çalıştırmanın sonucu gibi tüm kullanılabilir işler ve işlem hatları hakkındaki bilgileri listeler.

İşlem hattının veya işin adına tıklanması sizi bu işlem hattının veya işin izleme sayfasına götürür. İşlem hattını veya işi düzenlemek için Ardından Düzenle'yi seçin.

Listede görüntülenen sütunları değiştirmek için tıklayın ve sütunları seçin veya seçimini kaldırın. Pipeline Type öğesini sütun olarak eklemek için, o sütunu görüntülenecek şekilde seçin.

İşler ve işlem hatları listesinde aşağıdaki ekran görüntüsünde gösterildiği gibi işleri filtreleyebilirsiniz.

1. Metin araması: Ad ve Kimlik alanları için anahtar sözcük araması desteklenir. Anahtar ve değerle oluşturulan bir etiketi aramak için anahtara, değere veya hem anahtara hem de değere göre arama yapabilirsiniz. Örneğin, anahtarı department ve değeri finance olan bir etiket için, eşleşen işleri bulmak amacıyla department veya finance ile arama yapabilirsiniz. Anahtara ve değere göre aramak için anahtarı ve değeri iki nokta üst üste (örneğin, department:finance) ile ayırarak girin.
2. Tür: İşlere, İşlem Hatlarına veya Tümüne göre filtreleyin. İşlem Hatları'yı seçerseniz ETL ve Alma işlem hatlarını içeren İşlem Hattı türüne göre de filtreleyebilirsiniz.
3. Sahip: Yalnızca sahip olduğunuz işleri gösterir.
4. Sık Kullanılanlar: Sık kullanılan olarak işaretlediğiniz işleri gösterin.
5. Etiketler: Etiketleri kullanın. Etikete göre arama yapmak için etiketler açılan menüsünü kullanarak aynı anda en fazla beş etiketi filtreleyebilir veya doğrudan anahtar sözcük aramasını kullanabilirsiniz.
6. Olarak çalıştır: En çok iki run as değere göre filtreleyin.

Bir işi veya işlem hattını başlatmak için oynat düğmesine tıklayın. Bir işi veya işlem hattını durdurmak için durdur düğmesine tıklayın. Diğer eylemlere erişmek için kebap menüsü . Örneğin, işi veya işlem hattını düzenleyebilir veya silebilir ya da bu menüden işlem hattı ayarlarına erişebilirsiniz.

İzleme sayfasında işlem hattı ayrıntıları mevcut.

Uyarı

Kullanıcı arabiriminde işlem hatlarını izlerken gördüklerinizi etkileyebilecek birden çok önizleme vardır.

• Lakeflow Pipelines Düzenleyicisi boru hattı detayları üzerinde deneyimi değiştirir. Önizlemeyi kabul ederseniz, bilgiler burada açıklanandan farklı bir kullanıcı arabiriminde görüntülenir. Bu kullanıcı arabirimiyle ilgili ayrıntılar için bkz. Lakeflow Pipelines Düzenleyicisi'nde hangi değişiklikler var?.
• Birleşik Çalıştırma Listesi önizlemesi, çalıştırma listesine boru hattı çalıştırmaları ekler. Bu önizlemenin etkinleştirildiği değişiklikler ve nasıl etkinleştirileceği hakkında ayrıntılı bilgi için bkz. Birleşik Çalıştırma listesi önizlemesinde hangi değişiklikler var?.

İşler ve İşlem Hatları sayfasında bir işlem hattının adına tıklanması, bu işlem hattının izleme sayfasını gösterir. Buradan bir işlem hattı çalıştırması başlatabilir ve önceki çalıştırma ayrıntılarını görüntüleyebilirsiniz.

İşlem hattı grafı (DAG olarak da adlandırılır), işlem hattında güncelleştirme başarıyla başlatılır başlatılmaz görüntülenir. Oklar, işlem hattınızdaki veri kümeleri arasındaki bağımlılıkları temsil eder. Varsayılan olarak, işlem hattı izleme sayfası tablonun en son güncelleştirmesini gösterir, ancak açılan menüden eski güncelleştirmeleri seçebilirsiniz.

Ayrıntılar arasında işlem hattı kimliği, kaynak kodu, işlem maliyeti, ürün sürümü ve işlem hattı için yapılandırılmış kanal yer alır.

Veri kümelerinin tablosal görünümünü görmek için Liste sekmesine tıklayın. Liste görünümü, işlem hattınızdaki tüm veri kümelerini tablodaki bir satır olarak görmenize olanak tanır ve işlem hattı grafınız Graf görünümünde görselleştirilemeyecek kadar büyük olduğunda kullanışlıdır. Veri kümesi adı, türü ve durumu gibi birden çok filtre kullanarak tabloda görüntülenen veri kümelerini denetleyebilirsiniz. DAG görselleştirmesine geri dönmek için Graph öğesine tıklayın.

Farklı çalıştır kullanıcısı işlem hattının sahibidir ve işlem hattı güncellemeleri bu kullanıcının yetkileriyle gerçekleştirilir. run as kullanıcıyı değiştirmek için İzinler'e tıklayın ve pipeline sahibini değiştirin.

Lakeflow Pipelines Düzenleyicisi'nde hangi değişiklikler var?

Eğer Lakeflow Pipelines Düzenleyicisi önizlemesine ve yeni işlem hattı izleme kullanıcı arabirimine katılırsanız, bazı bilgiler kullanıcı arabiriminde farklı yerlerde bulunabilir. Lakeflow Pipelines Düzenleyicisi hakkında bilgi edinmek ve her iki önizlemeyi de kabul etmek için bkz. Lakeflow Pipelines Düzenleyicisi'ni ve güncelleştirilmiş izlemeyi etkinleştirme.

Önemli

Bu özellik Genel Önizleme aşamasındadır.

İşlem hattı izleme sayfasıyla izlemede yapılan aşağıdaki değişiklikler, her iki önizlemeye de kabul edildiğinde görünür:

• Sağ paneldeki İşlem hattı ayrıntıları ve Güncelleştirme ayrıntıları sekmeleri, en üstteki işlem hattı ayrıntılarıyla ve ardından güncelleştirme ayrıntılarıyla birleştirildi.

• Grafikte bir tabloya tıklanması sağ panelde tablo ayrıntılarını göstermez. Sağ panel işlem hattını göstermeye ve ayrıntıları güncelleştirmeye devam eder. Bunun yerine alt panelde tablo bilgileri gösterilir.

• Güncelleştirme çalıştırma davranışı, güncelleştirmenin nasıl tetiklenmesine bağlıdır. Ayrıntılar için bkz . Çalıştırma davranışını güncelleştirme.

  • Zamanlama, İşlem Hatları API'si veya sürekli işlem hatları tarafından tetiklenen güncelleştirmeler otomatik yeniden deneme ve yeniden başlatma davranışını kullanır.
  • İzleme kullanıcı arabiriminden veya işlem hattı düzenleyicisinden tetiklenen güncelleştirmeler hızlı başlangıç, hata ayıklama odaklı davranışı kullanır. Açılan listede Farklı ayarlarla şimdi çalıştır seçeneğini kullanarak belirli bir çalıştırmanın davranışını geçersiz kılabilirsiniz.

• Artık pipeline ayrıntılarında kaynak koda bağlantı yok. Bunun yerine üst kısımdaki İşlem hattını düzenle'yi seçin. Belirli bir tablonun koduna atlamak için DAG'deki tablonun üzerine gelin ve Kod düğmesine gidin .

• Olay günlüğü artık işlem hattı izleme sayfasındaki her güncelleştirmede varsayılan olarak gösterilmez. İşleme sırasında bir hata olduğunda, hatalar alt panelde gösterilir ve bu çalıştırmanın olay günlüğünü görüntülemek için günlükleri görüntüle düğmesi gösterilir. Olay günlüğü, seçilerek de kullanılabilir.Sağ paneldeki çalıştırma ayrıntılarından olay günlüğünü görüntüleyin.

  Yeni Lakeflow Pipelines Düzenleyicisi'nde bir güncelleştirme çalıştırırken olay günlüğüne erişmek için düzenleyicinin alt kısmındaki Sorunlar ve İçgörüler paneline gidin, Günlükleri görüntüle'ye veya herhangi bir hatanın yanındaki Günlüklerde aç düğmesine tıklayın. Daha fazla detay için Lakeflow Pipelines Düzenleyicisi ve Olay günlüğü için işlem hattı ayarı bölümüne bakın.

• Tablo şeması bilgileri, alt panelin Tablolar sekmesinde tabloyu seçip Sütunlar'ı seçerek kullanılabilir.

• Sorgu geçmişi, alt panelde Performans'a tıklayarak kullanılabilir.

• İşlem hattı detay sayfasında tablo açıklamaları mevcut değil. Tablo açıklamalarını görmek için, Tabloyu Katalog Gezgini'nden görüntüleyin. Katalog Gezgini'nde doğrudan tabloya atlamak için fareyi DAG'deki tablonun üzerine getirin, ve ardından Katalogda görüntüleyin. Katalog gezginindeki bilgilere alt paneldeki tablo tıklayarak da erişebilirsiniz.

Birleşik Çalıştırmalar Listesi önizlemesi hangi değişiklikleri içeriyor?

Birleşik Çalıştırma Listesi önizlemesi etkinleştirildiyse, İşler ve İşlem Hatları sayfasında işlem hattı çalıştırma güncelleştirmelerini görebilirsiniz.

Önemli

Birleşik çalıştırmalar listesi Genel Önizleme aşamasındadır. Çalışma alanları otomatik olarak önizlemeye dahil edilir.

Birleşik Çalıştırmalar Listesi'ni devre dışı bırakmak için çalışma alanı yöneticisinin önizlemeyi geri çevirmesi gerekir. Önizlemeyi kabul etme veya kapatma hakkında ayrıntılı bilgi için bkz. Hesap düzeyinde önizlemeleri yönetme.

Birleşik çalıştırmalar listesine erişmek için 'ni çalışma alanı kenar çubuğundan seçin veya ne tıklayın, ardından İşler ve İşlem Hatları'nı seçin, sonra Çalıştırmalar sekmesini seçin.

Sekmede son 60 gün içindeki yakın zamanda gerçekleştirilen çalıştırmaların listesi gösterilir. Aşağıdaki durumlarda ilk olarak son 48 saat içindeki çalıştırmaların başarısını ve başarısızlığını gösteren bir grafik görüntülenir:

• Yalnızca İşler veya İşlem Hatları olarak filtrelenirsiniz.
• Yöneticisiniz veya yalnızca çalışmaları gösterecek şekilde filtreleyin Run as: Me
• Çalışmaların grafikte görünmesi bir saate kadar sürebilir.

Listeyi ve grafiği şu şekilde filtreleyebilirsiniz:

• İşin veya işlem hattının adı.
• Tümü, İşler veya İşlem Hatları.
• İşlem hattı türü (ETL, Veri Alımı, MV/ST veya Veritabanı Tablo Eşitleme).
• Başka kullanıcı olarak çalıştır kullanıcısı.
• Çalıştırma Başlangıç saati (son 48 saat içinde).
• Çalışma durumu.
• Başarısız çalıştırmalar için hata kodu .

Yukarıdakilerin yanı sıra, listede aşağıdaki sütunları görüntüleyebilirsiniz:

• Bitiş saati
• Çalıştırma Kimliği
• Çalıştırmanın el ile mi yoksa bir zamanlamayla mı başlatıldığı belirlenir.
• Çalıştırma Süresi.
• Parametreleri çalıştırın.

Çalıştırmalar listesinde görüntülenen sütunları değiştirmek için tıklayın ve sütunları seçin veya seçimini kaldırın.

İşlem hattı çalıştırmasının Başlangıç saati, Bitiş saati veya Adı'na tıklanması sizi işlem hattının izleme sayfasına götürür.

İşlem hattı etkin bir şekilde çalışırken, tıklayarak çalıştırmayı durdurabilirsiniz. Durdur düğmesi. İstediğiniz zaman de tıklayabilirsiniz. Çalıştırmanın satırındaki menü düğmesi ve işlem hattını düzenleyicide görüntülemek için İşlem hattını düzenle'yi seçin.

Veri kümesi ayrıntılarını nasıl görüntüleyebilirsiniz?

İşlem hattı grafiğinde veya veri kümesi listesinde bir veri kümesine tıklanması, veri kümesiyle ilgili ayrıntıları gösterir. Ayrıntılar veri kümesi şemasını, veri kalitesi ölçümlerini ve veri kümesini tanımlayan kaynak kodun bağlantısını içerir.

güncelleştirme geçmişini görüntüleme

İşlem hattı güncelleştirmelerinin geçmişini ve durumunu görüntülemek için üst çubuktaki güncelleştirme geçmişi açılan menüsüne tıklayın.

Bir güncelleştirmenin grafiğini, ayrıntılarını ve olaylarını görüntülemek için açılan menüden güncelleştirmeyi seçin. En son güncelleştirmeye dönmek için En son güncelleştirmegöster'e tıklayın.

Akış ölçümlerini görüntüleme

Önemli

İşlem hatları için akış gözlemlenebilirliği Genel Önizleme aşamasındadır.

İşlem hattınızdaki her akış akışı için Spark Yapılandırılmış Akış tarafından desteklenen Apache Kafka, Amazon Kinesis, Otomatik Yükleyici ve Delta tabloları gibi veri kaynaklarından akış ölçümlerini görüntüleyebilirsiniz. Ölçümler, pipeline arayüzünün sağ bölmesinde grafikler olarak görüntülenir ve geri kalan saniyeleri, geri kalan baytları, geri kalan kayıtları ve geri kalan dosyaları içerir. Grafikler dakika cinsinden toplanan en yüksek değeri görüntüler ve grafiğin üzerine geldiğinizde bir araç ipucu maksimum değerleri gösterir. Veriler geçerli saatten itibaren son 48 saatle sınırlıdır.

İşlem hattınızdaki kullanılabilir akış ölçümleri içeren tablolar, UI LDP Chart IconGraph görünümünde işlem hattı DAG'sini görüntülerken simgesini görüntüler. Akış ölçümlerini görüntülemek için, sağ bölmedeki LDP Chart IconAkışlar sekmesinde akış ölçüm grafiğini görüntülemek için tıklayın. Liste'ye ve ardından Akış ölçümleri var'a tıklayarak yalnızca akış ölçümlerine sahip tabloları görüntülemek için bir filtre uygulayabilirsiniz.

Her akış kaynağı yalnızca belirli ölçümleri destekler. Akış kaynağı tarafından desteklenmeyen ölçümler kullanıcı arabiriminde görüntüleyemez. Aşağıdaki tabloda desteklenen akış kaynakları için kullanılabilecek ölçümler gösterilmektedir:

kaynak	bekleyen baytlar	bekleyen işler kayıtları	birikim saniyeleri	birikmiş dosyalar
Kafka	✓	✓
Kinesis	✓		✓
Delta	✓			✓
Otomatik Yükleyici	✓			✓
Google Pub/Sub (Mesajlaşma Hizmeti)	✓	✓