Kullanıcı arabiriminde işlem hatlarını izleme

Güncelleştirme ilerleme durumunu izlemek, işlem hattı olaylarıyla ilgili uyarı almak ve akış kaynağı ölçümlerini görüntülemek için Azure Databricks kullanıcı arabiriminde Lakeflow işlem hatlarını izleyin. Bu yerleşik özellikler aşağıdakiler gibi görevleri destekler:

• İşlem hattı güncelleştirmelerinin ilerleme durumunu gözlemleme. İzleme sayfasında bulunan işlem hattı ayrıntılarına bkz .
• İşlem hattı güncelleştirmelerinin başarılı veya başarısız olması gibi işlem hattı olaylarında uyarı. bkz. İşlem hattı olayları için e-posta bildirimleri ekleme.
• Apache Kafka ve Otomatik Yükleyici (Genel Önizleme) gibi akış kaynakları için ölçümleri görüntüleme. Akış ölçümlerini görüntüleme için bkz..

İşlem hattı olayları için e-posta bildirimleri ekleme

Aşağıdaki durumlarda bildirim almak için bir veya daha fazla e-posta adresi yapılandırabilirsiniz:

• İşlem hattı güncellemesi başarıyla tamamlanır.
• İşlem hattı güncellemesi, yeniden denenebilir veya yeniden denenemez bir hatayla başarısız olur. Tüm işlem hattı hataları için bir bildirim almak için bu seçeneği belirleyin.
• İşlem hattı güncelleştirmesi yeniden denenemeyen (önemli) bir hatayla başarısız oluyor. Yalnızca yeniden denenemeyen bir hata oluştuğunda bildirim almak için bu seçeneği belirleyin.
• Tek bir veri akışı başarısız olur.

E-posta bildirimlerini yapılandırmak için işlem hattı ayarlarını düzenleyin. Bkz. Bildirimler.

Uyarı

Python olay kancalarını kullanarak bildirimler veya özel işleme dahil olmak üzere olaylara özel yanıtlar oluşturun.

Kullanıcı arabiriminde işlem hatlarını görüntüleme

işlem hattınızı bulun.Çalışma alanı kenar çubuğunda İşler ve İşlem Hatları seçeneği. Bu, erişiminiz olan her iş ve işlem hattı hakkındaki bilgileri görüntüleyebileceğiniz İşler ve işlem hatları sayfasını açar. İşlem hattı izleme sayfasını açmak için işlem hattının adına tıklayın. İşi veya işlem hattını düzenlemek için menü ve Düzenle'yi seçin.

Uyarı

İşlerin ve farklı işlem hattı türlerinin farklı düzenleyicileri vardır. Düzenle seçeneği, seçtiğiniz nesne için doğru düzenleyiciyi açar.

İşler ve işlem hatları listesini kullanma

Erişiminiz olan işlem hatlarının listesini görüntülemek için Kenar çubuğundaki İşler ve İşlem Hatları. İşler ve işlem hatları sekmesi oluşturucu, tetikleyici (varsa) ve son beş çalıştırmanın sonucu gibi tüm kullanılabilir işler ve işlem hatları hakkındaki bilgileri listeler.

İşlem hattının veya işin adına tıklanması sizi bu işlem hattının veya işin izleme sayfasına götürür. İşlem hattını veya işi düzenlemek için Ardından Düzenle'yi seçin.

Listede görüntülenen sütunları değiştirmek için tıklayın ve sütunları seçin veya seçimini kaldırın. Pipeline Type öğesini sütun olarak eklemek için, o sütunu görüntülenecek şekilde seçin.

İşler ve işlem hatları listesinde aşağıdaki ekran görüntüsünde gösterildiği gibi işleri filtreleyebilirsiniz.

1. Metin araması: Ad ve Kimlik alanları için anahtar sözcük araması desteklenir. Anahtar ve değerle oluşturulan bir etiketi aramak için anahtara, değere veya hem anahtara hem de değere göre arama yapabilirsiniz. Örneğin, anahtarı department ve değeri finance olan bir etiket için, eşleşen işleri bulmak amacıyla department veya finance ile arama yapabilirsiniz. Anahtara ve değere göre aramak için anahtarı ve değeri iki nokta üst üste (örneğin, department:finance) ile ayırarak girin.
2. Tür: İşlere, İşlem Hatlarına veya Tümüne göre filtreleyin. İşlem Hatları'yı seçerseniz ETL ve Alma işlem hatlarını içeren İşlem Hattı türüne göre de filtreleyebilirsiniz.
3. Sahip: Yalnızca sahip olduğunuz işleri gösterir.
4. Sık Kullanılanlar: Sık kullanılan olarak işaretlediğiniz işleri gösterin.
5. Etiketler: Etiketleri kullanın. Etikete göre arama yapmak için etiketler açılan menüsünü kullanarak aynı anda en fazla beş etiketi filtreleyebilir veya doğrudan anahtar sözcük aramasını kullanabilirsiniz.
6. Olarak çalıştır: En çok iki run as değere göre filtreleyin.

Bir işi veya işlem hattını başlatmak için oynat düğmesine tıklayın. Bir işi veya işlem hattını durdurmak için durdur düğmesine tıklayın. Diğer eylemlere erişmek için kebap menüsü . Örneğin, işi veya işlem hattını düzenleyebilir veya silebilir ya da bu menüden işlem hattı ayarlarına erişebilirsiniz.

İzleme sayfasında işlem hattı ayrıntıları mevcut.

Uyarı

Birleşik Çalıştırma Listesi önizlemesi, çalıştırma listesine boru hattı çalıştırmaları ekler. Bu önizlemenin etkinleştirildiği değişiklikler ve bunun nasıl etkinleştirileceği hakkında ayrıntılı bilgi için bkz. Birleşik Çalıştırmalar Listesi önizlemesindeki değişiklikler.

İşler ve İşlem Hatları sayfasında bir işlem hattının adına tıklanması, bu işlem hattının izleme sayfasını gösterir. Buradan bir işlem hattı çalıştırması başlatabilir ve önceki çalıştırma ayrıntılarını görüntüleyebilirsiniz.

Yönlendirilmiş döngüsel graf (DAG) olarak da adlandırılan işlem hattı grafı, işlem hattına yönelik bir güncelleştirme başarıyla başlatılır başlatılmaz görüntülenir. Oklar, işlem hattınızdaki veri kümeleri arasındaki bağımlılıkları temsil eder. Varsayılan olarak, işlem hattı izleme sayfası tablonun en son güncelleştirmesini gösterir, ancak açılan menüden eski güncelleştirmeleri seçebilirsiniz.

Sağ bölmede işlem hattı kimliği, işlem maliyeti, ürün sürümü ve kanal gibi işlem hattı ayrıntıları en üstte gösterilir. İşlem hattı ayrıntılarının altında güncelleştirme ayrıntıları görüntülenir. İşlem hattı kaynak koduna erişmek için sayfanın üst kısmındaki İşlem hattını düzenle'ye tıklayın. Belirli bir tablonun koduna gitmek için işlem hattı grafiğindeki tablonun üzerine gelin ve Koda gidin.

Veri kümelerinin tablosal görünümünü görmek için Liste sekmesine tıklayın. Liste görünümü, işlem hattınızdaki tüm veri kümelerini tablodaki bir satır olarak görmenize olanak tanır ve işlem hattı grafınız Graf görünümünde görselleştirilemeyecek kadar büyük olduğunda kullanışlıdır. Veri kümesi adı, türü ve durumu gibi birden çok filtre kullanarak tabloda görüntülenen veri kümelerini denetleyebilirsiniz. İşlem hattı grafiğine geri dönmek için Graf'a tıklayın.

Farklı çalıştır kullanıcısı işlem hattının sahibidir ve işlem hattı güncellemeleri bu kullanıcının yetkileriyle gerçekleştirilir. run as kullanıcıyı değiştirmek için İzinler'e tıklayın ve pipeline sahibini değiştirin.

Uyarı

Güncelleştirme çalıştırma davranışı: Zamanlama, İşlem Hatları API'si veya sürekli işlem hatları tarafından tetiklenen güncelleştirmeler otomatik yeniden deneme ve yeniden başlatma davranışını kullanır. İzleme kullanıcı arabiriminden veya işlem hattı düzenleyicisinden tetiklenen güncelleştirmeler hızlı başlangıç, hata ayıklama odaklı davranışı kullanır. Belirli bir çalıştırmanın davranışını geçersiz kılmak için açılan listede Farklı ayarlarla şimdi çalıştır seçeneğini kullanın. Daha fazla bilgi için bkz . Çalıştırma davranışını güncelleştirme.

Olay günlüğü: İşlem hattı güncelleştirmesinde hatalar olduğunda, bu çalıştırmanın olay günlüğüne erişmek için alt bölmede günlükleri görüntüle düğmesiyle birlikte hatalar görüntülenir. Olay günlüğü, seçilerek de kullanılabilir.Sağ bölmedeki çalıştırma ayrıntılarından olay günlüğünü görüntüleyin. Lakeflow Pipelines Düzenleyicisi'nde bir güncelleştirme çalıştırırken, düzenleyicinin en altındaki Sorunlar bölmesine gidin, ardından Günlükleri görüntüle'ye veya herhangi bir hatanın yanındaki Günlüklerde aç düğmesine tıklayın. Daha fazla bilgi için bkz. Lakeflow Pipelines Düzenleyicisi ve olay günlüğü için işlem hattı ayarı.

Birleşik Çalıştırmalar Listesi önizlemesindeki değişiklikler

Birleşik Çalıştırma Listesi önizlemesi etkinleştirildiyse, İşler ve İşlem Hatları sayfasında işlem hattı çalıştırma güncelleştirmelerini görebilirsiniz.

Önemli

Birleşik çalıştırmalar listesi Genel Önizleme aşamasındadır. Çalışma alanları otomatik olarak önizlemeye dahil edilir.

Birleşik Çalıştırmalar Listesi'ni devre dışı bırakmak için çalışma alanı yöneticisinin önizlemeyi geri çevirmesi gerekir. Önizlemeyi kabul etme veya kapatma hakkında ayrıntılı bilgi için bkz. Hesap düzeyinde önizlemeleri yönetme.

Birleşik çalıştırmalar listesine erişmek için 'ni çalışma alanı kenar çubuğundan seçin veya ne tıklayın, ardından İşler ve İşlem Hatları'nı seçin, sonra Çalıştırmalar sekmesini seçin.

Sekmede son 60 gün içindeki yakın zamanda gerçekleştirilen çalıştırmaların listesi gösterilir. Aşağıdaki durumlarda ilk olarak son 48 saat içindeki çalıştırmaların başarısını ve başarısızlığını gösteren bir grafik görüntülenir:

• Yalnızca İşler veya İşlem Hatları olarak filtrelenirsiniz.
• Yöneticisiniz veya yalnızca çalışmaları gösterecek şekilde filtreleyin Run as: Me
• Çalışmaların grafikte görünmesi bir saate kadar sürebilir.

Listeyi ve grafiği şu şekilde filtreleyebilirsiniz:

• İşin veya işlem hattının adı.
• Tümü, İşler veya İşlem Hatları.
• İşlem hattı türü (ETL, Veri Alımı, MV/ST veya Veritabanı Tablo Eşitleme).
• Başka kullanıcı olarak çalıştır kullanıcısı.
• Çalıştırma Başlangıç saati (son 48 saat içinde).
• Çalışma durumu.
• Başarısız çalıştırmalar için hata kodu .

Yukarıdakilerin yanı sıra, listede aşağıdaki sütunları görüntüleyebilirsiniz:

• Bitiş saati
• Çalıştırma Kimliği
• Çalıştırmanın el ile mi yoksa bir zamanlamayla mı başlatıldığı belirlenir.
• Çalıştırma Süresi.
• Parametreleri çalıştırın.

Çalıştırmalar listesinde görüntülenen sütunları değiştirmek için tıklayın ve sütunları seçin veya seçimini kaldırın.

İşlem hattı çalıştırmasının Başlangıç saati, Bitiş saati veya Adı'na tıklanması sizi işlem hattının izleme sayfasına götürür.

İşlem hattı etkin bir şekilde çalışırken, tıklayarak çalıştırmayı durdurabilirsiniz. Durdur düğmesi. İstediğiniz zaman de tıklayabilirsiniz. Çalıştırmanın satırındaki menü düğmesi ve işlem hattını düzenleyicide görüntülemek için İşlem hattını düzenle'yi seçin.

Veri kümesi ayrıntılarını görüntüleme

İşlem hattı grafiğinde veya veri kümesi listesinde bir veri kümesine tıklanması, alt bölmede veri kümesi hakkındaki bilgileri gösterir. Sağ bölme işlem hattı ve güncelleştirme ayrıntılarını göstermeye devam eder.

• Şema: Alt bölmenin Tablolar sekmesinde tabloyu seçin ve ardından Sütunlar'ı seçin.
• Veri kalitesi ölçümleri: Tablo seçildiğinde alt bölmede görüntülenebilir.
• Kaynak kodu: Belirli bir tablonun koduna gitmek için işlem hattı grafiğinde tablonun üzerine gelin ve Kod düğmesine gidin .
• Sorgu geçmişi: Alt bölmede Performans'ı seçin.
• Tablo açıklamaları: Tablo açıklamaları işlem hattı ayrıntıları sayfasında kullanılamaz. Tablo açıklamalarını görüntülemek için tabloyu Katalog Gezgini'nde açın. Doğrudan tabloya gitmek için işlem hattı grafiğinde tablonun üzerine gelin, Ardından Katalogda görüntüleyin. Alt bölmedeki tablolar listesinden Katalog Gezgini'ne erişmek için

güncelleştirme geçmişini görüntüleme

İşlem hattı güncelleştirmelerinin geçmişini ve durumunu görüntülemek için üst çubuktaki güncelleştirme geçmişi açılan menüsüne tıklayın.

Bir güncelleştirmenin grafiğini, ayrıntılarını ve olaylarını görüntülemek için açılan menüden güncelleştirmeyi seçin. En son güncelleştirmeye dönmek için En son güncelleştirmegöster'e tıklayın.

Uyarı

Pipeline'lar 60 günlük geçmiş güncellemeleri korur. Bekletme penceresinden daha eski güncelleştirmeler artık burada görünmez ancak olay günlüğünde kalır.

Akış ölçümlerini görüntüleme

Önemli

İşlem hatları için akış gözlemlenebilirliği Genel Önizleme aşamasındadır.

İşlem hattınızdaki her akış akışı için Spark Yapılandırılmış Akış tarafından desteklenen Apache Kafka, Amazon Kinesis, Otomatik Yükleyici ve Delta tabloları gibi veri kaynaklarından akış ölçümlerini görüntüleyebilirsiniz. Ölçümler, pipeline arayüzünün sağ bölmesinde grafikler olarak görüntülenir ve geri kalan saniyeleri, geri kalan baytları, geri kalan kayıtları ve geri kalan dosyaları içerir. Grafikler dakika cinsinden toplanan en yüksek değeri görüntüler ve grafiğin üzerine geldiğinizde bir araç ipucu maksimum değerleri gösterir. Veriler geçerli saatten itibaren son 48 saatle sınırlıdır.

İşlem hattınızdaki kullanılabilir akış ölçümleri içeren tablolar, UI LDP Chart IconGraph görünümünde işlem hattı grafiğini görüntülerken simgesini görüntüler. Akış ölçümlerini görüntülemek için, sağ bölmedeki LDP Chart IconAkışlar sekmesinde akış ölçüm grafiğini görüntülemek için tıklayın. Liste'ye ve ardından Akış ölçümleri var'a tıklayarak yalnızca akış ölçümlerine sahip tabloları görüntülemek için bir filtre uygulayabilirsiniz.

Her akış kaynağı yalnızca belirli ölçümleri destekler. Akış kaynağı tarafından desteklenmeyen ölçümler kullanıcı arabiriminde görüntüleyemez. Aşağıdaki tabloda desteklenen akış kaynakları için kullanılabilecek ölçümler gösterilmektedir:

kaynak	bekleyen baytlar	bekleyen işler kayıtları	birikim saniyeleri	birikmiş dosyalar
Kafka	✓	✓
Kinesis	✓		✓
Delta	✓			✓
Otomatik Yükleyici	✓			✓
Google Pub/Sub (Mesajlaşma Hizmeti)	✓	✓