Not defteriyle işlem hatları geliştirme ve hata ayıklama (eski)

Önemli

Bu özellik Genel Önizleme aşamasındadır.

Bu makalede, ETL işlem hatlarını geliştirmek ve hatalarını ayıklamak için Lakeflow Spark Bildirimli İşlem Hatlarında not defterinin nasıl kullanılacağı açıklanmaktadır.

Uyarı

Bu sayfada eski not defteri düzenleme deneyimi açıklanmaktadır. Varsayılan, önerilen deneyim Lakeflow Pipelines Düzenleyicisi'dir. Not defterlerini düzenlemek için Lakeflow Pipelines Düzenleyicisi'ni veya işlem hattı için Python veya SQL kod dosyalarını kullanabilirsiniz. Daha fazla bilgi için bkz. Lakeflow Pipelines Düzenleyicisi ile ETL işlem hatlarını geliştirme ve hatalarını ayıklama.

Bu sayfada açıklanan not defteri deneyimini yapılandırmak için Lakeflow İşlem Hatları Düzenleyicisi'ni kapatmanız gerekir. Bkz. Lakeflow Pipelines Düzenleyicisi'ni ve güncelleştirilmiş izlemeyi etkinleştirme.

Lakeflow Spark Bildirimli İşlem Hatlarındaki not defterlerine genel bakış

Mevcut bir işlem hattı için kaynak kodu olarak yapılandırılmış bir Python veya SQL not defteri üzerinde çalışırken, not defterini doğrudan işlem hattına bağlayabilirsiniz. Not defteri işlem hattına bağlandığında aşağıdaki özellikler kullanılabilir:

• İşlem hattını not defterinden başlatın ve doğrulayın.
• Not defterindeki en son güncelleştirme için işlem hattının veri akışı grafiğini ve olay günlüğünü görüntüleyin.
• İşlem hattı tanılamalarını not defteri düzenleyicisinde görüntüleyin.
• İşlem hattının kümesinin durumunu not defterinde görüntüleyin.
• Not defterinden Lakeflow Spark Bildirimli İşlem Hatları kullanıcı arabirimine erişin.

Önkoşullar

• Kaynak kod olarak yapılandırılmış bir Python veya SQL not defterine sahip mevcut bir işlem hattınız olmalıdır.
• Boru hattının sahibi olmalı veya CAN_MANAGE ayrıcalığına sahip olmalısınız.

Sınırlamalar

• Bu makalede ele alınan özellikler yalnızca Azure Databricks not defterlerinde kullanılabilir. Çalışma alanı dosyaları desteklenmez.
• Web terminali bir işlem hattına eklendiğinde kullanılamaz. Sonuç olarak, alt panelde bir sekme olarak görünmez.

Not defterini işlem hattına bağlama

Not defterinde işlem seçmek için kullanılan açılır menüye tıklayın. Açılan menü, bu not defterini kaynak kodu olarak kullanan tüm Lakeflow Spark Bildirimci İşlem Hatlarınızı gösterir. Not defterini bir işlem hattına bağlamak için listeden seçin.

İşlem hattının küme durumunu görüntüleme

İşlem hattı kümenizin durumunu kolayca anlamak için, hesaplama açılan menüsünde kümenin çalışıyor olduğunu belirten yeşil renk ile gösterilir.

İşlem hattı kodunu doğrulama

Kaynak kodunuzda söz dizimi hatalarını denetlemek için herhangi bir veri işlemeden önce işlem hattını doğrulayabilirsiniz.

İşlem hattını doğrulamak için aşağıdakilerden birini yapın:

• Not defterinin sağ üst köşesinde Doğrulaöğesine tıklayın.
• Herhangi bir not defteri hücresinde Shift+Enter basın.
• Bir hücrenin açılan menüsünde İşlem Hattını Doğrula'ya tıklayın.

Uyarı

Mevcut bir güncelleştirme çalışırken işlem hattınızı doğrulamaya çalışırsanız, mevcut güncelleştirmeyi sonlandırmak isteyip istemediğinizi soran bir iletişim kutusu görüntülenir. Evet'e tıklarsanız, mevcut güncelleştirme durdurulur ve güncelleştirme otomatik olarak başlatılır.

Boruhattı güncellemesini başlat

İşlem hattınızın güncelleştirmesini başlatmak için not defterinin sağ üst köşesindeki Başlangıç düğmesine tıklayın. Bkz İşlem hattı güncellemesini çalıştırma.

Güncelleştirmenin durumunu görüntüleme

Not defterindeki üst panelde işlem hattı güncelleştirmesinin şu şekilde olup olmadığı gösterilir:

• Starting
• Doğrulama
• Durduruluyor

Hataları ve tanılamaları görüntüleme

İşlem hattı güncelleştirmesini veya doğrulamayı başlattıktan sonra, hatalar kırmızı alt çizgiyle satır içinde gösterilir. Daha fazla bilgi görmek için hata üzerine gelin.

İşlem hattı olaylarını görüntüleme

İşlem hattına eklendiğinde, not defterinin alt kısmında bir Lakeflow Spark Bildirimli İşlem Hatları olay günlüğü sekmesi bulunur.

Olay günlüğüEvent log

İşlem hattı Veri Akışı Grafını görüntüleme

İşlem hattının veri akışı grafiğini görüntülemek için not defterinin altındaki Lakeflow Spark Bildirimli İşlem Hatları grafiği sekmesini kullanın. Grafikte bir düğüm seçildiğinde, bu düğümün şeması sağ panelde görüntülenir.

veri akışı grafıDataflow Graph

Not defterinden Lakeflow Spark Bildirimli İşlem Hatları kullanıcı arabirimine erişme

Lakeflow Spark Bildirimli İşlem Hatları kullanıcı arabirimine kolayca atlamak için not defterinin sağ üst köşesindeki menüyü kullanın.

Not defterinden sürücü günlüklerine ve Spark kullanıcı arabirimine erişme

Geliştirilmekte olan işlem hattıyla ilişkili sürücü günlüklerine ve Spark kullanıcı arabirimine not defterinin Görünüm menüsünden kolayca erişilebilir.