Lakeflow Pipelines Düzenleyicisi ile ETL işlem hatları geliştirme ve hatalarını ayıklama

Önemli

Bu özellik Genel Önizleme aşamasındadır.

Bu makalede Lakeflow Spark Bildirimli İşlem Hatlarında (SDP) ETL (ayıklama, dönüştürme ve yükleme) işlem hatları geliştirmek ve hatalarını ayıklamak için Lakeflow Pipelines Düzenleyicisi'nin kullanılması açıklanmaktadır.

Uyarı

Lakeflow Pipelines Düzenleyicisi varsayılan olarak etkindir. Kapatabilirsiniz veya kapatılmışsa yeniden etkinleştirebilirsiniz. Bkz. Lakeflow Pipelines Düzenleyicisi'ni ve güncelleştirilmiş izlemeyi etkinleştirme.

Lakeflow Pipelines Düzenleyicisi nedir?

Lakeflow Pipelines Düzenleyicisi, işlem hatları geliştirmek için oluşturulmuş bir IDE'dir. Tüm işlem hattı geliştirme görevlerini tek bir yüzey üzerinde birleştirerek kod öncelikli iş akışlarını, klasör tabanlı kod düzenlemesini, seçmeli yürütmeyi, veri önizlemelerini ve işlem hattı grafiklerini destekler. Azure Databricks platformuyla tümleşik olarak sürüm denetimi, kod incelemeleri ve zamanlanmış çalıştırmaları da etkinleştirir.

Lakeflow Pipelines Düzenleyicisi kullanıcı arabirimine genel bakış

Aşağıdaki görüntüde Lakeflow Pipelines Düzenleyicisi gösterilmektedir:

Görüntüde aşağıdaki özellikler gösterilir:

1. İşlem hattı varlık tarayıcısı: İşlem hattı varlıklarını oluşturun, silin, yeniden adlandırın ve düzenleyin. İşlem boru hattı yapılandırmasına yönelik kısayolları da içerir.
2. Sekmeleri olan çok dosyalı kod düzenleyicisi: İşlem hattıyla ilişkili birden çok kod dosyasında çalışın.
3. İşlem hattına özgü araç çubuğu: İşlem hattı yapılandırma seçeneklerini içerir ve işlem hattı düzeyinde çalıştırma eylemlerine sahiptir.
4. Etkileşimli yönlendirilmiş döngüsel graf (DAG):Tablolarınıza genel bir bakış elde edin, veri önizlemeleri alt çubuğunu açın ve tabloyla ilgili diğer eylemleri gerçekleştirin.
5. Veri önizleme: Akış tablolarınızın ve gerçekleştirilmiş görünümlerinizin verilerini inceleyin.
6. Tablo düzeyinde yürütme içgörüleri: İşlem hattındaki tüm tablolar veya tek bir tablo için yürütme içgörüleri alın. İçgörüler, en son işlem hattı çalıştırmasıyla ilgilidir.
7. Sorunlar paneli: Bu özellik, işlem hattındaki tüm dosyalardaki hataları özetler ve hatanın belirli bir dosyanın içinde oluştuğu yere gidebilirsiniz. Koda ekli hata göstergelerini tamamlar.
8. Seçmeli yürütme: Kod düzenleyicisinin adım adım geliştirmeye yönelik özellikleri vardır. Örneğin, Dosya çalıştır eylemini veya tek bir tabloyu kullanarak yalnızca geçerli dosyadaki tabloları yenileme olanağı.
9. Varsayılan işlem hattı klasör yapısı: Yeni işlem hatları, işlem hattınız için başlangıç noktası olarak kullanabileceğiniz önceden tanımlanmış bir klasör yapısı ve örnek kod içerir.
10. Basitleştirilmiş işlem hattı oluşturma: Tabloların varsayılan olarak oluşturulması ve varsayılan ayarlar kullanılarak bir işlem hattı oluşturulması gereken bir ad, katalog ve şema sağlayın. Daha sonra işlem hattı düzenleyicisi araç çubuğundan Ayarlar'ı ayarlayabilirsiniz.

Yeni ETL işlem hattı oluşturma

Lakeflow Pipelines Düzenleyicisi'ni kullanarak yeni bir ETL işlem hattı oluşturmak için şu adımları izleyin:

1. Kenar çubuğunun üst kısmında Yeni'yi ve ardından ETL işlem hattı.

2. En üstte işlem hattınıza benzersiz bir ad verebilirsiniz.

3. Adın hemen altında sizin için seçilen varsayılan kataloğu ve şemayı görebilirsiniz. İşlem hattınıza farklı varsayılan değerler vermek için bunları değiştirin.

   Varsayılan katalog ve varsayılan şema , veri kümelerini kodunuzda bir katalog veya şemayla nitelemediğinizde veri kümelerinin okunduğu veya yazıldığı yerdir. Daha fazla bilgi için bkz. Azure Databricks'teki veritabanı nesneleri .

4. Aşağıdaki seçeneklerden birini belirleyerek işlem hattı oluşturmak için tercih ettiğiniz seçeneği belirtin:

   • SQL'de örnek kod da dahil olmak üzere yeni bir işlem hattı ve klasör yapısı oluşturmak için SQL'deki örnek kodla başlayın.
   • Python'da örnek kod da dahil olmak üzere yeni bir işlem hattı ve klasör yapısı oluşturmak için Python'daki örnek kodla başlayın.
   • Yeni bir işlem hattı ve klasör yapısı oluşturmak için yeni bir boş kod dosyasıyla tek bir dönüştürmeyle başlayın.
   • Var olan varlıkları ekleyerek çalışma alanınızdaki kod dosyalarıyla ilişkilendirebileceğiniz bir işlem hattı oluşturun.

   ETL işlem hattınızda hem SQL hem de Python kaynak kodu dosyalarınız olabilir. Yeni bir işlem hattı oluştururken ve örnek kod için bir dil seçerken, dil varsayılan olarak yalnızca işlem hattınıza dahil edilen örnek kod içindir.

5. Seçiminizi yaptığınızda, yeni oluşturulan işlem hattına yönlendirilirsiniz.

   ETL işlem hattı aşağıdaki varsayılan ayarlarla oluşturulur:

   • Unity Kataloğu
   • Geçerli kanal
   • Sunucusuz işlem
   • Geliştirme modu kapalı. Bu ayar yalnızca işlem hattının zamanlanmış çalıştırmalarını etkiler. İşlem hattını düzenleyiciden çalıştırmak her zaman varsayılan olarak geliştirme modunu kullanır.

   Bu ayarları işlem hattı araç çubuğundan ayarlayabilirsiniz.

Alternatif olarak, çalışma alanı tarayıcısından bir ETL işlem hattı oluşturabilirsiniz:

1. Sol taraftaki panelde Çalışma Alanı'na tıklayın.
2. Git klasörleri de dahil olmak üzere herhangi bir klasörü seçin.
3. Sağ üst köşedeki Oluştur'a ve ETL işlem hattı'na tıklayın.

İşler ve işlem hatları sayfasından bir ETL işlem hattı da oluşturabilirsiniz:

1. Çalışma alanınızda Kenar çubuğundaki İşler ve İşlem Hatları.
2. Yeni altında ETL İşlem Hattı'na tıklayın.

Mevcut ETL işlem hattını açma

Lakeflow Pipelines Düzenleyicisi'nde var olan bir ETL işlem hattını açmanın birden çok yolu vardır:

• İşlem hattıyla ilişkili herhangi bir kaynak dosyayı açın:

  1. Yan panelde Çalışma Alanı'na tıklayın.
  2. İşlem hattınız için kaynak kod dosyalarını içeren bir klasöre gidin.
  3. İşlem hattını düzenleyicide açmak için kaynak kod dosyasına tıklayın.

• Yakın zamanda düzenlenmiş bir işlem hattını açın.

  • Düzenleyiciden, varlık tarayıcısının üst kısmındaki işlem hattının adına tıklayıp görüntülenen son kullanılanlar listesinden başka bir işlem hattı seçerek yakın zamanda düzenlediğiniz diğer işlem hatlarına gidebilirsiniz.
  • Düzenleyicinin dışından, sol kenar çubuğundaki Son Kullanılanlar sayfasında bir işlem hattı veya işlem hattı için kaynak kodu olarak yapılandırılmış bir dosya açın.

• Ürün genelinde işlem hattını görüntülerken işlem hattını düzenlemeyi seçebilirsiniz:

  • İşlem hattı izleme sayfasında İşlem hattını düzenleyin.
  • Sol kenar çubuğundaki İş Çalıştırmaları sayfasında İşler ve işlem hatları sekmesine tıklayın ve İşlem hattını düzenle'ye tıklayın.
  • Bir işi düzenleyip işlem hattı görevi eklediğinizde, open in new tab iconİşlem Hattı altında bir işlem hattı seçtiğinizde düğmesine tıklayabilirsiniz.

• Varlık tarayıcısında Tüm dosyalar'a göz atıyorsanız ve başka bir işlem hattından bir kaynak kodu dosyası açıyorsanız, düzenleyicinin üst kısmında ilgili işlem hattını açmanızı isteyen bir başlık gösterilir.

Boru hattı varlıkları tarayıcı

bir işlem hattını düzenlerken, sol çalışma alanı kenar çubuğu işlem hattı varlıkları tarayıcısı olarak adlandırılan özel bir mod kullanır. Varsayılan olarak işlem hattı varlıkları tarayıcısı işlem hattı köküne ve kök içindeki klasörlere ve dosyalara odaklanır. İşlem hattının kökü dışındaki dosyaları görmek için Tüm dosyaları görüntülemeyi de seçebilirsiniz. Belirli bir işlem hattını düzenlerken işlem hattı düzenleyicisinde açılan sekmeler hatırlanır ve başka bir işlem hattına geçtiğinizde, işlem hattını en son düzenlediğinizde sekmeler açılır.

Uyarı

Düzenleyici ayrıca SQL dosyalarını düzenleme bağlamlarına ( Databricks SQL Düzenleyicisi olarak adlandırılır) ve SQL dosyaları veya işlem hattı dosyaları olmayan çalışma alanı dosyalarını düzenlemeye yönelik genel bir bağlama sahiptir. Bu bağlamların her biri, bu bağlamı son kullandığınızda açtığınız sekmeleri anımsar ve geri yükler. Sol kenar çubuğunun üst kısmından bağlamı değiştirebilirsiniz. Çalışma Alanı, SQL Düzenleyicisi veya yakın zamanda düzenlenen işlem hatları arasında seçim yapmak için üst bilgiye tıklayın.

Çalışma Alanı tarayıcı sayfasından bir dosya açtığınızda, dosya ilgili düzenleyicide açılır. Dosya bir işlem hattıyla ilişkilendirilmişse, Lakeflow Pipelines Editor'dır.

İşlem hattının parçası olmayan ancak işlem hattı bağlamını koruyan bir dosyayı açmak için, dosyayı varlık tarayıcısının Tüm dosyalar sekmesinden açın.

İşlem hattı varlık gezgininde iki ayrı sekme vardır.

• İşlem Hattı: İşlem hattıyla ilişkili tüm dosyaları burada bulabilirsiniz. Bunları oluşturabilir, silebilir, yeniden adlandırabilir ve klasörler halinde düzenleyebilirsiniz. Bu sekme, işlem hattı yapılandırmasına yönelik kısayolları ve son çalıştırmaların grafik görünümünü de içerir.
• Tüm dosyalar: Diğer tüm çalışma alanı varlıklarına buradan ulaşabilirsiniz. Bu işlem hattına eklenecek dosyaları bulmak veya databricks Varlık Paketlerini tanımlayan YAML dosyası gibi işlem hattıyla ilgili diğer dosyaları görüntülemek için yararlı olabilir.

İşlem hattınızda aşağıdaki dosya türlerine sahip olabilirsiniz:

• Kaynak kod dosyaları: Bu dosyalar, işlem hattının Ayarlar'da görülebilen kaynak kod tanımının bir parçasıdır. Databricks, kaynak kod dosyalarının her zaman işlem hattı kök klasöründe depolanmasını önerir; aksi takdirde, bunlar tarayıcının alt kısmındaki bir dış dosya bölümünde gösterilir ve daha az zengin bir özellik kümesine sahiptir.
• Kaynak olmayan kod dosyaları: Bu dosyalar işlem hattı kök klasöründe depolanır, ancak işlem hattı kaynak kodu tanımının bir parçası değildir.

Önemli

İşlem hattınızın dosya ve klasörlerini yönetmek için İşlem Hattı sekmesinin altındaki işlem hattı varlıkları tarayıcısını kullanmanız gerekir. Bu, işlem hattı ayarlarını doğru bir şekilde günceller. Çalışma alanı tarayıcınızdan veya Tüm dosyalar sekmesinden dosya ve klasörleri taşımak veya yeniden adlandırmak işlem hattı yapılandırmasını bozar ve bunu Ayarlar'da el ile çözmeniz gerekir.

Kök klasör

İşlem hattı varlıkları tarayıcısı bir işlem hattı kök klasörüne sabitlenmiştir. Yeni bir işlem hattı oluşturduğunuzda, işlem hattı kök klasörü kullanıcı giriş klasörünüzde oluşturulur ve işlem hattı adıyla aynı olarak adlandırılır.

kök klasörü işlem hattı varlıkları tarayıcısında değiştirebilirsiniz. Bu, bir klasörde işlem hattı oluşturduysanız ve daha sonra her şeyi farklı bir klasöre taşımak istiyorsanız kullanışlıdır. Örneğin, işlem hattını normal bir klasörde oluşturdunuz ve kaynak kodu sürüm denetimi için bir Git klasörüne taşımak istiyorsunuz.

1. Kök klasör için tıklayarak taşma menüsünü açın.
2. Yeni kök klasörü yapılandır'a tıklayın.
3. İşlem hattı kök klasörü altında tıklayın ve işlem hattı kök klasörü olarak başka bir klasör seçin.
4. Kaydet'e tıklayın.

Kök klasör için, klasör adını yeniden adlandırmak için Kök klasörü yeniden adlandır'a da tıklayabilirsiniz. Burada, kök klasörü taşı'ya tıklayarak kök klasörü örneğin bir Git klasörüne taşıyabilirsiniz.

İşlem hattı kök klasörünü ayarlarda da değiştirebilirsiniz:

1. Ayarlar'a tıklayın.
2. Kod varlıkları altındaYolları yapılandır'a tıklayın.
3. 'ne tıklayın, İşlem hattı kök klasörü altında klasörü değiştirmek için.
4. Kaydet'e tıklayın.

Uyarı

İşlem hattı kök klasörünü değiştirirseniz, önceki kök klasördeki dosyalar dış dosyalar olarak gösterildiğinden işlem hattı varlıkları tarayıcısı tarafından görüntülenen dosya listesi etkilenir.

Kök klasörü olmayan mevcut işlem hattı

Eski not defteri düzenleme deneyimi kullanılarak oluşturulan mevcut işlem hattında yapılandırılmış bir kök klasör yoktur. Yapılandırılmış bir kök klasörü olmayan bir işlem hattını açtığınızda, bir kök klasör oluşturmanız ve içindeki kaynak dosyaları düzenlemeniz istenir.

Bunu kapatabilir ve kök klasör ayarlamadan işlem hattını düzenlemeye devam edebilirsiniz.

Daha sonra işlem hattınızın kök klasörünü yapılandırmak isterseniz şu adımları izleyin:

1. İşlem hattı varlıkları tarayıcısında Yapılandır düğmesine tıklayın.
2. Pipeline kök klasörü altındaki kök klasörü seçmek için 'ne tıklayın.
3. Kaydet'e tıklayın.

Varsayılan klasör yapısı

Yeni bir işlem hattı oluşturduğunuzda, varsayılan bir klasör yapısı oluşturulur. Bu, aşağıda açıklandığı gibi işlem hattı kaynak ve kaynak olmayan kod dosyalarınızı düzenlemek için önerilen yapıdır.

Bu klasör yapısında az sayıda örnek kod dosyası oluşturulur.

Klasör adı	Bu tür dosyalar için önerilen konum
<pipeline_root_folder>	İşlem hattınızın tüm klasör ve dosyalarını içeren kök klasör.
transformations	Tablo tanımlarına sahip Python veya SQL kod dosyaları gibi kaynak kod dosyaları.
explorations	Not defterleri, sorgular ve keşif veri analizi için kullanılan kod dosyaları gibi kaynak olmayan kod dosyaları.
utilities	Diğer kod dosyalarından içeri aktarılabilen Python modüllerine sahip kaynak olmayan kod dosyaları. Örnek kod için diliniz olarak SQL'i seçerseniz, bu klasör oluşturulmaz.

Klasör adlarını yeniden adlandırabilir veya yapıyı iş akışınıza uyacak şekilde değiştirebilirsiniz. Yeni bir kaynak kod klasörü eklemek için şu adımları izleyin:

1. İşlem hattı varlıkları tarayıcısında Ekle'ye tıklayın.
2. İşlem hattı kaynak kodu klasörü oluştur'a tıklayın.
3. Bir klasör adı girin ve Oluştur'a tıklayın.

Kaynak kod dosyaları

Kaynak kod dosyaları, işlem hattının kaynak kodu tanımının bir parçasıdır. İşlem hattını çalıştırdığınızda, bu dosyalar değerlendirilir. Kaynak kod tanımının bir parçası olan dosya ve klasörler, mini İşlem Hattı simgesinin üst üste bindirilmiş olduğu özel bir simgeye sahiptir.

Yeni bir kaynak kod dosyası eklemek için şu adımları izleyin:

1. İşlem hattı varlıkları tarayıcısında Ekle'ye tıklayın.
2. Dönüştürme'ye tıklayın.
3. Dosya için bir Ad girin ve Dil olarak Python veya SQL'i seçin.
4. Oluştur'utıklayın.

Kaynak kod dosyası eklemek için işlem hattı varlıkları tarayıcısında herhangi bir klasör için de tıklayabilirsiniz.

transformations Yeni bir işlem hattı oluşturduğunuzda varsayılan olarak kaynak kodu için bir klasör oluşturulur. Bu klasör, işlem hattı tablo tanımlarına sahip Python veya SQL kod dosyaları gibi işlem hattı kaynak kodu için önerilen konumdur.

Kaynak olmayan kod dosyaları

Kaynak olmayan kod dosyaları işlem hattı kök klasöründe depolanır, ancak işlem hattı kaynak kodu tanımının bir parçası değildir. İşlem hattını çalıştırdığınızda bu dosyalar değerlendirilmez. Kaynak olmayan kod dosyaları dış dosyalar olamaz.

Bunu, kaynak kodla birlikte depolamak istediğiniz işlem hattındaki çalışmanızla ilgili dosyalar için kullanabilirsiniz. Örneğin:

• Bir işlem hattının yaşam döngüsü dışında Lakeflow Spark Bildirimli İşlem Hatları işlemlerinde yürütülen geçici keşifler için kullandığınız not defterleri.
• Bu modülleri kaynak kod dosyalarınıza açıkça içeri aktarmadığınız sürece, kaynak kodunuzla değerlendirilmeyecek Python modülleri.

Kaynak olmayan yeni bir kod dosyası eklemek için şu adımları izleyin:

1. İşlem hattı varlıkları tarayıcısında Ekle'ye tıklayın.
2. Keşif veya Yardımcı Program'a tıklayın.
3. Dosya için bir İsim girin.
4. Oluştur'utıklayın.

, işlem hattı kök klasörüne veya kaynak kodu içermeyen bir dosyaya tıklayarak klasöre kaynak kodu içermeyen dosyalar ekleyebilirsiniz.

Yeni bir işlem hattı oluşturduğunuzda, kaynak olmayan kod dosyaları için varsayılan olarak aşağıdaki klasörler oluşturulur:

Klasör adı	Description
explorations	Bu klasör, not defterleri, sorgular, panolar ve diğer dosyalar için önerilen konumdur; bu dosyaları normalde bir işlem hattının yürütme yaşam döngüsü dışında yaptığınız gibi Lakeflow olmayan Spark Bildirimli İşlem Hatları işlem gücü üzerinde çalıştırabilirsiniz.
utilities	Bu klasör, üst klasörleri kök klasörün altında hiyerarşik olarak bulunduğu sürece, from <filename> import olarak ifade edilen doğrudan içeri aktarmalar aracılığıyla diğer dosyalardan içeri aktarılabilen Python modülleri için önerilen konumdur.

Kök klasörün dışında bulunan Python modüllerini de içeri aktarabilirsiniz, ancak bu durumda, Python kodunuzda klasörün yolunu sys.path eklemeniz gerekir:

import sys, os
sys.path.append(os.path.abspath('<alternate_path_for_utilities>/utilities'))
from utils import \*

Dış dosyalar

İşlem hattı tarayıcısının Dış dosyalar bölümünde kök klasörün dışındaki kaynak kod dosyaları gösterilir.

Dış dosyayı klasör gibi transformations kök klasöre taşımak için şu adımları izleyin:

1. Varlık tarayıcısında dosyayı seçip tıklayın ve Taşı seçeneğine tıklayın.
2. Dosyayı taşımak istediğiniz klasörü seçin ve Taşı'ya tıklayın.

Birden çok işlem hattıyla ilişkili dosyalar

Bir dosya birden fazla işlem hattıyla ilişkiliyse, dosyanın üst bilgisinde bir rozet gösterilir. İlişkili işlem hatlarının sayısını içerir ve diğerleri arasında geçiş yapmaya olanak sağlar.

Tüm dosyalar bölümü

İşlem Hattı bölümüne ek olarak, çalışma alanınızdaki herhangi bir dosyayı açabileceğiniz Tüm dosyalar bölümü vardır. Burada şunları yapabilirsiniz:

• Lakeflow Pipelines Düzenleyicisi'ni bırakmadan kök klasörün dışındaki dosyaları bir sekmede açın.
• Başka bir işlem hattının kaynak kodu dosyalarına gidin ve bunları açın. Bu işlem, dosyayı düzenleyicide açar ve düzenleyicideki odağı bu ikinci işlem hattına değiştirme seçeneğini içeren bir başlık sağlar.
• Dosyaları işlem hattının kök klasörüne taşıyın.
• İşlem hattı kaynak kodu tanımına kök klasörün dışındaki dosyaları ekleyin.

İşlem hattı kaynak dosyalarını düzenleme

Çalışma alanı tarayıcısından veya işlem hattı varlıkları tarayıcısından bir işlem hattı kaynak dosyası açtığınızda, bu dosya Lakeflow İşlem Hatları Düzenleyicisi'ndeki bir düzenleyici sekmesinde açılır. Daha fazla dosya açmak ayrı sekmeler açar ve aynı anda birden çok dosyayı düzenlemenizi sağlar.

Uyarı

Çalışma alanı tarayıcısından işlem hattıyla ilişkilendirilmiş olmayan bir dosyanın açılması düzenleyiciyi farklı bir bağlamda açar (genel Çalışma Alanı düzenleyicisi veya SQL dosyaları için SQL Düzenleyicisi).

İşlem hattı varlık tarayıcısının Tüm dosyalar sekmesinden işlem hattı olmayan bir dosya açtığınızda, işlem hattı bağlamında yeni bir sekmede açılır.

Boruhattı kaynak kodu birden çok dosya içerir. Varsayılan olarak kaynak dosyalar işlem hattı varlıkları tarayıcısında dönüştürmeler klasöründedir. Kaynak kod dosyaları Python (*.py) veya SQL (*.sql) dosyaları olabilir. Kaynağınız tek bir işlem hattında hem Python hem de SQL dosyalarının bir karışımını içerebilir ve bir dosyadaki kod başka bir dosyada tanımlanan tabloya veya görünüme başvurabilir.

Ayrıca, tranformations klasörünüzde markdown (*.md) dosyalarını da ekleyebilirsiniz. Markdown dosyaları belgeler veya notlar için kullanılabilir, ancak işlem hattı güncelleştirmesi çalıştırılırken yoksayılır.

Aşağıdaki özellikler Lakeflow Pipelines Düzenleyicisi'ne özgüdür:

1. Bağlan - İşlem hattını çalıştırmak için sunucusuz veya klasik işlemlere bağlanın. İşlem hattıyla ilişkili tüm dosyalar aynı işlem bağlantısını kullanır, bu nedenle bağlandıktan sonra aynı işlem hattındaki diğer dosyalar için bağlanmanız gerekmez. İşlem seçenekleri hakkında daha fazla bilgi için bkz . İşlem yapılandırma seçenekleri.

   Keşif not defteri gibi işlem hattı olmayan dosyalar için bağlantı seçeneği kullanılabilir, ancak yalnızca bu dosya için geçerlidir.

2. Dosyayı çalıştır - Bu kaynak dosyada tanımlanan tabloları güncelleştirmek için kodu çalıştırın. Sonraki bölümde işlem hattı kodunuzu çalıştırmanın farklı yolları açıklanmaktadır.

3. Düzenle - Dosyada kod düzenlemek veya eklemek için Databricks Yardımcısı'nı kullanın.

4. Hızlı düzeltme - Kodunuzda bir hata olduğunda, hatayı düzeltmek için Yardımcı'yı kullanın.

Alt panel, geçerli sekmeye göre de ayarlanır. Alt panelde işlem hattı bilgilerini görüntülemek her zaman kullanılabilir. SQL düzenleyici dosyaları gibi işlem hattıyla ilişkili olmayan dosyalar da çıktılarını alt panelde ayrı bir sekmede gösterir. Aşağıdaki görüntüde, seçili not defterine ilişkin işlem hattı bilgilerini veya bilgilerini görüntülemek arasında alt panele geçiş yapmak için dikey sekme seçici gösterilmektedir.

İşlem hattı kodunu çalıştırma

İşlem hattı kodunuzu çalıştırmak için dört seçeneğiniz vardır:

1. İşlem hattındaki tüm kaynak kodu dosyalarını çalıştırma

   İşlem hattı kaynak kodu olarak tanımlanan tüm dosyalardaki tüm tablo tanımlarını çalıştırmak için İşlem hattını çalıştır'a veya Tam tablo yenilemesiyle işlem hattını çalıştır'a tıklayın. Yenileme türleri hakkında ayrıntılı bilgi için İşlem Hattı Yenileme Semantiği bölümüne bakın.

   

   İşlem hattını herhangi bir veri güncelleştirmeden doğrulamak için Kuru çalıştır'a da tıklayabilirsiniz.

2. Kodu tek bir dosyada çalıştırma

   Geçerli dosyadaki tüm tablo tanımlarını çalıştırmak için Dosyayı çalıştır'a veya Dosyayı tam tablo yenilemesiyle çalıştır'a tıklayın. İşlem hattındaki diğer dosyalar değerlendirilmez.

   

   Bu seçenek, bir dosyayı hızlı bir şekilde düzenlerken ve yinelerken hata ayıklama için kullanışlıdır. Kodu yalnızca tek bir dosyada çalıştırırken yan etkiler vardır.

   • Diğer dosyalar değerlendirilmediğinde, bu dosyalardaki hatalar bulunmaz.
   • Diğer dosyalarda maddileştirilmiş tablolar, daha yeni kaynak verileri olsa bile tablonun mevcut en son maddileştirilmesini kullanır.
   • Referans verilen bir tablo henüz oluşturulmadıysa hatalarla karşılaşabilirsiniz.
   • DAG, henüz oluşturulmamış diğer dosyalardaki tablolar için yanlış veya kopuk olabilir. Azure Databricks, grafı doğru tutmak için en iyi çabayı gösterir, ancak bunu yapmak için diğer dosyaları değerlendirmez.

   Bir dosyada hata ayıklamayı ve düzenlemeyi bitirdiğinizde Databricks, işlem hattını üretime almadan önce işlem hattının uçtan uca çalıştığını doğrulamak için işlem hattındaki tüm kaynak kodu dosyalarını çalıştırmanızı önerir.

3. Tek bir tablonun kodunu çalıştırma

   Kaynak kod dosyasındaki bir tablonun tanımının yanında, Tabloyu çalıştır simgesine Tablo tıklayın ve açılan listeden Tabloyu yenile veya Tabloyu tam yenileme'yi seçin. Kodu tek bir tablo için çalıştırmak, kodu tek bir dosyada çalıştırmaya benzer yan etkilere sahiptir.

   

   Uyarı

   Tek bir tablo için kodu çalıştırmak, akış tabloları ve gerçekleştirilmiş görünümler için kullanılabilir. Sink'ler ve view'ler desteklenmez.

4. Bir tablo kümesinin kodunu çalıştırma

   Çalıştırılacak tabloların listesini oluşturmak için DAG'den tabloları seçebilirsiniz. DAG'deki tablonun üzerine gelin, tıklayın ve Yenilemek için tablo seç'i seçin. Tabloları yenilemek üzere seçtikten sonra DAG'nin alt kısmındaki Çalıştır veya Tam yenileme ile çalıştır seçeneğini belirleyin.

   

İşlem hattı grafı, yönlendirilmiş döngüsel graf (DAG)

İşlem hattındaki tüm kaynak kodu dosyalarını çalıştırdıktan veya doğruladıktan sonra, işlem hattı grafı olarak adlandırılan yönlendirilmiş döngüsüz bir graf (DAG) görürsünüz. Grafikte tablo bağımlılık grafiği gösterilir. İşlem hattı yaşam döngüsü boyunca her düğümün doğrulanmış, çalışıyor veya hata gibi farklı durumları vardır.

Sağ taraftaki paneldeki grafik simgesine tıklayarak grafiği açıp kapatabilirsiniz. Ayrıca grafiği en üst düzeye çıkarabilirsiniz. Sağ alt kısımda yakınlaştırma seçenekleri ve gibi ek seçenekler vardır.Grafiği dikey veya yatay düzende görüntülemek için diğer seçenekler.

Bir düğümün üzerine geldiğinizde, sorguyu yenileme de dahil olmak üzere seçeneklerin bulunduğu bir araç çubuğu görüntülenir. Bir düğüme sağ tıklamak, bağlam menüsünde aynı seçenekleri sunar.

Bir düğüme tıklanması , veri önizlemesini ve tablo tanımını gösterir. Bir dosyayı düzenlediğinizde, bu dosyada tanımlanan tablolar grafikte vurgulanır.

Veri önizlemeleri

Veri önizleme bölümünde seçili tablo için örnek veriler gösterilir.

Yönlendirilmiş döngüsel grafikte (DAG) bir düğüme tıkladığınızda tablo verilerinin önizlemesini görürsünüz.

Seçili tablo yoksa Tablolar bölümüne gidin ve Veri önizlemesini görüntüle tıklayın. Bir tablo seçtiyseniz , tüm tablolara dönmek için Tüm tablolar'a tıklayın.

Tablo verilerinin önizlemesini görüntüleyebilir, verileri yerinde filtreleyebilir veya sıralayabilirsiniz. Daha karmaşık analizler yapmak istiyorsanız , Keşifler klasöründe (varsayılan klasör yapısını tuttuğunuz varsayılarak) bir not defteri kullanabilir veya oluşturabilirsiniz. Varsayılan olarak, bu klasördeki kaynak kodu işlem hattı güncelleştirmesi sırasında çalıştırılmaz, bu nedenle işlem hattı çıkışını etkilemeden sorgular oluşturabilirsiniz.

Yürütme içgörüleri

En son işlem hattı güncelleştirmesi hakkındaki tablo yürütme içgörülerini düzenleyicinin alt kısmındaki panellerde görebilirsiniz.

Panel	Description
Tables	Durumlarını ve ölçümlerini içeren tüm tabloları listeler. Bir tablo seçerseniz, bu tablonun ölçümlerini ve performansını ve veri önizlemesi için bir sekmeyi görürsünüz.
Performance	Bu işlem hattındaki tüm akışlar için sorgu geçmişi ve profilleri. Yürütme sırasında ve sonrasında yürütme ölçümlerine ve ayrıntılı sorgu planlarına erişebilirsiniz. Daha fazla bilgi için bkz. İşlem hatları için erişim sorgu geçmişi .
Sorunlar paneli	İşlem hattıyla ilgili hataların ve uyarıların basitleştirilmiş görünümü için panele tıklayın. Daha fazla ayrıntı görmek için bir girdiye tıklayabilir ve ardından kodda hatanın oluştuğu yere gidebilirsiniz. Hata şu anda görüntülenen dosya dışında bir dosyadaysa, bu sizi hatanın bulunduğu dosyaya yönlendirir. Tüm ayrıntılar için ilgili olay günlüğü girdisini görmek için Ayrıntıları görüntüle'ye tıklayın. Olay günlüğünün tamamını görmek için Günlükleri görüntüle'ye tıklayın. Kodun belirli bir bölümüyle ilişkili hatalar için koda yapıştırılmış hata göstergeleri gösterilir. Daha fazla ayrıntı almak için hata simgesine tıklayın veya kırmızı çizginin üzerine gelin. Daha fazla bilgi içeren bir açılır pencere görüntülenir. Ardından Hızlı düzeltme'ye tıklayarak hatayı gidermek için bir dizi eylem gösterebilirsiniz.
Olay günlüğü	Son işlem hattı çalıştırması sırasında tetiklenen tüm olaylar. Günlükleri görüntüle'ye veya sorunlar tepsisindeki herhangi bir girdiye tıklayın.

İşlem hattı yapılandırması

İşlem hattınızı işlem hattı düzenleyicisinden yapılandırabilirsiniz. İşlem hattı ayarlarında, zamanlamada veya izinlerde değişiklik yapabilirsiniz.

Bunların her birine düzenleyicinin üst bilgisindeki bir düğmeden veya varlık tarayıcısındaki simgelerden (sol kenar çubuğu) erişilebilir.

• Ayarlar (veya varlık tarayıcısında seçin):

  Genel bilgiler, kök klasör ve kaynak kodu yapılandırması, işlem yapılandırması, bildirimler, gelişmiş ayarlar ve daha fazlası dahil olmak üzere işlem hattı ayarlarını ayarlar panelinden düzenleyebilirsiniz.

• Zamanlama (veya varlık tarayıcısında seçin):

  Zamanlama iletişim kutusundan işlem hattınız için bir veya daha fazla zamanlama oluşturabilirsiniz. Örneğin, günlük olarak çalıştırmak istiyorsanız, bunu burada ayarlayabilirsiniz. İşlem hattını seçtiğiniz zamanlamaya göre çalıştırmak için bir görev oluşturur. Zamanlama iletişim kutusundan yeni bir zamanlama ekleyebilir veya var olan bir zamanlamayı kaldırabilirsiniz.

• Paylaş (ya da, ):

  İşlem hattı izinleri iletişim kutusundan kullanıcılar ve gruplar için işlem hattı izinlerini yönetebilirsiniz.

Olay Günlüğü

İşlem hattının olay günlüğünü Unity Kataloğu'na yayımlayabilirsiniz. Varsayılan olarak, işlem hattınızın olay günlüğü kullanıcı arabiriminde gösterilir ve sahibi tarafından sorgulama için erişilebilir.

1. Ayarlar'ı açın.
2. Sağ ok simgesineGelişmiş ayarlar'ın yanındaki .
3. Gelişmiş ayarları düzenle'ye tıklayın.
4. Olay günlükleri'nin altında Katalogda yayımla'ya tıklayın.
5. Olay günlüğü için bir ad, katalog ve şema sağlayın.
6. Kaydet'e tıklayın.

Boru hattı olaylarınız belirttiğiniz veri tablosunda yayımlanır.

İşlem hattı olay günlüğünü kullanma hakkında daha fazla bilgi edinmek için bkz. Olay günlüğünü sorgulama.

İşlem hattı ortamı

Ayarlar'da bağımlılıklar ekleyerek kaynak kodunuz için bir ortam oluşturabilirsiniz.

1. Ayarlar'ı açın.
2. Ortam'ın altında Ortamı düzenle'ye tıklayın.
3. sanki bir dosyaya ekliyormuş gibi bir bağımlılık eklemek için requirements.txt bağımlılık ekleyin. Bağımlılıklar hakkında daha fazla bilgi için bkz. Not defterine bağımlılık ekleme.

Databricks, sürümü == ile sabitlemenizi önerir. Bkz. PyPI paketi.

Ortam, işlem hattınızdaki tüm kaynak kodu dosyalarına uygulanır.

Bildirimler

İşlem hattı ayarlarını kullanarak bildirim ekleyebilirsiniz.

1. Ayarlar'ı açın.
2. Bildirimler bölümünde Bildirim ekle'ye tıklayın.
3. Bir veya daha fazla e-posta adresi ve gönderilmesini istediğiniz olayları ekleyin.
4. Bildirim ekle'ye tıklayın .

Uyarı

Python olay kancalarını kullanarak bildirimler veya özel işleme dahil olmak üzere olaylara özel yanıtlar oluşturun.

İşlem hatlarını izleme

Azure Databricks, çalışan işlem hatlarını izlemeye yönelik özellikler de sağlar. Düzenleyici, son çalıştırma hakkındaki sonuçları ve işlem içgörülerini gösterir. Verimli bir şekilde yineleme yapmanıza yardımcı olmak üzere işlem hattınızı etkileşimli olarak geliştirirken optimize edilmiştir.

İşlem hattı izleme sayfası, geçmiş çalıştırmaları görüntülemenize olanak tanır. Bu, bir işlem hattı, "Job" adı verilen bir iş kullanarak zamanlamalı bir şekilde çalışırken yararlıdır.

Uyarı

Varsayılan bir izleme deneyimi ve güncelleştirilmiş bir önizleme izleme deneyimi vardır. Aşağıdaki bölümde önizleme izleme deneyiminin nasıl etkinleştirileceği veya devre dışı bırakıldığı açıklanmaktadır. Her iki deneyim hakkında bilgi için bkz. Kullanıcı arabiriminde işlem hatlarını izleme.

İzleme deneyimi, çalışma alanınızın sol tarafındaki İşler ve İşlem Hatları düğmesinden kullanılabilir. Ayrıca işlem hattı varlıkları tarayıcısında çalıştırma sonuçlarına tıklayarak düzenleyiciden doğrudan izleme sayfasına atlayabilirsiniz.

İzleme sayfası hakkında daha fazla bilgi için bkz. Kullanıcı arabiriminde işlem hatlarını izleme. İzleme UI'ı, kullanıcı arabiriminin üst kısmından İşlem hattını düzenle seçeneğini seçerek Lakeflow Pipelines Düzenleyicisi'ne geri dönme özelliğini içerir.

Lakeflow Pipelines Düzenleyicisi'ni ve güncelleştirilmiş izlemeyi etkinleştirme

Lakeflow Pipelines Düzenleyicisi önizlemesi varsayılan olarak etkindir. Aşağıdaki yönergelerle devre dışı bırakabilir veya yeniden etkinleştirebilirsiniz. Lakeflow Pipelines Düzenleyicisi önizlemesi etkinleştirildiğinde, güncelleştirilmiş izleme deneyimini (önizleme) de etkinleştirebilirsiniz.

Önizleme, çalışma alanınız için Lakeflow Pipelines Düzenleyicisi seçeneği ayarlanarak etkinleştirilmelidir. Seçenekleri düzenleme hakkında daha fazla bilgi için bkz. Azure Databricks önizlemelerini yönetme .

Önizleme etkinleştirildikten sonra, Lakeflow Pipelines Düzenleyicisi'ni birden çok şekilde etkinleştirebilirsiniz:

• Yeni bir ETL işlem hattı oluşturduğunuzda, Lakeflow Spark Bildirimsel İşlem Hatları'nda düzenleyiciyi Lakeflow İşlem Hatları Düzenleyicisi geçiş düğmesiyle etkinleştirin.

  

  düzenleyiciyi ilk kez etkinleştirdiğinizde işlem hattının gelişmiş ayarlar sayfası kullanılır. Basitleştirilmiş işlem hattı oluşturma penceresi, bir sonraki yeni işlem hattı oluşturduğunuzda kullanılır.

• Mevcut bir işlem hattı için, işlem hattında kullanılan bir not defterini açın ve üst bilgide Lakeflow Pipelines Düzenleyicisi'ni etkinleştirin. Ayrıca işlem hattı izleme sayfasına gidip Ayarlar'a tıklayarak Lakeflow İşlem Hatları Düzenleyicisi'ni etkinleştirebilirsiniz.

• Lakeflow Pipelines Düzenleyicisi'ni kullanıcı ayarlarından etkinleştirebilirsiniz:

  1. Çalışma alanınızın sağ üst kısmında kullanıcı rozetinize tıklayın ve ardından Ayarlar ve Geliştirici'ye tıklayın.
  2. Lakeflow Pipelines Düzenleyicisi'ni etkinleştirin.

Lakeflow Pipelines Düzenleyicisi iki durumlu düğmesini etkinleştirdikten sonra, tüm ETL işlem hatları varsayılan olarak Lakeflow Pipelines Düzenleyicisi'ni kullanır. Lakeflow Pipelines Düzenleyicisi'ni düzenleyiciden açıp kapatabilirsiniz.

Uyarı

Yeni işlem hattı düzenleyicisini devre dışı bırakırsanız, neden kapattığınızı açıklayan geri bildirimde bulunmak yararlı olur. Yeni düzenleyicideki herhangi bir geri bildirim için anahtar üzerinde bir Geri bildirim gönder düğmesi bulunur.

Yeni işlem hattı izleme sayfasını etkinleştirme

Önemli

Bu özellik Genel Önizleme aşamasındadır.

Lakeflow Pipelines Düzenleyicisi önizlemesinin bir parçası olarak, işlem hattı için yeni bir işlem hattı izleme sayfasını da etkinleştirebilirsiniz. İşlem hattı izleme sayfasını etkinleştirmek için Lakeflow Pipelines Düzenleyicisi önizlemesinin etkinleştirilmesi gerekir. Düzenleyici önizlemesi etkinleştirildiğinde, yeni izleme sayfası da varsayılan olarak etkinleştirilir.

1. İşler ve İşlem Hatları'ne tıklayın.

2. İşlem hattının ayrıntılarını görüntülemek için herhangi bir işlem hattının adına tıklayın.

3. Sayfanın üst kısmında, Yeni işlem hattı sayfası iki durumlu düğmesiyle güncelleştirilmiş izleme kullanıcı arabirimini etkinleştirin.

   

Sınırlamalar ve bilinen sorunlar

Lakeflow Spark Bildirimli İşlem Hatlarında ETL işlem hattı düzenleyicisi için aşağıdaki sınırlamalara ve bilinen sorunlara bakın:

1. Bu dosyalar veya not defterleri işlem hattı kaynak kodu tanımının bir parçası olmadığından, klasör veya not defterinde bir dosya explorations açarak başlarsanız çalışma alanı tarayıcı kenar çubuğu işlem hattına odaklanmaz.

   Çalışma alanı tarayıcısında işlem hattı odak moduna girmek için işlem hattıyla ilişkilendirilmiş bir dosya açın.

2. Veri önizlemeleri normal görünümler için desteklenmez.

3. Python modülleri, kök klasörünüzde veya sys.pathüzerinde olsalar bile UDF'nin içinden bulunmaz. UDF'nin içinden yolunu ekleyerek bu modüllere sys.path erişebilirsiniz, örneğin: sys.path.append(os.path.abspath(“/Workspace/Users/path/to/modules”))

4. %pip install dosyalardan (yeni düzenleyici ile varsayılan varlık türü) desteklenmez. Ayarlarda bağımlılıklar ekleyebilirsiniz. Bkz. İşlem hattı ortamı.

   Alternatif olarak, %pip install kullanmaya, işlem hattına ait bir not defterinin kaynak kodu tanımında, devam edebilirsiniz.

FAQ

1. Neden kaynak kodu için not defterlerini değil de dosyaları kullanmalısınız?

   Not defterlerinin hücre tabanlı yürütmesi işlem hatları ile uyumlu değildir. İşlem hatlarıyla çalışırken not defterlerinin standart özellikleri devre dışı bırakılır veya değiştirilir ve bu da not defteri davranışı hakkında bilgi sahibi olan kullanıcıların kafa karışıklığına neden olur.

   Lakeflow Pipelines Düzenleyicisi'nde dosya düzenleyicisi, işlem hatları için birinci sınıf bir düzenleyicinin temeli olarak kullanılır. Özellikler, bilindik özellikleri farklı davranışlarla aşırı yüklemek yerine Tabloyu Çalıştır gibi işlem hatlarına yöneliktir.

2. Kaynak kod olarak not defterlerini kullanmaya devam edebilir miyim?

   Evet, kaydolabilirsiniz. Ancak, Tabloyu Çalıştır Tablo veya Çalıştır dosyası gibi bazı özellikler mevcut değildir.

   Not defterlerini kullanan bir işlem hattınız varsa, bu işlem hattı yeni düzenleyicide çalışmaya devam eder. Ancak Databricks, yeni işlem hatları için dosyalara geçiş yapmanızı önerir.

3. Yeni oluşturulan bir İşlem Hattına mevcut kodu nasıl ekleyebilirim?

   Mevcut kaynak kodu dosyalarını yeni bir işlem hattına ekleyebilirsiniz. Var olan dosyaları içeren bir klasör eklemek için şu adımları izleyin:

   1. Ayarlar'a tıklayın.
   2. Kaynak kodu altında Yolları yapılandır'a tıklayın.
   3. Yol ekle'ye tıklayın ve var olan dosyalar için klasörü seçin.
   4. Kaydet'e tıklayın.

   Ayrıca tek tek dosyalar da ekleyebilirsiniz:

   1. İşlem hattı varlıkları tarayıcısında Tüm dosyalar'a tıklayın.
   2. Dosyanıza gidin, tıklayın ve işlem hattına ekle'ye tıklayın.

   Bu dosyaları işlem hattı kök klasörüne taşımayı göz önünde bulundurun. İşlem hattı kök klasörünün dışında bırakılırsa, Bunlar Dış dosyalar bölümünde gösterilir.

4. Pipeline kaynak kodunu Git'te yönetebilir miyim?

   İşlem hattını ilk kez oluştururken bir Git klasörü seçerek Git'te işlem hattı kaynağınızı yönetebilirsiniz.

   Uyarı

   Git klasöründe kaynağınızı yönetmek, kaynak kodunuz için sürüm denetimi ekler. Ancak, yapılandırmanızı sürüm denetimi için Databricks, Git'te (veya başka bir sürüm denetim sisteminde) depolanabilen paket yapılandırma dosyalarında işlem hattı yapılandırmasını tanımlamak için Databricks Varlık Paketleri'nin kullanılmasını önerir. Daha fazla bilgi için bkz. Databricks Varlık Paketleri nedir?.

   İşlem hattını başlangıçta bir Git klasöründe oluşturmadıysanız, kaynağınızı bir Git klasörüne taşıyabilirsiniz. Databricks, kök klasörün tamamını bir Git klasörüne taşımak için düzenleyici eyleminin kullanılmasını önerir. Bu, tüm ayarları uygun şekilde güncelleştirir. Bakınız Kök klasör.

   Kök klasörü işlem hattı varlık tarayıcısında bir Git klasörüne taşımak için:

   1. Kök klasör için tıklayın.
   2. Kök klasörünü taşı butonuna tıklayın.
   3. Kök klasörünüz için yeni bir konum seçin ve Taşı'ya tıklayın.

   Daha fazla bilgi için Kök klasör bölümüne bakın.

   Taşıma sonrasında kök klasörünüzün adının yanında tanıdık Git simgesini görürsünüz.

   Önemli

   İşlem hattı kök klasörünü taşımak için işlem hattı varlıkları tarayıcısını ve yukarıdaki adımları kullanın. Başka bir şekilde taşımak işlem hattı yapılandırmalarını bozar ve Ayarlar'da doğru klasör yolunu el ile yapılandırmanız gerekir.

5. Aynı kök klasörde birden fazla Boru Hattı bulundurabilir miyim?

   Bunu yapabilirsiniz, ancak Databricks kök klasör başına yalnızca tek bir İşlem Hattı'nın olmasını önerir.

6. Ne zaman bir deneme çalışması yapmalıyım?

   Tabloları güncelleştirmeden kodunuzu denetlemek için Kuru çalıştır'a tıklayın.

7. Geçici Görünümleri ve Materyalize Görünümleri kodumda ne zaman kullanmalıyım?

   Verileri kalıcı hale getirmek istemediğinizde geçici görünümleri kullanın. Örneğin, bu, katalogda kayıtlı bir akış tablosu veya gerçekleştirilmiş görünüm kullanılarak verilerin somutlaşmaya hazır hale gelmeden önce hazırlık sürecinde izlenen belirli bir adımlar dizisidir.