Lakeflow Pipelines Düzenleyicisi ile ETL işlem hatları geliştirme ve hatalarını ayıklama

İşlem hattı geliştirmek için oluşturulmuş bir IDE olan Lakeflow Pipelines Düzenleyicisi'nde ETL (çıkarma, dönüştürme ve yükleme) işlem hatları geliştirir ve hatalarını ayıklarsınız.

Lakeflow Pipelines Düzenleyicisi nedir?

Lakeflow Pipelines Düzenleyicisi, işlem hatları geliştirmek için oluşturulmuş bir IDE'dir. Tüm işlem hattı geliştirme görevlerini tek bir yüzey üzerinde birleştirerek kod öncelikli iş akışlarını, klasör tabanlı kod düzenlemesini, seçmeli yürütmeyi, veri önizlemelerini ve işlem hattı grafiklerini destekler. Azure Databricks platformuyla tümleşik olarak sürüm denetimi, kod incelemeleri ve zamanlanmış çalıştırmaları da etkinleştirir.

Lakeflow Pipelines Düzenleyicisi kullanıcı arabirimine genel bakış

Aşağıdaki görüntüde Lakeflow Pipelines Düzenleyicisi gösterilmektedir:

Görüntüde aşağıdaki özellikler gösterilir:

1. İşlem hattı varlık tarayıcısı: İşlem hattı varlıklarını oluşturun, silin, yeniden adlandırın ve düzenleyin. İşlem boru hattı yapılandırmasına yönelik kısayolları da içerir.
2. Sekmeleri olan çok dosyalı kod düzenleyicisi: İşlem hattıyla ilişkili birden çok kod dosyasında çalışın.
3. İşlem hattına özgü araç çubuğu: İşlem hattı yapılandırma seçeneklerini içerir ve işlem hattı düzeyinde çalıştırma eylemlerine sahiptir.
4. Etkileşimli işlem hattı grafiği: Tablolarınıza genel bir bakış elde edin, veri önizlemeleri alt çubuğunu açın ve tabloyla ilgili diğer eylemleri gerçekleştirin.
5. Tablo düzeyinde yürütme içgörüleri: İşlem hattındaki tüm tablolar veya tek bir tablo için yürütme içgörüleri alın. İçgörüler, en son işlem hattı çalıştırmasıyla ilgilidir.
6. Sorunlar paneli: Bu özellik işlem hattındaki tüm dosyalardaki hataları, uyarıları ve içgörüleri özetler ve hatanın belirli bir dosyanın içinde oluştuğu yere gidebilirsiniz. Koda ekli hata göstergelerini tamamlar.
7. Seçmeli yürütme: Kod düzenleyicisinde, Dosya çalıştır eylemini kullanarak yalnızca geçerli dosyadaki tabloları yenileme veya tek bir tabloyu yenileme gibi adım adım geliştirme özellikleri vardır.
8. Genie Code: Veri bulma ve kod oluşturmadan işlem hattı yürütmeye ve veri kalitesi sorunlarını çözmeye kadar çok adımlı iş akışlarını otomatik hale getiren aracı bir deneyim olan Genie Code'u kullanarak işlem hatlarınızı oluşturun, güncelleştirin ve hatalarını ayıklayın.

Diğer önemli özellikler:

• Veri önizleme: Akış tablolarınızın ve gerçekleştirilmiş görünümlerinizin verilerini inceleyin.
• Varsayılan işlem hattı klasör yapısı: Yeni işlem hatları, işlem hattınız için başlangıç noktası olarak kullanabileceğiniz önceden tanımlanmış bir klasör yapısı ve örnek kod içerir.

Yeni ETL işlem hattı oluşturma

Lakeflow Pipelines Düzenleyicisi'ni kullanarak yeni bir ETL işlem hattı oluşturmak için şu adımları izleyin:

1. Kenar çubuğunun üst kısmında Yeni'yi ve ardından ETL işlem hattı.

   İşlem hattı aşağıdaki varsayılan ayarlarla otomatik olarak oluşturulur:

   • Unity Kataloğu
   • Geçerli kanal
   • Sunucusuz işlem

   Bu ayarları işlem hattı araç çubuğundan ayarlayabilirsiniz.

2. En üstte işlem hattınıza benzersiz bir ad verin.

3. Adın yanında, sizin için seçilen varsayılan katalog ve şema görüntülenir.

   Varsayılan katalog ve varsayılan şema , veri kümelerini kodunuzda bir katalog veya şemayla nitelemediğinizde veri kümelerinin okunduğu veya yazıldığı yerdir. Daha fazla bilgi için bkz. Azure Databricks'teki veritabanı nesneleri .

   İşlem hattınızın varsayılanlarını değiştirmek için kataloğa ve şemaya tıklayın.

4. İşlem hattınızın varsayılan olarak boş my_transformation bir dosyası vardır. Dil açılan listesinden seçim yaparak bu dosyayı Python ve SQL arasında değiştirin. Bu dosyaya doğrudan kod yazın veya hızlı bir şekilde başlamak için aşağıdaki seçeneklerden birini belirleyin:

   • Genie Code ile oluşturma: İşlem hattınızı doğal dil kullanarak açıklayın ve Genie Code'un sizin için oluşturmasına izin verin.
   • Örnek kodu kullanma: Geçerli dosyanın dilinde varsayılan bir klasör yapısı ve örnek kod oluşturun.

   

   Daha gelişmiş seçenekler için menü ( sağındaki).Örnek kod düğmesini) kullanarak:

   • Mevcut kaynak kodunu ekleme: İşlem hattınızı Git klasörleri de dahil olmak üzere çalışma alanınızda zaten kullanılabilir olan kod dosyalarıyla ilişkilendirin.
   • Kaynak denetimi olarak ayarlama: Kaynak denetimi ve CI/CD desteği için Bildirim temelli Otomasyon Paketleri projesi kullanın. Bkz. Kaynak denetimli işlem hattı oluşturma.
   • Hive metastore kullan: Eski ayarlarla bir işlem hattı oluşturun.

Alternatif olarak, çalışma alanı tarayıcısından bir ETL işlem hattı oluşturabilirsiniz:

1. Sol taraftaki panelde Çalışma Alanı'na tıklayın.
2. Git klasörleri de dahil olmak üzere herhangi bir klasörü seçin.
3. Sağ üst köşedeki Oluştur'a ve ETL işlem hattı'na tıklayın.

İşler ve işlem hatları sayfasından bir ETL işlem hattı da oluşturabilirsiniz:

1. Çalışma alanınızda Kenar çubuğundaki İşler ve İşlem Hatları.
2. Yeni altında ETL İşlem Hattı'na tıklayın.

Tavsiye

Databricks CLI, işlem hatlarınızı bir terminalden oluşturmak, değiştirmek ve yönetmek için komutlar sağlar. Bakınız pipelines komut grubu.

Mevcut ETL işlem hattını açma

Lakeflow Pipelines Düzenleyicisi'nde var olan bir ETL işlem hattını açmanın birden çok yolu vardır:

• İşlem hattıyla ilişkili herhangi bir kaynak dosyayı açın:

  1. Yan panelde Çalışma Alanı'na tıklayın.
  2. İşlem hattınız için kaynak kod dosyalarını içeren bir klasöre gidin.
  3. İşlem hattını düzenleyicide açmak için kaynak kod dosyasına tıklayın.

• Yakın zamanda düzenlenmiş bir işlem hattını açın.

  • Düzenleyiciden, varlık tarayıcısının üst kısmındaki işlem hattının adına tıklayıp görüntülenen son kullanılanlar listesinden başka bir işlem hattı seçerek yakın zamanda düzenlediğiniz diğer işlem hatlarına gidebilirsiniz.
  • Düzenleyicinin dışından, sol kenar çubuğundaki Son Kullanılanlar sayfasında bir işlem hattı veya işlem hattı için kaynak kodu olarak yapılandırılmış bir dosya açın.

• Ürün genelinde işlem hattını görüntülerken işlem hattını düzenlemeyi seçebilirsiniz:

  • İşlem hattı izleme sayfasında İşlem hattını düzenleyin.
  • Sol kenar çubuğundaki İşler ve İşlem Hatları sayfasında İşlem hattını düzenlemek için.
  • Bir işi düzenleyip işlem hattı görevi eklediğinizde, open in new tab iconİşlem Hattı altında bir işlem hattı seçtiğinizde düğmesine tıklayabilirsiniz.

• Varlık tarayıcısında Tüm dosyalar'a göz atıyorsanız ve başka bir işlem hattından bir kaynak kodu dosyası açıyorsanız, düzenleyicinin üst kısmında ilgili işlem hattını açmanızı isteyen bir başlık gösterilir.

İşlem hattı varlık tarayıcısı

bir işlem hattını düzenlerken, sol çalışma alanı kenar çubuğu işlem hattı varlık tarayıcısı olarak adlandırılan özel bir mod kullanır. Varsayılan olarak işlem hattı varlığı tarayıcısı işlem hattı köküne ve kök içindeki klasörlere ve dosyalara odaklanır. İşlem hattının kökü dışındaki dosyaları görmek için Tüm dosyaları görüntülemeyi de seçebilirsiniz. Belirli bir işlem hattını düzenlerken işlem hattı düzenleyicisinde açılan sekmeler hatırlanır ve başka bir işlem hattına geçtiğinizde, işlem hattını en son düzenlediğinizde sekmeler açılır.

Uyarı

Düzenleyici ayrıca SQL dosyalarını düzenleme bağlamlarına ( Databricks SQL Düzenleyicisi olarak adlandırılır) ve SQL dosyaları veya işlem hattı dosyaları olmayan çalışma alanı dosyalarını düzenlemeye yönelik genel bir bağlama sahiptir. Bu bağlamların her biri, bu bağlamı son kullandığınızda açtığınız sekmeleri anımsar ve geri yükler. Sol kenar çubuğunun üst kısmından bağlamı değiştirebilirsiniz. Çalışma Alanı, SQL Düzenleyicisi veya yakın zamanda düzenlenen işlem hatları arasında seçim yapmak için üst bilgiye tıklayın.

Çalışma Alanı tarayıcı sayfasından bir dosya açtığınızda, dosya ilgili düzenleyicide açılır. Dosya bir işlem hattıyla ilişkilendirilmişse, Lakeflow Pipelines Editor'dır.

İşlem hattının parçası olmayan ancak işlem hattı bağlamını koruyan bir dosyayı açmak için, dosyayı varlık tarayıcısının Tüm dosyalar sekmesinden açın.

İşlem hattı varlık gezgininde iki ayrı sekme vardır.

• İşlem Hattı: İşlem hattıyla ilişkili tüm dosyaları burada bulabilirsiniz. Bunları oluşturabilir, silebilir, yeniden adlandırabilir ve klasörler halinde düzenleyebilirsiniz. Bu sekme, işlem hattı yapılandırmasına yönelik kısayolları ve son çalıştırmaların grafik görünümünü de içerir.
• Tüm dosyalar: Diğer tüm çalışma alanı varlıklarına buradan ulaşabilirsiniz. Bu işlem hattına eklenecek dosyaları bulmak veya bildirim temelli Otomasyon Paketleri tanımlayan YAML dosyası gibi işlem hattıyla ilgili diğer dosyaları görüntülemek için yararlı olabilir.

İşlem hattınızda aşağıdaki dosya türlerine sahip olabilirsiniz:

• Kaynak kod dosyaları: Bu dosyalar, işlem hattının Ayarlar'da görülebilen kaynak kod tanımının bir parçasıdır. Databricks, kaynak kod dosyalarının her zaman işlem hattı kök klasöründe depolanmasını önerir; aksi takdirde, bunlar tarayıcının alt kısmındaki bir dış dosya bölümünde gösterilir ve daha az zengin bir özellik kümesine sahiptir.
• Kaynak olmayan kod dosyaları: Bu dosyalar işlem hattı kök klasöründe depolanır, ancak işlem hattı kaynak kodu tanımının bir parçası değildir.

Önemli

İşlem hattınızın dosya ve klasörlerini yönetmek için İşlem Hattı sekmesinin altındaki işlem hattı varlık tarayıcısını kullanmanız gerekir. Bu, işlem hattı ayarlarını doğru bir şekilde günceller. Çalışma alanı tarayıcınızdan veya Tüm dosyalar sekmesinden dosya ve klasörleri taşımak veya yeniden adlandırmak işlem hattı yapılandırmasını bozar ve bunu Ayarlar'da el ile çözmeniz gerekir.

Kök klasör

İşlem hattı varlık tarayıcısı bir işlem hattı kök klasörüne sabitlenmiştir. Yeni bir işlem hattı oluşturduğunuzda, işlem hattı kök klasörü kullanıcı giriş klasörünüzde oluşturulur.

kök klasörü işlem hattı varlık tarayıcısında değiştirebilirsiniz. Bu, bir klasörde işlem hattı oluşturduysanız ve daha sonra her şeyi farklı bir klasöre taşımak istiyorsanız kullanışlıdır. Örneğin, işlem hattını normal bir klasörde oluşturdunuz ve kaynak kodu sürüm denetimi için bir Git klasörüne taşımak istiyorsunuz.

1. Kök klasör için tıklayarak taşma menüsünü açın.
2. Yeni kök klasörü yapılandır'a tıklayın.
3. İşlem hattı kök klasörü altında tıklayın ve işlem hattı kök klasörü olarak başka bir klasör seçin.
4. Kaydet'e tıklayın.

Kök klasör için, klasör adını yeniden adlandırmak için Kök klasörü yeniden adlandır'a da tıklayabilirsiniz. Burada, kök klasörü taşı'ya tıklayarak kök klasörü örneğin bir Git klasörüne taşıyabilirsiniz.

İşlem hattı kök klasörünü ayarlarda da değiştirebilirsiniz:

1. Ayarlar'a tıklayın.
2. Kod varlıkları altındaYolları yapılandır'a tıklayın.
3. 'ne tıklayın, İşlem hattı kök klasörü altında klasörü değiştirmek için.
4. Kaydet'e tıklayın.

Uyarı

İşlem hattı kök klasörünü değiştirirseniz, önceki kök klasördeki dosyalar dış dosyalar olarak gösterildiğinden işlem hattı varlık tarayıcısı tarafından görüntülenen dosya listesi etkilenir.

Kök klasörü olmayan mevcut işlem hattı

Eski not defteri düzenleme deneyimi kullanılarak oluşturulan mevcut işlem hattında yapılandırılmış bir kök klasör yoktur. Yapılandırılmış bir kök klasörü olmayan bir işlem hattını açtığınızda, işlem hattınız için kök klasörü yapılandırmak istiyorsanız şu adımları izleyin:

1. İşlem hattı varlığı tarayıcısında, Yapılandır seçeneğine tıklayın.
2. Pipeline kök klasörü altındaki kök klasörü seçmek için 'ne tıklayın.
3. Kaydet'e tıklayın.

Varsayılan klasör yapısı

Yeni bir işlem hattı oluşturduğunuzda, varsayılan bir klasör yapısı oluşturulur. Bu, aşağıda açıklandığı gibi işlem hattı kaynak ve kaynak olmayan kod dosyalarınızı düzenlemek için önerilen yapıdır.

Bu klasör yapısında az sayıda örnek kod dosyası oluşturulur.

Klasör adı	Bu tür dosyalar için önerilen konum
<pipeline_root_folder>	İşlem hattınızın tüm klasör ve dosyalarını içeren kök klasör.
transformations	Tablo tanımlarına sahip Python veya SQL kod dosyaları gibi kaynak kod dosyaları.
explorations	Not defterleri, sorgular ve keşif veri analizi için kullanılan kod dosyaları gibi kaynak olmayan kod dosyaları.
utilities	Diğer kod dosyalarından içeri aktarılabilen Python modüllerine sahip kaynak olmayan kod dosyaları. Örnek kod için diliniz olarak SQL'i seçerseniz, bu klasör oluşturulmaz.

Klasör adlarını yeniden adlandırabilir veya yapıyı iş akışınıza uyacak şekilde değiştirebilirsiniz. Yeni bir kaynak kod klasörü eklemek için şu adımları izleyin:

1. İşlem hattı varlık tarayıcısında Ekle'ye tıklayın.
2. İşlem hattı kaynak kodu klasörü oluştur'a tıklayın.
3. Bir klasör adı girin ve Oluştur'a tıklayın.

Kaynak kod dosyaları

Kaynak kod dosyaları, işlem hattının kaynak kodu tanımının bir parçasıdır. İşlem hattını çalıştırdığınızda, bu dosyalar değerlendirilir. Kaynak kod tanımının bir parçası olan dosya ve klasörler, mini İşlem Hattı simgesinin üst üste bindirilmiş olduğu özel bir simgeye sahiptir.

Yeni bir kaynak kodu dosyası eklemek için:

1. Kök klasörün yanındaki.
2. Dönüştürme'ye tıklayın.
3. Dosya için bir Ad girin ve Dil olarak Python veya SQL'i seçin.
4. Oluştur'utıklayın.

kullanarak kod yazmaya başlamak için satır içi yardımcılarını kullanın. Genie Code veya istenen veri kümesi türü (örneğin, gerçekleştirilmiş görünüm veya akış tablosu) için kısa kod parçacıkları oluşturun.

transformations Yeni bir işlem hattı oluşturduğunuzda varsayılan olarak kaynak kodu için bir klasör oluşturulur. Bu klasör, işlem hattı tablo tanımlarına sahip Python veya SQL kod dosyaları gibi işlem hattı kaynak kodu için önerilen konumdur.

Kaynak olmayan kod dosyaları

Kaynak olmayan kod dosyaları işlem hattı kök klasöründe depolanır, ancak işlem hattı kaynak kodu tanımının bir parçası değildir. İşlem hattını çalıştırdığınızda bu dosyalar değerlendirilmez. Kaynak olmayan kod dosyaları dış dosyalar olamaz.

Bunu, kaynak kodla birlikte depolamak istediğiniz işlem hattındaki çalışmanızla ilgili dosyalar için kullanabilirsiniz. Örneğin:

• İşlem hattının yaşam döngüsü dışında kalan işlem kaynaklarında yürütülen anlık incelemeler için kullandığınız not defterleri.
• Bu modülleri kaynak kod dosyalarınıza açıkça içeri aktarmadığınız sürece, kaynak kodunuzla değerlendirilmeyecek Python modülleri.

Kaynak olmayan yeni bir kod dosyası eklemek için:

1. Kök klasörün yanındaki.
2. Keşif veya Yardımcı Program'a tıklayın.
3. Dosya için bir İsim girin.
4. Oluştur'utıklayın.

Yeni bir işlem hattı oluşturduğunuzda, kaynak olmayan kod dosyaları için varsayılan olarak aşağıdaki klasörler oluşturulur:

Klasör adı	Description
explorations	Bu klasör, notebook’lar, sorgular, gösterge panoları ve diğer dosyalar için önerilen konumdur; bunları da normalde bir işlem hattının yürütme yaşam döngüsünün dışında yaptığınız gibi işlem kaynakları üzerinde çalıştırabilirsiniz.
utilities	Bu klasör, üst klasörleri kök klasörün altında hiyerarşik olarak bulunduğu sürece, from <filename> import olarak ifade edilen doğrudan içeri aktarmalar aracılığıyla diğer dosyalardan içeri aktarılabilen Python modülleri için önerilen konumdur.

Kök klasörün dışında bulunan Python modüllerini de içeri aktarabilirsiniz, ancak bu durumda, Python kodunuzda klasörün yolunu sys.path eklemeniz gerekir:

import sys, os
sys.path.append(os.path.abspath('<alternate_path_for_utilities>/utilities'))
from utils import \*

Dış dosyalar

İşlem hattı tarayıcısının Dış dosyalar bölümünde kök klasörün dışındaki kaynak kod dosyaları gösterilir.

Dış dosyayı klasör gibi transformations kök klasöre taşımak için şu adımları izleyin:

1. Varlık tarayıcısında dosyayı seçip tıklayın ve Taşı seçeneğine tıklayın.
2. Dosyayı taşımak istediğiniz klasörü seçin ve Taşı'ya tıklayın.

Birden çok işlem hattıyla ilişkili dosyalar

Bir dosya birden fazla işlem hattıyla ilişkiliyse, dosyanın üst bilgisinde bir rozet gösterilir. İlişkili işlem hatlarının sayısını içerir ve diğerleri arasında geçiş yapmaya olanak sağlar.

Tüm dosyalar bölümü

İşlem Hattı bölümüne ek olarak, çalışma alanınızdaki herhangi bir dosyayı açabileceğiniz Tüm dosyalar bölümü vardır. Burada şunları yapabilirsiniz:

• Lakeflow Pipelines Düzenleyicisi'ni bırakmadan kök klasörün dışındaki dosyaları bir sekmede açın.
• Başka bir işlem hattının kaynak kodu dosyalarına gidin ve bunları açın. Bu işlem, dosyayı düzenleyicide açar ve düzenleyicideki odağı bu ikinci işlem hattına değiştirme seçeneğini içeren bir başlık sağlar.
• Dosyaları işlem hattının kök klasörüne taşıyın.
• İşlem hattı kaynak kodu tanımına kök klasörün dışındaki dosyaları ekleyin.

İşlem hattı kaynak dosyalarını düzenleme

Çalışma alanı tarayıcısından veya işlem hattı varlık tarayıcısından bir işlem hattı kaynak dosyası açtığınızda, bu dosya Lakeflow İşlem Hatları Düzenleyicisi'ndeki bir düzenleyici sekmesinde açılır. Daha fazla dosya açmak ayrı sekmeler açar ve aynı anda birden çok dosyayı düzenlemenizi sağlar.

Uyarı

Çalışma alanı tarayıcısından işlem hattıyla ilişkilendirilmiş olmayan bir dosyanın açılması düzenleyiciyi farklı bir bağlamda açar (genel Çalışma Alanı düzenleyicisi veya SQL dosyaları için SQL Düzenleyicisi).

İşlem hattı varlık tarayıcısının Tüm dosyalar sekmesinden işlem hattı olmayan bir dosya açtığınızda, işlem hattı bağlamında yeni bir sekmede açılır.

Boruhattı kaynak kodu birden çok dosya içerir. Varsayılan olarak kaynak dosyalar işlem hattı varlık tarayıcısında dönüştürmeler klasöründedir. Kaynak kod dosyaları Python (*.py) veya SQL (*.sql) dosyaları olabilir. Kaynağınız tek bir işlem hattında hem Python hem de SQL dosyalarının bir karışımını içerebilir ve bir dosyadaki kod başka bir dosyada tanımlanan tabloya veya görünüme başvurabilir.

Ayrıca, tranformations klasörünüzde markdown (*.md) dosyalarını da ekleyebilirsiniz. Markdown dosyaları belgeler veya notlar için kullanılabilir, ancak işlem hattı güncelleştirmesi çalıştırılırken yoksayılır.

Aşağıdaki özellikler Lakeflow Pipelines Düzenleyicisi'ne özgüdür:

1. Bağlanma: İşlem hattını çalıştırmak için sunucusuz veya klasik işlem birimine bağlanın. İşlem hattıyla ilişkili tüm dosyalar aynı işlem bağlantısını kullanır, bu nedenle bağlandıktan sonra aynı işlem hattındaki diğer dosyalar için bağlanmanız gerekmez. İşlem seçenekleri hakkında daha fazla bilgi için bkz . İşlem yapılandırma seçenekleri.

   Keşif not defteri gibi işlem hattı olmayan dosyalar için bağlantı seçeneği kullanılabilir, ancak yalnızca bu dosya için geçerlidir.

2. Dosyayı çalıştır: Bu kaynak dosyada tanımlanan tabloları güncelleştirmek için kodu çalıştırın. Sonraki bölümde işlem hattı kodunuzu çalıştırmanın farklı yolları açıklanmaktadır.

3. Düzenle: Dosyada kod düzenlemek veya eklemek için Genie Code.

4. Hızlı düzeltme: Hataları düzeltmek veya kodunuzda içgörüler üzerinde işlem yapmak için Genie Code.

Alt panel, geçerli sekmeye göre de ayarlanır. Alt panelde işlem hattı bilgilerini görüntülemek her zaman kullanılabilir. SQL düzenleyici dosyaları gibi işlem hattıyla ilişkili olmayan dosyalar da çıktılarını alt panelde ayrı bir sekmede gösterir. Aşağıdaki görüntüde, seçili not defterine ilişkin işlem hattı bilgilerini veya bilgilerini görüntülemek arasında alt panele geçiş yapmak için dikey sekme seçici gösterilmektedir.

İşlem hattı kodunu çalıştırma

İşlem hattı kodunuzu çalıştırmak için dört seçeneğiniz vardır:

1. İşlem hattındaki tüm kaynak kodu dosyalarını çalıştırma

   İşlem hattı kaynak kodu olarak tanımlanan tüm dosyalardaki tüm tablo tanımlarını çalıştırmak için İşlem hattını çalıştır'a veya Tam tablo yenilemesiyle işlem hattını çalıştır'a tıklayın. Yenileme türleri hakkında ayrıntılı bilgi için İşlem Hattı Yenileme Semantiği bölümüne bakın.

   

   İşlem hattını herhangi bir veri güncelleştirmeden doğrulamak için Kuru çalıştır'a da tıklayabilirsiniz.

2. Kodu tek bir dosyada çalıştırma

   Geçerli dosyadaki tüm tablo tanımlarını çalıştırmak için Dosyayı çalıştır'a veya Dosyayı tam tablo yenilemesiyle çalıştır'a tıklayın. İşlem hattındaki diğer dosyalar değerlendirilmez.

   

   Bu seçenek, bir dosyayı hızlı bir şekilde düzenlerken ve yinelerken hata ayıklama için kullanışlıdır. Kodu yalnızca tek bir dosyada çalıştırırken yan etkiler vardır.

   • Diğer dosyalar değerlendirilmediğinde, bu dosyalardaki hatalar bulunmaz.
   • Diğer dosyalarda maddileştirilmiş tablolar, daha yeni kaynak verileri olsa bile tablonun mevcut en son maddileştirilmesini kullanır.
   • Referans verilen bir tablo henüz oluşturulmadıysa hatalarla karşılaşabilirsiniz.
   • İşlem hattı grafiği, henüz somutlaştırılmamış diğer dosyalardaki tablolar için yanlış veya kopuk olabilir. Azure Databricks, grafı doğru tutmak için en iyi çabayı gösterir, ancak bunu yapmak için diğer dosyaları değerlendirmez.

   Bir dosyada hata ayıklamayı ve düzenlemeyi bitirdiğinizde Databricks, işlem hattını üretime almadan önce işlem hattının uçtan uca çalıştığını doğrulamak için işlem hattındaki tüm kaynak kodu dosyalarını çalıştırmanızı önerir.

3. Tek bir tablonun kodunu çalıştırma

   Kaynak kod dosyasındaki bir tablonun tanımının yanında, Tabloyu çalıştır simgesine Tablo tıklayın ve açılan listeden Tabloyu yenile veya Tabloyu tam yenileme'yi seçin. Kodu tek bir tablo için çalıştırmak, kodu tek bir dosyada çalıştırmaya benzer yan etkilere sahiptir.

   

   Uyarı

   Tek bir tablo için kodu çalıştırmak, akış tabloları ve gerçekleştirilmiş görünümler için kullanılabilir. Sink'ler ve view'ler desteklenmez.

4. Bir tablo kümesinin kodunu çalıştırma

   Çalıştırılacak tabloların listesini oluşturmak için işlem hattı grafiğinden tabloları seçebilirsiniz. İşlem hattı grafiğindeki tablonun üzerine gelin, tıklayın ve Yenilemek için tablo seç'i seçin. Yenilenecek tabloları seçtikten sonra, işlem hattı grafiğinin alt kısmından Çalıştır veya Tam yenilemeyle çalıştır seçeneklerinden birini belirleyin.

   

5. Seçili kodu çalıştırma

   SQL kodunu seçin ve veriyi somutlaştırmadan çıktıları hızlıca incelemek için Seçili kodu çalıştır seçeneğine tıklayın. Çıktılar, alt paneldeki Sorgu Sonuçları sekmesinde görüntülenir.

İşlem hattı grafiği

İşlem hattındaki tüm kaynak kodu dosyalarını çalıştırdıktan veya doğruladıktan sonra, yönlendirilmiş döngüsel graf (DAG) olarak da adlandırılan işlem hattı grafiğini görürsünüz. Grafikte tablo bağımlılık grafiği gösterilir. İşlem hattı yaşam döngüsü boyunca her düğümün doğrulanmış, çalışıyor veya hata gibi farklı durumları vardır.

1. İşlem hattı grafiği: Alt paneldeki İşlem hattı grafı sekmesine tıklayarak grafiği açın.
2. Düğümler: İşlem hattınızın parçası olan tabloların bağımlılıklarını ve bunlarla ilgili tüm ölçümleri görüntüler. Açık durumdaki dosyaların parçası olan düğümler işlem hattı grafiğinde vurgulanır. Bir düğümün üzerine geldiğinizde, sorguyu yenileme de dahil olmak üzere seçeneklerin bulunduğu bir araç çubuğu görüntülenir. Bir düğüme sağ tıklanması, bağlam menüsünde size aynı seçenekleri sunar. Bir düğüme tıklanması , veri önizlemesini ve tablo tanımını gösterir. Bir dosyayı düzenlediğinizde, bu dosyada tanımlanan tablolar grafikte vurgulanır.
3. Sekmede aç: Grafiği en üst düzeye çıkarmak için alt panelin sağ üst kısmındaki simgeyi seçerek ayrı bir sekmede açın.
4. Diğer seçenekler: Grafiği dikey veya yatay düzende görüntülemek için yakınlaştırma seçenekleri ve Diğer seçenekler de dahil olmak üzere sağ alt kısımda ek seçenekler bulunur.

Veri önizlemeleri

Veri önizleme bölümünde seçili tablo için örnek veriler gösterilir.

İşlem hattı grafiğinde bir düğüme tıkladığınızda tablo verilerinin önizlemesini görürsünüz. Doğrudan alt panelde farklı bir tablonun veri önizlemesine gitmek için Grafiğe geri dön'e tıklayın veya işlem hattı grafiği ayrı bir sekmede açıksa farklı bir düğüme tıklayın.

Alternatif olarak , Tablolar bölümüne gidin ve Veri önizlemesini görüntüle tıklayın. Bir tablo seçtiyseniz , tüm tablolara dönmek için Tüm tablolar'a tıklayın.

Tablo verilerinin önizlemesini görüntüleyebilir, verileri yerinde filtreleyebilir veya sıralayabilirsiniz. Daha karmaşık analizler yapmak istiyorsanız , Keşifler klasöründe (varsayılan klasör yapısını tuttuğunuz varsayılarak) bir not defteri kullanabilir veya oluşturabilirsiniz. Varsayılan olarak, bu klasördeki kaynak kodu işlem hattı güncelleştirmesi sırasında çalıştırılmaz, bu nedenle işlem hattı çıkışını etkilemeden sorgular oluşturabilirsiniz.

Yürütme içgörüleri

En son işlem hattı güncelleştirmesi hakkındaki tablo yürütme içgörülerini düzenleyicinin alt kısmındaki panellerde görebilirsiniz.

Panel	Description
Tables	Durumlarını ve ölçümlerini içeren tüm tabloları listeler. Bir tablo seçerseniz, bu tablonun ölçümlerini ve performansını ve veri önizlemesi için bir sekmeyi görürsünüz. Maddeleştirilmiş görünümler için, Artırım sütunu tablonun nasıl yenilendiğini veya yenileneceğini gösterir ve artırma içgörülerini ortaya çıkarır. Bkz . Artımlılaştırma içgörüleri.
Performance	Bu işlem hattındaki tüm akışlar için sorgu geçmişi ve profilleri. Yürütme sırasında ve sonrasında yürütme ölçümlerine ve ayrıntılı sorgu planlarına erişebilirsiniz. Daha fazla bilgi için bkz. İşlem hatları için erişim sorgu geçmişi .
Sorunlar paneli	İşlem hattıyla ilgili hataların, uyarıların ve içgörülerin basitleştirilmiş görünümü için panele tıklayın. Daha fazla ayrıntı görmek için bir girdiye tıklayın, ardından kodun hatanın oluştuğu yere gidin. Hata şu anda görüntülenen dosya dışında bir dosyadaysa, bu sizi hatanın bulunduğu dosyaya yönlendirir. Tüm ayrıntılar için ilgili olay günlüğü girdisini görmek için Ayrıntıları görüntüle'ye tıklayın. Olay günlüğünün tamamını görmek için Günlükleri görüntüle'ye tıklayın. sorunun hatalarını ayıklamak için Sparkle genie code icon.Hatayı tanıla'ya tıklayın. Genie Code. Kodun belirli bir bölümüyle ilişkili hatalar için koda yapıştırılmış hata göstergeleri gösterilir. Daha fazla ayrıntı almak için hata simgesine tıklayın veya kırmızı çizginin üzerine gelin. Daha fazla bilgi içeren bir açılır pencere görüntülenir. Ardından Hızlı düzeltme'ye tıklayarak hatayı gidermek için bir dizi eylem gösterebilirsiniz.
Olay günlüğü	Son işlem hattı çalıştırması sırasında tetiklenen tüm olaylar. Günlükleri görüntüle'ye veya sorunlar tepsisindeki herhangi bir girdiye tıklayın.

İşlem hattı yapılandırması

İşlem hattınızı işlem hattı düzenleyicisinden yapılandırabilirsiniz. İşlem hattı ayarlarında, zamanlamada veya izinlerde değişiklik yapabilirsiniz.

Bunların her birine düzenleyicinin üst bilgisindeki bir düğmeden veya varlık tarayıcısındaki simgelerden (sol kenar çubuğu) erişilebilir.

• Ayarlar (veya varlık tarayıcısında seçin):

  Genel bilgiler, kök klasör ve kaynak kodu yapılandırması, işlem yapılandırması, bildirimler, gelişmiş ayarlar ve daha fazlası dahil olmak üzere işlem hattı ayarlarını ayarlar panelinden düzenleyebilirsiniz.

• Zamanlama (veya varlık tarayıcısında seçin):

  Zamanlama iletişim kutusundan işlem hattınız için bir veya daha fazla zamanlama oluşturabilirsiniz. Örneğin, günlük olarak çalıştırmak istiyorsanız, bunu burada ayarlayabilirsiniz. İşlem hattını seçtiğiniz zamanlamaya göre çalıştırmak için bir görev oluşturur. Zamanlama iletişim kutusundan yeni bir zamanlama ekleyebilir veya var olan bir zamanlamayı kaldırabilirsiniz.

• Paylaş (ya da, ):

  İşlem hattı izinleri iletişim kutusundan kullanıcılar ve gruplar için işlem hattı izinlerini yönetebilirsiniz.

Olay Günlüğü

İşlem hattının olay günlüğünü Unity Kataloğu'na yayımlayabilirsiniz. Varsayılan olarak, işlem hattınızın olay günlüğü kullanıcı arabiriminde gösterilir ve sahibi tarafından sorgulama için erişilebilir.

1. Ayarlar'ı açın.
2. Sağ ok simgesineGelişmiş ayarlar'ın yanındaki .
3. Gelişmiş ayarları düzenle'ye tıklayın.
4. Olay günlükleri'nin altında Katalogda yayımla'ya tıklayın.
5. Olay günlüğü için bir ad, katalog ve şema sağlayın.
6. Kaydet'e tıklayın.

Boru hattı olaylarınız belirttiğiniz veri tablosunda yayımlanır.

İşlem hattı olay günlüğünü kullanma hakkında daha fazla bilgi edinmek için bkz. Olay günlüğünü sorgulama.

İşlem hattı ortamı

Ayarlar'da bağımlılıklar ekleyerek kaynak kodunuz için bir ortam oluşturabilirsiniz.

1. Ayarlar'ı açın.
2. İşlem hattı ortamı'nın altında Ortamı düzenle'ye tıklayın.
3. Bir dosyaya ekler gibi bağımlılık eklemek için Bağımlılık ekle'yerequirements.txt tıklayın. Bağımlılıklar hakkında daha fazla bilgi için bkz. Not defterine bağımlılık ekleme.

Databricks, sürümü == ile sabitlemenizi önerir. Bkz. PyPI paketi.

Ortam, işlem hattınızdaki tüm kaynak kodu dosyalarına uygulanır.

Bildirimler

İşlem hattı ayarlarını kullanarak bildirim ekleyebilirsiniz.

1. Ayarlar'ı açın.
2. Bildirimler bölümünde Bildirim ekle'ye tıklayın.
3. Bir veya daha fazla e-posta adresi ve gönderilmesini istediğiniz olayları ekleyin.
4. Bildirim ekle'ye tıklayın .

Uyarı

Python olay kancalarını kullanarak bildirimler veya özel işleme dahil olmak üzere olaylara özel yanıtlar oluşturun.

İşlem hatlarını izleme

Azure Databricks, çalışan işlem hatlarını izlemeye yönelik özellikler de sağlar. Düzenleyici, son çalıştırma hakkındaki sonuçları ve işlem içgörülerini gösterir. Verimli bir şekilde yineleme yapmanıza yardımcı olmak üzere işlem hattınızı etkileşimli olarak geliştirirken optimize edilmiştir.

İşlem hattı izleme sayfası, geçmiş çalıştırmaları görüntülemenize olanak tanır. Bu, bir işlem hattı, "Job" adı verilen bir iş kullanarak zamanlamalı bir şekilde çalışırken yararlıdır.

Uyarı

Varsayılan bir izleme deneyimi ve güncelleştirilmiş bir önizleme izleme deneyimi vardır. Aşağıdaki bölümde önizleme izleme deneyiminin nasıl etkinleştirileceği veya devre dışı bırakıldığı açıklanmaktadır. Her iki deneyim hakkında bilgi için bkz. Kullanıcı arabiriminde işlem hatlarını izleme.

İzleme deneyimi, çalışma alanınızın sol tarafındaki İşler ve İşlem Hatları düğmesinden kullanılabilir. Ayrıca, pipeline varlık tarayıcısında çalıştırma sonuçlarına tıklayarak düzenleyiciden doğrudan izleme sayfasına atlayabilirsiniz.

İzleme sayfası hakkında daha fazla bilgi için bkz. Kullanıcı arabiriminde işlem hatlarını izleme. İzleme UI'ı, kullanıcı arabiriminin üst kısmından İşlem hattını düzenle seçeneğini seçerek Lakeflow Pipelines Düzenleyicisi'ne geri dönme özelliğini içerir.

İşlem hattı geliştirme için Genie Code

Önemli

Bu özellik Genel Önizleme aşamasındadır.

Lakeflow Pipelines Düzenleyicisi, doğal dil komutlarından doğrudan pipeline’ların tamamını oluşturabilen, değiştirebilen ve hata ayıklayabilen Genie Code ile entegre çalışır. Daha fazla bilgi için bkz. İşlem hattı geliştirme için Genie Code kullanma.

Sınırlamalar ve bilinen sorunlar

ETL işlem hattı düzenleyicisi için aşağıdaki sınırlamalara ve bilinen sorunlara bakın:

1. Bu dosyalar veya not defterleri işlem hattı kaynak kodu tanımının bir parçası olmadığından, klasör veya not defterinde bir dosya explorations açarak başlarsanız çalışma alanı tarayıcı kenar çubuğu işlem hattına odaklanmaz.

   Çalışma alanı tarayıcısında işlem hattı odak moduna girmek için işlem hattıyla ilişkilendirilmiş bir dosya açın.

2. Veri önizlemeleri normal görünümler için desteklenmez.

3. Python modülleri, kök klasörünüzde veya sys.pathüzerinde olsalar bile UDF'nin içinden bulunmaz. UDF'nin içinden yolunu ekleyerek bu modüllere sys.path erişebilirsiniz, örneğin: sys.path.append(os.path.abspath(“/Workspace/Users/path/to/modules”))

4. %pip install dosyalardan (yeni düzenleyici ile varsayılan varlık türü) desteklenmez. Ayarlarda bağımlılıklar ekleyebilirsiniz. Bkz. İşlem hattı ortamı.

   Alternatif olarak, %pip install kullanmaya, işlem hattına ait bir not defterinin kaynak kodu tanımında, devam edebilirsiniz.

FAQ

1. Neden kaynak kodu için not defterlerini değil de dosyaları kullanmalısınız?

   Not defterlerinin hücre tabanlı yürütmesi işlem hatları ile uyumlu değildir. İşlem hatlarıyla çalışırken not defterlerinin standart özellikleri devre dışı bırakılır veya değiştirilir ve bu da not defteri davranışı hakkında bilgi sahibi olan kullanıcıların kafa karışıklığına neden olur.

   Lakeflow Pipelines Düzenleyicisi'nde dosya düzenleyicisi, işlem hatları için birinci sınıf bir düzenleyicinin temeli olarak kullanılır. Özellikler, bilindik özellikleri farklı davranışlarla aşırı yüklemek yerine Tabloyu Çalıştır gibi işlem hatlarına yöneliktir.

2. Kaynak kod olarak not defterlerini kullanmaya devam edebilir miyim?

   Evet, kaydolabilirsiniz. Ancak, Tabloyu Çalıştır Tablo veya Çalıştır dosyası gibi bazı özellikler mevcut değildir.

   Not defterlerini kullanan bir işlem hattınız varsa, bu işlem hattı yeni düzenleyicide çalışmaya devam eder. Ancak Databricks, yeni işlem hatları için dosyalara geçiş yapmanızı önerir.

3. Yeni oluşturulan bir İşlem Hattına mevcut kodu nasıl ekleyebilirim?

   Mevcut kaynak kodu dosyalarını yeni bir işlem hattına ekleyebilirsiniz. Var olan dosyaları içeren bir klasör eklemek için şu adımları izleyin:

   1. Ayarlar'a tıklayın.
   2. Kaynak kodu altında Yolları yapılandır'a tıklayın.
   3. Yol ekle'ye tıklayın ve var olan dosyalar için klasörü seçin.
   4. Kaydet'e tıklayın.

   Ayrıca tek tek dosyalar da ekleyebilirsiniz:

   1. İşlem hattı varlık tarayıcısında Tüm dosyalar'a tıklayın.
   2. Dosyanıza gidin, tıklayın ve işlem hattına ekle'ye tıklayın.

   Bu dosyaları işlem hattı kök klasörüne taşımayı göz önünde bulundurun. İşlem hattı kök klasörünün dışında bırakılırsa, Bunlar Dış dosyalar bölümünde gösterilir.

4. Pipeline kaynak kodunu Git'te yönetebilir miyim?

   İşlem hattını ilk kez oluştururken bir Git klasörü seçerek Git'te işlem hattı kaynağınızı yönetebilirsiniz.

   Uyarı

   Git klasöründe kaynağınızı yönetmek, kaynak kodunuz için sürüm denetimi ekler. Ancak, yapılandırmanızı sürüm denetimi için Databricks, Git'te (veya başka bir sürüm denetim sisteminde) depolanabilen paket yapılandırma dosyalarında işlem hattı yapılandırmasını tanımlamak için Bildirim temelli Otomasyon Paketleri'nin kullanılmasını önerir. Daha fazla bilgi için bkz. Bildirim temelli Otomasyon Paketleri nedir?.

   İşlem hattını başlangıçta bir Git klasöründe oluşturmadıysanız, kaynağınızı bir Git klasörüne taşıyabilirsiniz. Databricks, kök klasörün tamamını bir Git klasörüne taşımak için düzenleyici eyleminin kullanılmasını önerir. Bu, tüm ayarları uygun şekilde güncelleştirir. Bakınız Kök klasör.

   Kök klasörü işlem hattı varlık tarayıcısında bir Git klasörüne taşımak için:

   1. Kök klasör için tıklayın.
   2. Kök klasörünü taşı butonuna tıklayın.
   3. Kök klasörünüz için yeni bir konum seçin ve Taşı'ya tıklayın.

   Daha fazla bilgi için Kök klasör bölümüne bakın.

   Taşıma sonrasında kök klasörünüzün adının yanında tanıdık Git simgesini görürsünüz.

   Önemli

   İşlem hattı kök klasörünü taşımak için işlem hattı varlık tarayıcısını ve yukarıdaki adımları kullanın. Başka bir şekilde taşımak işlem hattı yapılandırmalarını bozar ve Ayarlar'da doğru klasör yolunu el ile yapılandırmanız gerekir.

5. Aynı kök klasörde birden fazla Boru Hattı bulundurabilir miyim?

   Bunu yapabilirsiniz, ancak Databricks kök klasör başına yalnızca tek bir İşlem Hattı'nın olmasını önerir.

6. Ne zaman bir deneme çalışması yapmalıyım?

   Tabloları güncelleştirmeden kodunuzu denetlemek için Kuru çalıştır'a tıklayın.

7. Geçici Görünümleri ve Materyalize Görünümleri kodumda ne zaman kullanmalıyım?

   Verileri kalıcı hale getirmek istemediğinizde geçici görünümleri kullanın. Örneğin, bu, katalogda kayıtlı bir akış tablosu veya gerçekleştirilmiş görünüm kullanılarak verilerin somutlaşmaya hazır hale gelmeden önce hazırlık sürecinde izlenen belirli bir adımlar dizisidir.