Delta Live Tables işlem hattında güncelleştirme çalıştırma

Bu makalede Delta Live Tables işlem hattı güncelleştirmesinin ne olduğu ve nasıl çalıştırılacakları açıklanmaktadır.

İşlem hattı oluşturduktan ve çalıştırmaya hazır olduktan sonra bir güncelleştirme başlatırsınız. İşlem hattı güncelleştirmesi aşağıdakileri yapar:

• Doğru yapılandırmaya sahip bir küme başlatır.
• Tüm tanımlı tabloları ve görünümleri bulur ve geçerli sütun adları, eksik bağımlılıklar ve söz dizimi hataları gibi analiz hatalarını denetler.
• Kullanılabilir en son verilerle tabloları ve görünümleri oluşturur veya güncelleştirir.

Doğrulama güncelleştirmesi kullanarak, tabloların oluşturulmasını veya güncelleştirilmeyi beklemeden işlem hattının kaynak kodundaki sorunları de kontrol edebilirsiniz. Bu özellik, işlem hattınızdaki yanlış tablo veya sütun adları gibi hataları hızla bulup düzeltmenize olanak sağladığından işlem hatlarını geliştirirken veya test ederken kullanışlıdır.

İşlem hattı oluşturmayı öğrenmek için bkz . Öğretici: İlk Delta Live Tables işlem hattınızı çalıştırma.

İşlem hattı güncelleştirmesini başlatma

Azure Databricks'in işlem hattı güncelleştirmelerini başlatmak için aşağıdakiler de dahil olmak üzere çeşitli seçenekleri vardır:

• Delta Live Tables kullanıcı arabiriminde aşağıdaki seçeneklere sahipsiniz:
  • İşlem hattı ayrıntıları sayfasındaki düğmeye tıklayın.
  • İşlem hatları listesinde Eylemler sütununa tıklayın.
• Not defterinde güncelleştirme başlatmak için, not defteri araç çubuğunda Delta Live Tablolar > Başlat'a tıklayın. Bkz. Not defterinden Delta Live Tables işlem hattını açma veya çalıştırma.
• API veya CLI kullanarak işlem hatlarını program aracılığıyla tetikleyebilirsiniz. Bkz. _.
• Delta Live Tables kullanıcı arabirimini veya iş kullanıcı arabirimini kullanarak işlem hattını iş olarak zamanlayabilirsiniz. Bkz. İşlem hattı zamanlama.

Not

Bu yöntemlerden herhangi birini kullanarak el ile tetiklenen işlem hattı güncelleştirmeleri için varsayılan davranış tümünü yenilemektir.

Delta Live Tabloları tabloları ve görünümleri nasıl güncelleştirir?

Güncelleştirilen tablolar ve görünümler ile bu tablo ve görünümlerin güncelleştirilme şekli, güncelleştirme türüne bağlıdır:

• Tümünü yenile: Tüm tablolar, giriş veri kaynaklarının geçerli durumunu yansıtacak şekilde güncelleştirilir. Akış tabloları için tabloya yeni satırlar eklenir.
• Tümünü tam yenileme: Tüm tablolar, giriş veri kaynaklarının geçerli durumunu yansıtacak şekilde güncelleştirilir. Delta Live Tables, akış tablolarında her tablodaki tüm verileri temizlemeyi ve ardından akış kaynağındaki tüm verileri yüklemeyi dener.
• Yenileme seçimi: öğesinin refresh selection davranışı ile aynıdır refresh all , ancak yalnızca seçili tabloları yenilemenize olanak tanır. Seçili tablolar, giriş veri kaynaklarının geçerli durumunu yansıtacak şekilde güncelleştirilir. Akış tabloları için tabloya yeni satırlar eklenir.
• Tam yenileme seçimi: davranışı full refresh selection ile aynıdır full refresh all , ancak yalnızca seçili tabloların tam yenilemesini gerçekleştirmenize olanak tanır. Seçili tablolar, giriş veri kaynaklarının geçerli durumunu yansıtacak şekilde güncelleştirilir. Akış tabloları için Delta Live Tables, her tablodaki tüm verileri temizlemeyi ve ardından akış kaynağındaki tüm verileri yüklemeyi dener.

Mevcut gerçekleştirilmiş görünümler için güncelleştirme, gerçekleştirilmiş görünümdeki SQL REFRESH ile aynı davranışa sahiptir. Yeni gerçekleştirilmiş görünümler için davranış, SQL CREATE işlemiyle aynıdır.

Seçili tablolar için işlem hattı güncelleştirmesi başlatma

İsteğe bağlı olarak yalnızca işlem hattınızdaki seçili tablolar için verileri yeniden işleyebilirsiniz. Örneğin, geliştirme sırasında yalnızca tek bir tabloyu değiştirir ve test süresini kısaltmak istersiniz veya işlem hattı güncelleştirmesi başarısız olur ve yalnızca başarısız tabloları yenilemek istersiniz.

Not

Seçmeli yenilemeyi yalnızca tetiklenen işlem hatlarıyla kullanabilirsiniz.

Yalnızca seçili tabloları yenileyen bir güncelleştirme başlatmak için İşlem hattı ayrıntıları sayfasında:

1. Yenileme için tablo seç'e tıklayın. Yenileme için tabloları seçin iletişim kutusu görüntülenir.

   Yenileme için tabloları seç düğmesini görmüyorsanız İşlem hattı ayrıntıları sayfasında en son güncelleştirmenin görüntülendiğini ve güncelleştirmenin tamamlandığını onaylayın. Örneğin, güncelleştirme başarısız olduğundan en son güncelleştirme için bir DAG gösterilmiyorsa Yenileme için tabloları seç düğmesi görüntülenmez.

2. Yenilenmesi gereken tabloları seçmek için her tabloya tıklayın. Seçili tablolar vurgulanır ve etiketlenir. Bir tabloyu güncelleştirmeden kaldırmak için tabloya yeniden tıklayın.

3. Seçimi yenile'ye tıklayın.

   Not

   Seçimi yenile düğmesi, seçili tabloların sayısını parantez içinde görüntüler.

Seçili tablolar için zaten alınmış olan verileri yeniden işlemek için Seçimi yenile düğmesinin yanındaki öğesine tıklayın ve Tam Yenileme seçimi'ne tıklayın.

Başarısız tablolar için işlem hattı güncelleştirmesi başlatma

İşlem hattı grafiğindeki bir veya daha fazla tablodaki hatalar nedeniyle işlem hattı güncelleştirmesi başarısız olursa, yalnızca başarısız tabloların ve aşağı akış bağımlılıklarının güncelleştirmesini başlatabilirsiniz.

Not

Dışlanan tablolar, başarısız bir tabloya bağlı olsalar bile yenilenmez.

Başarısız tabloları güncelleştirmek için İşlem hattı ayrıntıları sayfasında Başarısız tabloları yenile'ye tıklayın.

Yalnızca seçili başarısız tabloları güncelleştirmek için:

1. Başarısız tabloları yenile düğmesinin yanına tıklayın ve Yenileme için tabloları seç'e tıklayın. Yenileme için tabloları seçin iletişim kutusu görüntülenir.

2. Yenilenmesi gereken tabloları seçmek için her tabloya tıklayın. Seçili tablolar vurgulanır ve etiketlenir. Bir tabloyu güncelleştirmeden kaldırmak için tabloya yeniden tıklayın.

3. Seçimi yenile'ye tıklayın.

   Not

   Seçimi yenile düğmesi, seçili tabloların sayısını parantez içinde görüntüler.

Seçili tablolar için zaten alınmış olan verileri yeniden işlemek için Seçimi yenile düğmesinin yanındaki öğesine tıklayın ve Tam Yenileme seçimi'ne tıklayın.

Tabloların güncelleştirilesini beklemeden işlem hattında hata olup olmadığını denetleme

Önemli

Delta Live Tables Validate güncelleştirme özelliği Genel Önizleme aşamasındadır.

tam güncelleştirme çalıştırmadan işlem hattının kaynak kodunun geçerli olup olmadığını denetlemek için Doğrula'yı kullanın. Güncelleştirme Validate , işlem hattında tanımlanan veri kümelerinin ve akışların tanımlarını çözümler ancak hiçbir veri kümesini gerçekleştirmez veya yayımlamaz. Doğrulama sırasında bulunan yanlış tablo veya sütun adları gibi hatalar kullanıcı arabiriminde bildirilir.

Bir Validate güncelleştirmeyi çalıştırmak için Başlat'ın yanındaki işlem hattı ayrıntıları sayfasına tıklayın ve Doğrula'ya tıklayın.

Validate Güncelleştirme tamamlandıktan sonra olay günlüğü yalnızca güncelleştirmeyle Validate ilgili olayları gösterir ve DAG'de hiçbir ölçüm görüntülenmez. Hatalar bulunursa, ayrıntılar olay günlüğünde kullanılabilir.

Yalnızca en son Validate güncelleştirmenin sonuçlarını görebilirsiniz. Validate Güncelleştirme en son çalıştırılan güncelleştirmeyse, güncelleştirme geçmişinde seçerek sonuçları görebilirsiniz. Güncelleştirmeden Validate sonra başka bir güncelleştirme çalıştırılırsa sonuçlar artık kullanıcı arabiriminde kullanılamaz.

İşlem hattı sınırlarını seçme

Delta Live Tables işlem hattı, tek bir tabloya, bağımlı ilişkileri olan birçok tabloya, ilişkisi olmayan birçok tabloya veya bağımlı ilişkileri olan birden çok bağımsız tablo akışına yönelik güncelleştirmeleri işleyebilir. Bu bölüm, işlem hatlarınızı nasıl ayıracaklarını belirlemeye yardımcı olacak önemli noktalar içerir.

Daha büyük Delta Live Tables işlem hatlarının çeşitli avantajları vardır. Bunlar aşağıdakileri içerir:

• Küme kaynaklarını daha verimli kullanın.
• Çalışma alanınızdaki işlem hattı sayısını azaltın.
• İş akışı düzenlemenin karmaşıklığını azaltın.

İşlem hatlarının nasıl bölünmesi gerektiğine ilişkin bazı yaygın öneriler şunlardır:

• İşlevleri ekip sınırlarında bölün. Örneğin, veri ekibiniz verileri dönüştürmek için işlem hatlarını korurken veri analistleriniz dönüştürülen verileri analiz eden işlem hatlarını koruyabilir.
• Bağlamayı azaltmak ve ortak işlevlerin yeniden kullanımını kolaylaştırmak için uygulamaya özgü sınırlarda işlevselliği bölün.

Geliştirme ve üretim modları

Geliştirme ve üretim modları arasında geçiş yaparak işlem hattı yürütmeyi iyileştirebilirsiniz. Bu iki mod arasında geçiş yapmak için İşlem Hatları kullanıcı arabirimindeki düğmeleri kullanın. İşlem hatları varsayılan olarak geliştirme modunda çalışır.

İşlem hattınızı geliştirme modunda çalıştırdığınızda Delta Live Tables sistemi aşağıdakileri yapar:

• Yeniden başlatmaların yükünü önlemek için kümeyi yeniden kullanılır. Varsayılan olarak, geliştirme modu etkinleştirildiğinde kümeler iki saat boyunca çalışır. Bunu Delta Live Tables işlem hattı için işlem yapılandırma ayarıyla pipelines.clusterShutdown.delay değiştirebilirsiniz.
• İşlem hattı yeniden denemelerini devre dışı bırakır, böylece hataları hemen algılayabilir ve düzeltebilirsiniz.

Üretim modunda Delta Live Tables sistemi aşağıdakileri yapar:

• Bellek sızıntıları ve eski kimlik bilgileri de dahil olmak üzere belirli kurtarılabilir hatalar için kümeyi yeniden başlatır.
• Küme başlatma hatası gibi belirli hatalar durumunda yürütmeyi yeniden denenir.

Not

Geliştirme ve üretim modları arasında geçiş yapmak yalnızca küme ve işlem hattı yürütme davranışını denetler. Yayımlama tabloları için katalogdaki depolama konumları ve hedef şemalar işlem hattı ayarlarının bir parçası olarak yapılandırılmalıdır ve modlar arasında geçiş yaparken etkilenmez.

İşlem hattı zamanlama

Tetiklenen işlem hattını el ile başlatabilir veya azure databricks işiyle bir zamanlamaya göre işlem hattını çalıştırabilirsiniz. Doğrudan Delta Live Tables kullanıcı arabiriminde tek bir işlem hattı göreviyle iş oluşturabilir ve zamanlayabilir veya işler kullanıcı arabirimindeki çok görevli iş akışına bir işlem hattı görevi ekleyebilirsiniz. İşler için bkz. Delta Live Tables işlem hattı görevi.

Delta Live Tables kullanıcı arabiriminde tek görevli bir iş ve iş için zamanlama oluşturmak için:

1. Zamanlama Zamanlama > Zamanlama'ya tıklayın. İşlem hattı bir veya daha fazla zamanlanmış işe dahil edilmişse, Zamanlama düğmesi mevcut zamanlamaların sayısını gösterecek şekilde güncelleştirilir( örneğin, Zamanlama (5)).
2. İş adı alanına proje için bir ad girin.
3. Zamanlamayı Zamanlandı olarak ayarlayın.
4. Dönemi, başlangıç saatini ve saat dilimini belirtin.
5. İşlem hattı başlatma, başarı veya hata uyarılarını almak için bir veya daha fazla e-posta adresi yapılandırın.
6. Oluştur’a tıklayın.