Lakeflow işlem hattı akışlarıyla verileri artımlı olarak yükleme ve işleme

Veriler, veri işleme hatları üzerinden akan akışlarla işlenir. Her akış bir sorgudan ve genellikle bir hedeflerden oluşur. Veri akışı, sorguyu ya toplu işlem olarak ya da veri akışı biçiminde hedefe artımlı olarak işler. Akış, Lakeflow işlem hattı içinde yer alır.

Genellikle, bir hedefi güncelleştiren bir işlem hattında sorgu oluşturduğunuzda akışlar otomatik olarak tanımlanır, ancak birden çok kaynaktan tek bir hedefe ekleme gibi daha karmaşık işlemler için açıkça ek akışlar tanımlayabilirsiniz.

Güncelleştirmeler

Bir akış, tanımlama işlem hattı her güncelleştirildiğinde çalıştırılır. Akış, kullanılabilir en son verileri içeren tablolar oluşturur veya güncelleştirir. Akışın türüne ve verilerdeki değişikliklerin durumuna bağlı olarak, güncelleştirme yalnızca yeni kayıtları işleyen veya veri kaynağındaki tüm kayıtları yeniden işleyen bir tam yenileme gerçekleştiren artımlı yenileme gerçekleştirebilir.

Varsayılan akışlar ve ekleme akışları

Bir hedefi güncelleştiren bir işlem hattında sorgu oluşturduğunuzda , varsayılan akış otomatik olarak tanımlanır. Akış tablosu için varsayılan akış, her güncelleştirmeye yeni satırlar ekleyen bir ekleme akışıdır ve hedefle aynı ada sahiptir. Tek adımda akış ve hedefi oluşturmak, işlem hatlarını kullanmanın en yaygın yoludur ve verileri almak veya dönüştürmek için bunu kullanabilirsiniz.

Ayrıca, birden çok akışın tek bir hedefe veri eklemesine olanak tanıyan akışları bir hedeften ayrı olarak da tanımlayabilirsiniz. Bu, şunlar gerektiğinde kullanışlıdır:

  • Tam yenileme gerektirmeden mevcut bir akış tablosuna veri ekleyen akış kaynaklarını ekleyin.
  • Geçmiş verileri eksik olan bir akış tablosunu yedekleyin.
  • UNION yan tümcesini kullanmadan birden çok kaynaktan gelen verileri birleştirin.

Varsayılan ve açık akış oluşturma örnekleri için bkz. Lakeflow işlem hatlarında akışları kullanma.

Akış türleri

Akış tabloları ve maddileşmiş görünümler için varsayılan akışlar ekleme akışlarıdır. Değişiklik verisini yakalama (change data capture) kaynaklarından okumak için de akışlar oluşturabilirsiniz. Aşağıdaki tabloda farklı akış türleri açıklanmaktadır.

Akış türü Açıklama
Ekle Ekleme akışları, kaynaktaki yeni kayıtların her güncelleştirmeyle hedefe yazıldığı en yaygın akış türüdür. Yapılandırılmış akıştaki ekleme moduna karşılık gelir. Tamamen yenilenmediği sürece, verilerin hedefe yalnızca bir kez eklenmesini belirten toplu iş sorgusu bayrağını ONCE ekleyebilirsiniz. Birden fazla ekleme akışı belirli bir hedefe yazabilir.
Varsayılan akışlar (hedef akış tablosuyla veya gerçekleştirilmiş görünümlerle oluşturulur) hedefle aynı adı alır. Diğer hedeflerin varsayılan akışları yoktur.
Otomatik CDC (önceden değişiklikleri uygula) Otomatik CDC akışı, değişiklik verileri yakalama (CDC) verilerini içeren bir sorguyu alır. Otomatik CDC akışları yalnızca akış tablolarını hedefleyebilir ve kaynak mutlaka bir akış kaynağı olmalıdır (bu durum ONCE akışları için de geçerlidir). Birden fazla otomatik CDC akışı tek bir akış tablosunu hedefleyebilir. Otomatik CDC akışı için hedef işlevi gören bir akış tablosu yalnızca diğer otomatik CDC akışları tarafından hedeflenebilir.
CDC verileri hakkında daha fazla bilgi için bkz . AUTO CDC API'leri: İşlem hatlarıyla değişiklik verilerini yakalamayı basitleştirme.
Güncelleştirme (Genel Önizleme) Güncelleme akışları, genel, filigransız akış toplulaştırmalarının çıktısını bir hedefe aktarır ve her toplu işlemde yalnızca değişen kayıtları iletir.
Güncelleme akışları yalnızca Python'da kullanılabilir. Bkz. update_flow.

Ek kaynaklar

Akışlar ve bunların kullanımı hakkında daha fazla bilgi için aşağıdaki konulara bakın:

  • Last updated on