Expectations

Bu sayfada, pipeline beklentilerine yönelik Python başvuru belgeleri yer alır.

Beklenti dekoratörleri materyalize edilmiş görünümlerde, akış tablolarında veya işlem hattında oluşturulan geçici görünümlerde veri kalitesi sınırlamalarını bildirir.

Modül, dp beklentilerin davranışını denetlemek için altı dekoratör içerir. Aşağıdaki tabloda, bu permütasyonların farklı olduğu boyutlar açıklanmaktadır:

Davranış	Options
İhlal eylemi	Satırı hedef veri kümesine ekleyin. Geçerli ve geçersiz kayıtların sayısı diğer veri kümesi ölçümleriyle birlikte günlüğe kaydedilir. Hedef veri kümesine yazmadan önce satırı bırakın. Bırakılan kayıtların sayısı diğer veri kümesi ölçümleriyle birlikte günlüğe kaydedilir. Güncelleştirmeyi hemen durdurun. Bu beklenti tek bir akışın başarısız olmasına neden olur ve işlem hattınızdaki diğer akışların başarısız olmasına neden olmaz.
Beklenti sayısı	Tek bir beklenti veya birden çok beklenti.

Veri kümelerinize birden fazla beklenti dekoratörü ekleyebilirsiniz. Bu, veri kalitesi kısıtlamalarınızda esneklik sağlar.

Dekoratörleri kullandığınızda expect_all , her beklentinin kendi açıklaması vardır ve ayrıntılı ölçümleri raporlar.

Sözdizimi

Aşağıdaki örnekte olduğu gibi, beklenti dekoratörleri bir @dp.table(), @dp.materialized_view veya @dp.temporary_view() dekoratörden sonra ve veri kümesi tanımı işlevinden önce gelir:

from pyspark import pipelines as dp

@dp.table()
@dp.expect(description, constraint)
@dp.expect_or_drop(description, constraint)
@dp.expect_or_fail(description, constraint)
@dp.expect_all({description: constraint, ...})
@dp.expect_all_or_drop({description: constraint, ...})
@dp.expect_all_or_fail({description: constraint, ...})
def <function-name>():
    return (<query>)

Parametreler

Parametre	Türü	Description
description	str	Gerekli. Kısıtlamayı tanımlayan bir açıklama. Kısıtlama açıklamaları her veri kümesi için benzersiz olmalıdır.
constraint	str	Gerekli. Constraint yan tümcesi, her kayıt için true veya false olarak değerlendirilmesi gereken bir SQL koşullu deyimidir. Kısıtlama, doğrulanan şeyin gerçek mantığını içerir. Bir kayıt bu koşulda başarısız olduğunda, beklenti tetikler.

expect_all Dekoratörler, açıklama ve kısıtlamaların anahtar-değer çiftleri olarak dict geçirilmesini gerektirir.