Expectations

Halaman ini berisi dokumentasi referensi Python untuk ekspektasi alur.

Dekorator ekspektasi menyatakan batasan kualitas data pada tampilan materialisasi, tabel streaming, atau tampilan sementara yang dibuat dalam pipeline.

Modul dp mencakup enam dekorator untuk mengontrol perilaku ekspektasi. Tabel berikut ini menjelaskan dimensi di mana permutasi ini berbeda:

Perilaku	Opsi
Tindakan atas pelanggaran	Sertakan baris dalam himpunan data target. Jumlah rekaman yang valid dan tidak valid dicatat bersama metrik himpunan data lainnya. Jatuhkan baris sebelum menulis ke himpunan data target. Jumlah rekaman yang dihilangkan dicatat bersama metrik himpunan data lainnya. Segera hentikan pembaruan. Ekspektasi ini menyebabkan kegagalan satu alur dan tidak menyebabkan alur lain di pipeline Anda gagal.
Jumlah ekspektasi	Satu ekspektasi atau beberapa harapan.

Anda dapat menambahkan beberapa dekorator ekspektasi ke himpunan data Anda, memberikan fleksibilitas dalam tingkat keketatan kendala kualitas data Anda.

Saat Anda menggunakan expect_all dekorator, setiap ekspektasi memiliki deskripsinya sendiri dan melaporkan metrik terperinci.

Syntax

Dekorator ekspektasi datang setelah @dp.table(), @dp.materialized_view atau @dp.temporary_view() dekorator dan sebelum fungsi definisi himpunan data, seperti dalam contoh berikut:

from pyspark import pipelines as dp

@dp.table()
@dp.expect(description, constraint)
@dp.expect_or_drop(description, constraint)
@dp.expect_or_fail(description, constraint)
@dp.expect_all({description: constraint, ...})
@dp.expect_all_or_drop({description: constraint, ...})
@dp.expect_all_or_fail({description: constraint, ...})
def <function-name>():
    return (<query>)

Parameter-parameternya

Pengaturan	Tipe	Description
description	str	Dibutuhkan. Deskripsi yang mengidentifikasi batasan. Deskripsi batasan harus unik untuk setiap himpunan data.
constraint	str	Dibutuhkan. Klausa batasan adalah pernyataan kondisional SQL yang harus mengevaluasi ke true atau false untuk setiap rekaman. Batasan berisi logika aktual untuk apa yang sedang divalidasi. Ketika rekaman gagal dalam kondisi ini, harapan dipicu.

Dekorator expect_all memerlukan deskripsi dan batasan untuk diteruskan sebagai dict pasangan kunci-nilai.