Expectations

Cette page contient la documentation de référence Python pour les attentes de pipeline.

Les décorateurs d'attentes déclarent des contraintes de qualité des données sur les vues matérialisées, les tables de flux, ou les vues temporaires créées dans un pipeline.

Le dp module comprend six décorateurs pour contrôler le comportement des attentes. Le tableau suivant décrit les dimensions sur lesquelles ces permutations diffèrent :

Comportement	Options
Action en cas de violation	Incluez la ligne dans le jeu de données cible. Le nombre d’enregistrements valides et non valides est enregistré en même temps que d’autres métriques de jeu de données. Supprimez la ligne avant d’écrire dans le jeu de données cible. Le nombre d’enregistrements supprimés est enregistré en même temps que d’autres métriques de jeu de données. Arrêtez immédiatement la mise à jour. Cette attente entraîne une défaillance d’un flux unique et n’entraîne pas l’échec d’autres flux dans votre pipeline.
Nombre d’attentes	Une attente unique ou plusieurs attentes.

Vous pouvez ajouter plusieurs décorateurs d'attentes à vos jeux de données afin d'offrir plus de souplesse dans le niveau de rigueur de vos contraintes de qualité des données.

Lorsque vous utilisez les décorateurs expect_all, chaque expectation a sa propre description et signale des métriques granulaires.

Syntaxe

Les décorateurs d'attentes viennent après un décorateur @dp.table(), @dp.materialized_view ou @dp.temporary_view(), et avant une fonction de définition de jeu de données, comme dans l’exemple suivant :

from pyspark import pipelines as dp

@dp.table()
@dp.expect(description, constraint)
@dp.expect_or_drop(description, constraint)
@dp.expect_or_fail(description, constraint)
@dp.expect_all({description: constraint, ...})
@dp.expect_all_or_drop({description: constraint, ...})
@dp.expect_all_or_fail({description: constraint, ...})
def <function-name>():
    return (<query>)

Paramètres

Paramètre	Type	Descriptif
description	str	Obligatoire. Description qui identifie la contrainte. Les descriptions des contraintes doivent être uniques pour chaque jeu de données.
constraint	str	Obligatoire. La clause de contrainte est une instruction conditionnelle SQL qui doit évaluer true ou false pour chaque enregistrement. La contrainte contient la logique réelle pour ce qui est validé. Lorsqu’un enregistrement échoue dans cette condition, l’attente est déclenchée.

Les expect_all décorateurs nécessitent des descriptions et des contraintes à passer sous forme de dict paires clé-valeur.