Azure Databricks を使用してデータ品質制約を実装および管理する
中級
データ エンジニア
Azure Databricks
このモジュールでは、Azure Databricks で高いデータ品質を維持するための戦略について説明します。 検証チェックを実装し、スキーマを適用し、スキーマの誤差を管理し、パイプラインの期待を使用してデータ パイプライン全体のデータ整合性を確保する方法について説明します。
学習の目的
このモジュールを終了すると、次のことができるようになります。
- null 値の許容性、カーディナリティ、および範囲制約に対する検証を実装する
- スキーマ強制と明示的キャストを使用してデータ型チェックを実装する
- 自動ローダーと Delta Lake を使用してスキーマを適用し、スキーマの誤差を管理する
- Lakeflow パイプラインにおけるパイプラインの期待値を使用してデータ品質を管理する
前提条件
次の前提条件を満たす必要があります。
- Azure Databricks ワークスペースと Unity カタログの基本的な理解
- SQL とデータ エンジニアリングの概念に関する知識