Menerapkan dan mengelola batasan kualitas data dengan Azure Databricks

  • Modul
  • 8 Unit-unit
Menengah
Teknisi Data
Azure Databricks

Modul ini mengeksplorasi strategi untuk mempertahankan kualitas data tinggi di Azure Databricks. Anda akan mempelajari cara menerapkan pemeriksaan validasi, memberlakukan skema, mengelola penyimpangan skema, dan menggunakan ekspektasi alur untuk memastikan integritas data di seluruh alur data Anda.

Tujuan pembelajaran

Pada akhir modul ini, Anda akan dapat:

  • Menerapkan pengecekan validasi untuk batasan nullability, kardinalitas, dan rentang
  • Menerapkan pengecekan tipe data menggunakan penerapan skema dan pengubahan tipe secara eksplisit
  • Menerapkan skema dan mengelola penyimpangan skema menggunakan Auto Loader dan Delta Lake
  • Mengelola kualitas data menggunakan ekspektasi pipeline di alur Lakeflow

Prasyarat

Prasyarat berikut harus diselesaikan:

  • Pemahaman dasar tentang ruang kerja Azure Databricks dan Katalog Unity
  • Keakraban dengan konsep SQL dan rekayasa data
Mulai