Implementowanie ograniczeń jakości danych i zarządzanie nimi za pomocą usługi Azure Databricks
Średni
Inżynier danych
Azure Databricks
W tym module przedstawiono strategie utrzymania wysokiej jakości danych w usłudze Azure Databricks. Dowiesz się, jak zaimplementować sprawdzenia poprawności, egzekwować schematy, zarządzać dryfem schematów i używać oczekiwań wobec potoków, aby zapewnić integralność danych w całych potokach danych.
Cele szkolenia
Po ukończeniu tego modułu będziesz wiedzieć, jak wykonać następujące czynności:
- Wdrożenie sprawdzania poprawności pod kątem ograniczeń nulowalności, kardynalności i zakresu
- Wprowadzenie kontroli typów danych przy użyciu wymuszania schematu i jawnego rzutowania
- Wymuszanie schematu i zarządzanie dryfem schematu przy użyciu automatycznego modułu ładującego i usługi Delta Lake
- Zarządzanie jakością danych przy użyciu oczekiwań potoku w potokach Lakeflow
Wymagania wstępne
Należy wykonać następujące wymagania wstępne:
- Podstawowa wiedza na temat obszarów roboczych usługi Azure Databricks i katalogu Unity Catalog
- Znajomość pojęć związanych z językiem SQL i inżynierią danych