Wprowadzenie
Dane pierwotne rzadko docierają w formacie gotowym do analizy. Brakujące wartości, zduplikowane rekordy, niespójne typy danych i słabo ustrukturyzowane zestawy danych to typowe wyzwania, z którymi inżynierowie danych muszą się zająć, zanim dane będą mogły dostarczać wartość biznesową. Bez odpowiedniego czyszczenia i przekształcania wyniki analizy stają się zawodne, a procesy podrzędne kończą się niepowodzeniem. Katalog Unity w usłudze Azure Databricks zapewnia podstawy ładu do zarządzania transformowanymi zasobami danych w całym procesie.
Azure Databricks oferuje zestaw narzędzi do pracy w zakresie jakości i przekształcania danych. Profilowanie danych generuje statystyki podsumowania, które ujawniają problemy, takie jak procent null, nieoczekiwane dystrybucje wartości i dryf danych. Wybór typu zapewnia użycie odpowiednich typów danych dla efektywności przechowywania i wydajności zapytań. Techniki obsługi duplikatów i wartości null umożliwiają identyfikowanie i rozwiązywanie typowych problemów z jakością danych przy użyciu języka SQL lub PySpark. Operacje przekształcania , w tym filtrowanie, grupowanie, agregacja, sprzężenia i ustawianie operatorów przekształcają dane w celu spełnienia wymagań analitycznych.
Poza podstawowymi przekształceniami pracujesz z zaawansowanymi technikami przekształcania. Denormalizacja spłaszcza powiązane tabele w celu zwiększenia wydajności zapytań. Przestawianie obraca wartości wierszy w kolumny na potrzeby analizy tabeli przestawnej, a odprzestawianie odwraca ten proces w przypadku znormalizowanych struktur danych. Na koniec strategie ładowania, takie jak dołączanie, zastępowanie i scalanie, zapewniają prawidłowe umieszczenie przekształconych danych w tabelach docelowych — niezależnie od tego, czy dodajesz nowe rekordy, zamieniasz istniejące dane, czy synchronizujesz zmiany przez operacje typu upsert.
W tym module dowiesz się, jak oceniać jakość danych za pomocą profilowania, stosować techniki czyszczenia w celu rozwiązywania typowych problemów, przekształcać dane przy użyciu operacji SQL i PySpark oraz ładować wyniki do tabel Unity Catalog przy użyciu odpowiedniej strategii dla każdego scenariusza.
Note
Zdajemy sobie sprawę, że różni ludzie lubią uczyć się na różne sposoby. Możesz ukończyć ten moduł w formacie wideo lub przeczytać zawartość jako tekst i obrazy. Tekst zawiera więcej szczegółów niż filmy wideo, więc w niektórych przypadkach możesz chcieć odwoływać się do niego jako materiał uzupełniający do prezentacji wideo.