Oczyszczanie, przekształcanie i ładowanie danych do Unity Catalog
Średni
Inżynier danych
Azure Databricks
Inżynieria danych wymaga przekształcenia danych pierwotnych w czyste, dobrze ustrukturyzowane formaty gotowe do analizy. W tym module przedstawiono techniki profilowania jakości danych, wybierania odpowiednich typów kolumn, rozpoznawania duplikatów i wartości null, stosowania przekształceń filtrowania i agregacji, łączenia zestawów danych za pomocą łączeń i operatorów zbiorów, zmieniania danych za pomocą przestawiania i denormalizacji oraz ładowania przekształconych danych przy użyciu strategii dołączania, zastępowania i scalania.
Cele szkolenia
Po ukończeniu tego modułu możesz wykonywać następujące czynności:
- Profilowanie danych przy użyciu poleceń SQL i funkcji profilowania danych w celu oceny jakości danych
- Wybierz odpowiednie typy danych kolumn, aby zoptymalizować magazyn i zapewnić integralność danych
- Identyfikowanie i rozwiązywanie zduplikowanych, brakujących i null wartości w zestawach danych
- Stosowanie operacji filtrowania, grupowania i agregacji w celu przekształcania danych
- Łączenie zestawów danych przy użyciu sprzężeń i operatorów zestawów, takich jak UNION, INTERSECT i EXCEPT
- Zmieniaj kształt danych przy użyciu technik denormalizacji, pivotowania i odwrotnego pivotowania
- Ładowanie przekształconych danych do tabel katalogu Unity przy użyciu operacji INSERT, MERGE i nadpisywania
Wymagania wstępne
Należy wykonać następujące wymagania wstępne:
- Podstawowa wiedza na temat pojęć związanych z Azure Databricks i Unity Catalog
- Znajomość programowania SQL i Python
- Znajomość pojęć związanych z inżynierią danych, takich jak jakość danych i przekształcenia