Przygotowywanie i przetwarzanie danych za pomocą usługi Azure Databricks

  • Ścieżka szkoleniowa
  • 4 Moduły

W skrócie

Zapoznaj się z podstawowymi umiejętnościami w zakresie tworzenia niezawodnych, skalowalnych rozwiązań inżynierii danych za pomocą usług Azure Databricks i Unity Catalog. Dowiedz się, jak projektować efektywne modele danych, pozyskiwać dane z różnych źródeł, przekształcać dane pierwotne w formaty gotowe do analizy i zapewniać jakość danych w architekturze lakehouse.

W tej ścieżce szkoleniowej dowiesz się, jak utworzyć przepływ pracy inżynierii danych przy użyciu usług Azure Databricks i Unity Catalog. Począwszy od podstawowych koncepcji modelowania danych, zaprojektujesz schematy i strategie partycjonowania zoptymalizowane pod kątem obciążeń analitycznych. Następnie poznasz wiele wzorców pozyskiwania — od zarządzanych łączników po potoki przesyłowe — aby przenieść dane do twojego lakehouse. Następnie zastosujesz techniki przekształcania w celu oczyszczenia i zmiany danych do użytku biznesowego. Na koniec zaimplementujesz mechanizmy kontroli jakości, aby zachować integralność danych w potokach. Pod koniec będziesz mieć praktyczne umiejętności w projektowaniu i budowaniu rozwiązań danych przygotowanych do wdrożenia produkcyjnego w Unity Catalog.

Wymagania wstępne

  • Dobre zrozumienie obszarów roboczych usługi Azure Databricks i pojęć dotyczących Unity Catalog
  • Znajomość programowania SQL i Python
  • Znajomość podstawowych pojęć dotyczących inżynierii danych i magazynu danych

Moduły w ramach tej ścieżki szkoleniowej

Projektowanie i implementowanie modelowania danych za pomocą usługi Azure Databricks

Efektywne modelowanie danych stanowi podstawę wydajnej i możliwej do utrzymania platformy danych. W tym module przedstawiono, jak projektować logikę pobierania danych, wybierać odpowiednie narzędzia i formaty tabel, implementować schematy partycjonowania, zarządzać powoli zmieniającymi się wymiarami, dobierać odpowiednią szczegółowość danych oraz optymalizować wydajność tabel poprzez strategie klastrowania w usłudze Azure Databricks z Unity Catalog.

Importowanie danych do Unity Catalog

Pozyskiwanie danych to podstawowa funkcja dowolnej platformy danych. W tym module przedstawiono kompleksowy zestaw technik dostępnych w usłudze Azure Databricks do ładowania danych do tabel Unity Catalog. Dowiesz się, jak używać łączników zarządzanych z usługą Lakeflow Connect, pisać niestandardowy kod pozyskiwania w notesach, stosować polecenia SQL do ładowania plików wsadowych, przetwarzać strumienie CDC, konfigurować pozyskiwanie strumieniowe z magistral komunikatów, konfigurować Auto Loader na potrzeby automatycznego wykrywania plików i organizować przepływy pracy pozyskiwania plików za pomocą potoków Lakeflow.

Czyszczenie, przekształcanie i ładowanie danych do Unity Catalog

Inżynieria danych wymaga przekształcenia danych pierwotnych w czyste, dobrze ustrukturyzowane formaty gotowe do analizy. W tym module przedstawiono techniki profilowania jakości danych, wybierania odpowiednich typów kolumn, rozpoznawania duplikatów i wartości null, stosowania przekształceń filtrowania i agregacji, łączenia zestawów danych ze sprzężeniami i operatorami zestawów, zmieniania danych za pomocą przestawnych i denormalizacji oraz ładowania przekształconych danych przy użyciu strategii dołączania, zastępowania i scalania.

Implementowanie ograniczeń jakości danych i zarządzanie nimi za pomocą usługi Azure Databricks

W tym module przedstawiono strategie utrzymania wysokiej jakości danych w usłudze Azure Databricks. Dowiesz się, jak zaimplementować kontrole poprawności, wymusić schematy, zarządzać dryfem schematów i używać oczekiwań związanych z potokiem w celu zapewnienia integralności danych w ramach potoków danych.

Rozpocznij