Wprowadzanie danych do Unity Catalog
Pozyskiwanie danych to podstawowa funkcja dowolnej platformy danych. W tym module przedstawiono kompleksowy zestaw technik dostępnych w usłudze Azure Databricks do ładowania danych do tabel katalogu Unity. Dowiesz się, jak używać łączników zarządzanych z usługą Lakeflow Connect, pisać niestandardowy kod pozyskiwania w notesach, stosować polecenia SQL do ładowania plików wsadowych, przetwarzać strumienie przechwytywania zmian danych, konfigurować pozyskiwanie strumieniowe z magistrali komunikatów, konfigurować moduł automatycznego ładowania na potrzeby automatycznego wykrywania plików i orkiestrować przepływy pracy pozyskiwania danych za pomocą potoków Lakeflow.
Cele szkolenia
Po ukończeniu tego modułu będziesz wiedzieć, jak wykonać następujące czynności:
- Konfigurowanie programu Lakeflow Connect w celu pozyskiwania danych ze źródeł zewnętrznych przy użyciu łączników zarządzanych
- Pozyskiwanie danych wsadowych i przesyłanych strumieniowo przy użyciu notesów z ramkami danych i przesyłaniem strumieniowym ze strukturą
- Użyj poleceń SQL, takich jak COPY INTO i CREATE TABLE AS SELECT na potrzeby pozyskiwania danych opartych na plikach
- Przetwarzanie strumieni danych przechwytywania zmian za pomocą automatycznego interfejsu API CDC
- Konfiguracja Spark Structured Streaming do pozyskiwania danych w czasie rzeczywistym z Kafka i Event Hubs
- Konfigurowanie automatycznego modułu ładującego w celu automatycznego wykrywania i przetwarzania nowych plików przy użyciu ewolucji schematu
- Organizowanie przepływów pracy pozyskiwania danych przy użyciu pipeline’ów Lakeflow
Wymagania wstępne
Należy wykonać następujące wymagania wstępne:
- Podstawowa wiedza na temat pojęć związanych z Azure Databricks i Unity Catalog
- Znajomość programowania SQL i Python
- Znajomość pojęć związanych z inżynierią danych, takich jak przetwarzanie wsadowe i przesyłanie strumieniowe