Projektowanie i implementowanie potoków danych za pomocą usługi Azure Databricks
Średni
Inżynier danych
Azure Databricks
Dowiedz się, jak projektować i implementować niezawodne potoki danych w Azure Databricks przy użyciu notatników i potoków Lakeflow, obejmujących orkiestrację, obsługę błędów i logikę zadań.
Cele szkolenia
Po ukończeniu tego modułu będziesz wiedzieć, jak wykonać następujące czynności:
- Zaprojektuj kolejność operacji dla potoków danych od pozyskiwania do obsługi.
- Wybierz między notatnikami i potokami Lakeflow na podstawie przypadków użycia.
- Projektowanie logiki, zależności i wzorców wykonywania zadań dla Lakeflow Jobs.
- Implementowanie strategii obsługi błędów, w tym zasad ponawiania prób i oczekiwań.
- Twórz potoki danych przy użyciu zarówno notesów, jak i potoków Lakeflow.
Wymagania wstępne
Należy wykonać następujące wymagania wstępne:
- Podstawowa wiedza na temat obszarów roboczych usługi Azure Databricks
- Znajomość podstaw Katalogu Unity i koncepcji zarządzania
- Znajomość zasad dotyczących bazy danych SQL i organizacji danych