Wprowadzenie
Twoja organizacja przetwarza miliony transakcji codziennie z wielu systemów źródłowych, a uczestnicy projektu potrzebują niezawodnej analizy, która odzwierciedla zarówno bieżące operacje, jak i trendy historyczne. Zespół inżynierów danych stoi przed krytycznymi decyzjami: W jaki sposób dane powinny przepływać z systemów źródłowych do usługi Lakehouse? Które formaty tabeli zapewniają właściwą równowagę wydajności i zgodności? Jak zachować dokładność historyczną przy zachowaniu szybkości zapytań?
Modelowanie danych w Azure Databricks z wykorzystaniem Unity Catalog rozwiązuje te wyzwania dzięki celowym wyborom projektowym, które mają wpływ na każdego konsumenta końcowego. Wybierasz wzorce wprowadzania danych zgodne z Twoimi wymaganiami dotyczącymi opóźnień. Wybierasz formaty tabel, takie jak Delta Lake lub Apache Iceberg , na podstawie potrzeb transakcji i zgodności międzyplatformowych. Projektujesz schematy partycjonowania i strategie klastrowania , które są zgodne z sposobem, w jaki analitycy wysyłają zapytania o dane.
Te decyzje kumulują się z biegiem czasu. Tabela niepoprawnie podzielona na partycje powoduje problemy z wydajnością, które nasilają się wraz ze wzrostem ilości danych. Tabela wymiarów bez odpowiedniego śledzenia zmian traci kontekst historyczny. Przemyślany projekt z góry tworzy podstawę, która jest skalowana wydajnie i odpowiada na pytania, których jeszcze nie przewidywano.
Ten moduł przeprowadzi Cię przez kluczowe decyzje dotyczące modelowania danych dla środowisk usługi Azure Databricks. Dowiesz się, jak projektować logikę pozyskiwania, wybierać odpowiednie narzędzia dla każdego typu źródła danych i implementować strategie magazynowania, które optymalizują wydajność zapytań. Poznasz powoli zmieniające się wymiary pod kątem dokładności historycznej i zrozumiesz, kiedy tabele zarządzane zapewniają przewagę nad tabelami zewnętrznymi.
Note
Zdajemy sobie sprawę, że różni ludzie lubią uczyć się na różne sposoby. Możesz ukończyć ten moduł w formacie wideo lub przeczytać zawartość jako tekst i obrazy. Tekst zawiera więcej szczegółów niż filmy wideo, więc w niektórych przypadkach możesz chcieć odwoływać się do niego jako materiał uzupełniający do prezentacji wideo.