Dokumentacja Fabric Data Engineering

Inżynieria danych sieci szkieletowej umożliwia użytkownikom projektowanie, tworzenie i konserwowanie infrastruktury i systemów, które umożliwiają organizacjom zbieranie, przechowywanie, przetwarzanie i analizowanie dużych ilości danych.

Informacje o inżynierowie danych

Omówienie

• Co to jest inżynierowie danych?
• Co to jest lakehouse?

Pojęcie

• Tabele Lakehouse i Delta
• Role i uprawnienia obszaru roboczego
• Wybieranie magazynu danych

Przewodnik z instrukcjami

• Optymalizacja delta i kolejność V
• Załaduj do tabel

Wprowadzenie do usługi Lakehouse

Rozpocznij

• Tworzenie lakehouse'u
• Nawiguj po eksploratorze lakehouse

Przewodnik z instrukcjami

• Pobieranie danych do usługi Lakehouse przy użyciu notesu

Samouczek

• Krok 1. Tworzenie obszaru roboczego
• Krok 2. Tworzenie jeziora
• Krok 3. Pozyskiwanie danych do usługi LakeHouse
• Krok 4. Przekształcanie danych w tabele różnicowe
• Krok 5. Tworzenie modelu semantycznego i tworzenie raportu
• Krok 6. Czyszczenie zasobów

Rozpocznij pracę z notesami

Rozpocznij

• Tworzenie notesów i korzystanie z nich

Przewodnik z instrukcjami

• Opracowywanie i uruchamianie notesów
• Eksplorowanie danych usługi Lakehouse za pomocą notesu
• Wizualizowanie notesów
• Notatniki kontroli wersji oraz wdrożenie
• Tworzenie i uruchamianie notesów języka T-SQL

Wykonywanie zapytań za pomocą interfejsu API dla języka GraphQL

Omówienie

• Co to jest Fabric API dla języka GraphQL?

Rozpocznij

• Tworzenie interfejsu API dla języka GraphQL i dodawanie danych

Przewodnik z instrukcjami

• Zarządzaj relacjami
• Łączenie z aplikacjami
• Wykonywanie zapytań dotyczących wielu źródeł danych
• Potoki kontroli źródła i wdrażania programu GraphQL
• Pulpit monitorujący i logowanie (wersja zapoznawcza)

Integracja z programem VS Code

Pojęcie

• Co to jest rozszerzenie programu VS Code inżynierii danych?

Przewodnik z instrukcjami

• Używanie notatników z programu VS Code
• Używanie obrazu kontenera z programu VS Code
• Używanie definicji zadań platformy Spark z programu VS Code
• Eksplorowanie usługi Lakehouse z poziomu programu VS Code
• Tworzenie notatnika za pomocą internetowej wersji programu VS Code

Platforma Apache Spark dla inżynierii danych

Pojęcie

• Definicja zadania platformy Apache Spark
• Co to jest doradca platformy Apache Spark?

Rozpocznij

• Tworzenie definicji zadania platformy Spark
• Twórz definicję zadania Spark przy użyciu interfejsu Fabric API
• Definicja zadania platformy Spark integracja z Gitem

Przewodnik z instrukcjami

• Planowanie i uruchamianie definicji zadania platformy Spark
• Zarządzanie bibliotekami platformy Apache Spark
• Jak używać Fabric MSSparkUtils

Rozpocznij ze środowiskiem

Rozpocznij

• Środowiska sieci szkieletowej

Przewodnik z instrukcjami

• Zarządzanie obliczeniami platformy Spark w środowiskach
• Zarządzanie bibliotekami w środowiskach
• Integracja środowiska Git i potok wdrażania
• Zarządzanie środowiskiem za pomocą publicznych interfejsów API
• Zarządzanie bibliotekami w środowisku zabezpieczonymi przez ochronę dostępu wychodzącego

Interfejs API usługi Livy dla platformy Fabric

Omówienie

• Co to jest interfejs API usługi Livy?

Rozpocznij

• Tworzenie i uruchamianie zadań platformy Spark przy użyciu interfejsu API usługi Livy
• Przesyłanie zadań sesji interfejsu API Livy
• Przesyłanie zadań wsadowych API Livy

Optymalizowanie przy użyciu zmaterializowanych widoków jeziora

Omówienie

• Co to są zmaterializowane widoki na jezioro?

Rozpocznij

• Rozpocznij pracę z zmaterializowanymi widokami jeziora
• Tworzenie architektury medaliowej za pomocą zmaterializowanych widoków jeziora
• Zarządzanie zmaterializowanymi widokami jeziora