Videokurzy mapování toku dat

VZTAHUJE SE NA: Azure Data Factory Azure Synapse Analytics

Tip

Data Factory v Microsoft Fabric je nová generace Azure Data Factory s jednodušší architekturou, integrovanou AI a novými funkcemi. Pokud s integrací dat začínáte, začněte Fabric Data Factory. Stávající úlohy ADF lze upgradovat na Fabric pro přístup k novým funkcím v oblastech datové vědy, analýz v reálném čase a vytváření sestav.

Níže je seznam výukových videí k mapování toku dat vytvořených týmem Azure Data Factory.

Vzhledem k tomu, že produkt je neustále aktualizován, některé funkce mají novou nebo odlišnou funkčnost v aktuálním uživatelském prostředí Azure Data Factory.

Začínáme

Jak začít s mapováním toků dat v Azure Data Factory

Ladění a vývoj datových toků mapování

Mapování, ladění a testování datových toků

Zkoumání dat

Akce rychlého náhledu dat

Monitorování a správa výkonu mapování toku dat

Časování srovnávacích testů

Ladění pracovních postupů pro toky dat

Aktualizované zobrazení monitorování

Přehledy transformace

Agregační transformace

Změna transformace řádků

Transformace odvozeného sloupce

Sjednocení transformace

Vzor samospojení

Transformace vyhledávání

Aktualizace a tipy pro Lookup Transformation

Otáčivá transformace

Pivotní transformace: mapování posunutých sloupců

Výběr transformace

Výběr transformace: Mapování založené na pravidlech

Výběr transformace: Velké datové sady

Náhradní transformace klíče

Transformace sjednocení

Unpivot transformace

Transformace okna

Transformace filtru

Podmíněné rozdělení transformace

Existuje transformace

Dynamické spojení a dynamické vyhledávání

Zploštěná transformace

Subtoky

Stringify transformace

Transformace externího volání

Transformace hierarchických dat

Transformace pořadí

Vyhledávání v mezipaměti

Kontext řádku prostřednictvím transformace okna

Analýza transformace

Transformace složitých datových typů

Výstup do další aktivity

Stringify transformace

Transformace externího volání

Transformace assert

Řádky chyb protokolu assert

Přibližné spojení

Zdroj a jímka

Čtení a zápis JSON

Parquet a textové soubory s oddělovači

Konektor CosmosDB

Odvození datových typů v textových souborech s oddělovači

Čtení a zápis dělených souborů

Transformace a vytvoření několika tabulek SQL

Rozdělte své soubory v datovém jezeře

Model načítání datového skladu

Možnosti výstupu souboru Data Lake

Optimalizace mapování toků dat

Původ dat

Iterace souborů s parametry

Zkrátit časy spuštění

Výkon databáze SQL

Protokolování a auditování

Dynamická optimalizace velikosti clusteru toku dat za běhu

Optimalizace časů spuštění toku dat

Azure Integration Runtime pro toky dat

Rychlé spuštění clusteru pomocí Azure IR

Scénáře mapování toku dat

Přibližné vyhledávání

Vzor přípravných dat

Vzor vyčištění adres

Odstranění duplicitních dat

Sloučení souborů

Pomalu se měnící dimenze typ 1: přepsání

Pomalu se měnící dimenze typu 2: historie

Načítání tabulky faktů

Transformujte SQL Server on-premise s delta vzorem načítání dat

Parametrizace

Počet jedinečných řádků a celkový počet řádků

Zpracování chyb oseknutí

Inteligentní směrování dat

Maskování dat pro citlivá data

Logické modely vs. fyzické modely

Detekce změn zdrojových dat

Obecný typ 2 dimenze, která se pomalu mění

Odstraňte řádky v cíli, pokud nejsou ve zdroji

Incrementální načítání dat s Azure Data Factory a Azure SQL DB

Transformace dat Avro ze služby Event Hubs pomocí parsování a zploštění

Výrazy toku dat

Výrazy data a času

Rozdělení polí a příkazy `case`

Zábava s interpolací řetězců a parametry

úvod ke skriptu Tok dat: kopírování, vložení, fragmenty kódu

Výrazy kvality dat

Shromažďování agregační funkce

Dynamické výrazy jako parametry

Uživatelem definované funkce

Metadata

Ověřovací pravidla metadat