Mapování toků dat v Azure Data Factory

VZTAHUJE SE NA: Azure Data Factory Azure Synapse Analytics

Tip

• Pokud chcete porovnat mapování transformací toku dat s jejich ekvivalenty Dataflow Gen2, přečtěte si průvodce tokem dat Gen2 pro mapování uživatelů toku dat.
• Transformace dat v Microsoft Fabric najdete v přehledu Dataflow Gen2.

Co jsou mapovací datové toky?

Mapování toků dat jsou vizuálně navržené transformace dat v Azure Data Factory. Toky dat umožňují datovým inženýrům vyvíjet logiku transformace dat bez psaní kódu. Výsledné toky dat se spouští jako aktivity v rámci datových toků Azure Data Factory, které používají škálované clustery Apache Spark. Aktivity toku dat je možné zprovoznit pomocí stávajících Azure Data Factory možností plánování, řízení, toku a monitorování.

Mapování toků dat poskytuje zcela vizuální prostředí bez nutnosti kódování. Toky dat běží na ADF-spravovaných výpočetních clusterech pro škálované zpracování dat. Azure Data Factory zpracovává veškerý překlad kódu, optimalizaci cesty a provádění úloh toku dat.

Začínáme

Toky dat se vytvářejí z okna prostředků továrny, podobně jako kanály a datové sady. Pokud chcete vytvořit data flow, vyberte znaménko plus vedle Factory Resources a pak vyberte Tok dat.

Tato akce vás provede na plátno toku dat, kde můžete vytvořit logiku transformace. Výběrem možnosti Přidat zdroj zahájíte konfiguraci transformace zdroje. Další informace najdete v tématu Transformace zdroje.

Vytváření toků dat

Mapování toku dat má jedinečné plátno pro vytváření, které je navržené tak, aby bylo vytváření logiky transformace snadné. Plátno toku dat je rozděleno do tří částí: horní panel, graf a konfigurační panel.

Graph

Graf zobrazuje transformaci datového proudu. Zobrazuje rodokmen zdrojových dat při jejich toku do jednoho nebo více jímek. Jímky můžou být libovolné cíle zdroje dat, kam chcete přesunout výsledky transformovaných dat. Pokud chcete přidat nový zdroj, vyberte Přidat zdroj. Pokud chcete přidat novou transformaci, vyberte znaménko plus v pravém dolním rohu existující transformace. Přečtěte si další informace o správě grafu toku dat.

Konfigurační panel

Na konfiguračním panelu se zobrazí nastavení specifická pro aktuálně vybranou transformaci. Pokud není vybrána žádná transformace, zobrazí se tok dat. V konfiguraci celkového toku dat můžete přidat parametry prostřednictvím karty Parametry . Další informace naleznete v tématu Mapování parametrů toku dat.

Každá transformace obsahuje aspoň čtyři karty konfigurace.

Nastavení transformace

První karta v podokně konfigurace každé transformace obsahuje nastavení specifická pro danou transformaci. Další informace najdete na stránce dokumentace k transformaci.

Optimalizovat

Karta Optimalizovat obsahuje nastavení pro konfiguraci schémat dělení. Další informace o tom, jak optimalizovat toky dat, najdete v průvodci výkonem mapování toku dat.

Inspekce

Karta Kontrola poskytuje zobrazení metadat datového streamu, který transformujete. Můžete zobrazit počty sloupců, změněné sloupce, přidané sloupce, datové typy, pořadí sloupců a odkazy na sloupce. Prohlídka je pohled na vaše metadata jen pro čtení. Pokud chcete zobrazit metadata v podokně Kontrola , nemusíte mít povolený režim ladění.

Když změníte tvar dat prostřednictvím transformací, uvidíte tok změn metadat v podokně Kontrola . Pokud ve zdrojové transformaci neexistuje definované schéma, metadata se v podokně Kontrola nezobrazují. Nedostatek metadat je běžný ve scénářích posunu schématu.

Náhled dat

Pokud je zapnutý režim ladění, karta Náhled dat vám poskytne interaktivní snímek dat v každé transformaci. Další informace viz Náhled dat v režimu ladění.

Horní panel

Horní panel obsahuje akce, které ovlivňují celý tok dat, jako je ukládání a ověřování. Můžete si také prohlédnout základní kód JSON a skript toku dat logiky transformace. Další informace najdete ve skriptu toku dat.

Dostupné transformace

Zobrazit přehled transformací mapovacího toku dat a získejte výpis dostupných transformací.

Datové typy toku dat

• pole
• binární
• booleovský
• složitý
• desetinné číslo (včetně přesnosti)
• datum
• float
• integer
• long
• mapa
• krátký
• řetězec
• časové razítko

Aktivita toku dat

Mapování toků dat se operacionalizují v rámci kanálů ADF pomocí aktivity toku dat. Vše, co musí uživatel udělat, je určit, které prostředí Integration Runtime se má použít, a předat hodnoty parametrů. Další informace najdete v Azure Integration Runtime.

Režim ladění

Režim ladění umožňuje interaktivně zobrazit výsledky jednotlivých kroků transformace při sestavování a ladění toků dat. Ladicí relaci je možné použít jak při vytváření logiky toku dat, tak při provádění ladicích běhů potrubí s aktivitami toku dat. Další informace najdete v dokumentaci k režimu ladění.

Monitorování toků dat

Mapování toku dat se integruje se stávajícími možnostmi monitorování Azure Data Factory. Informace o tom, jak porozumět výstupu monitorování toku dat, najdete v tématu monitorování mapování toků dat.

Tým Azure Data Factory vytvořil průvodce laděním performance, který vám pomůže optimalizovat dobu provádění toků dat po vytvoření obchodní logiky.

Související obsah

• Zjistěte, jak vytvořit zdrojovou transformaci.
• Naučte se vytvářet toky dat v ladicím režimu.