Mapování toku dat ve službě Azure Data Factory
PLATÍ PRO:
Azure Data Factory Azure Synapse Analytics
Tip
Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.
Co jsou toky dat mapování?
Mapování toků dat jsou vizuálně navržené transformace dat ve službě Azure Data Factory. Toky dat umožňují datovým inženýrům vyvíjet logiku transformace dat bez psaní kódu. Výsledné toky dat se spouští jako aktivity v kanálech Azure Data Factory, které používají clustery Apache Spark se škálováním na více systémů. Aktivity toku dat je možné zprovoznit pomocí stávajících možností plánování, řízení, toku a monitorování služby Azure Data Factory.
Mapování toků dat poskytuje zcela vizuální prostředí bez nutnosti kódování. Toky dat běží v clusterech spouštění spravovaných službou ADF pro zpracování dat s horizontálním navýšením kapacity. Azure Data Factory zpracovává veškerý překlad kódu, optimalizaci cesty a provádění úloh toku dat.
Začínáme
Toky dat se vytvářejí z podokna prostředků továrny, jako jsou kanály a datové sady. Pokud chcete vytvořit tok dat, vyberte znaménko plus vedle položky Prostředky továrny a pak vyberte Tok dat.
Tato akce vás provede na plátno toku dat, kde můžete vytvořit logiku transformace. Výběrem možnosti Přidat zdroj zahájíte konfiguraci transformace zdroje. Další informace najdete v tématu Transformace zdroje.
Vytváření toků dat
Mapování toku dat má jedinečné plátno pro vytváření, které je navržené tak, aby bylo vytváření logiky transformace snadné. Plátno toku dat je rozděleno do tří částí: horní panel, graf a konfigurační panel.
Graf
Graf zobrazuje stream transformace. Zobrazuje rodokmen zdrojových dat při jejich toku do jednoho nebo více jímek. Pokud chcete přidat nový zdroj, vyberte Přidat zdroj. Pokud chcete přidat novou transformaci, vyberte znaménko plus v pravém dolním rohu existující transformace. Přečtěte si další informace o správě grafu toku dat.
Konfigurační panel
Na konfiguračním panelu se zobrazí nastavení specifická pro aktuálně vybranou transformaci. Pokud není vybrána žádná transformace, zobrazí se tok dat. V konfiguraci celkového toku dat můžete přidat parametry prostřednictvím karty Parametry . Další informace naleznete v tématu Mapování parametrů toku dat.
Každá transformace obsahuje aspoň čtyři karty konfigurace.
Nastavení transformace
První karta v podokně konfigurace každé transformace obsahuje nastavení specifická pro danou transformaci. Další informace najdete na stránce dokumentace k transformaci.
Optimalizovat
Karta Optimalizovat obsahuje nastavení pro konfiguraci schémat dělení. Další informace o tom, jak optimalizovat toky dat, najdete v průvodci výkonem mapování toku dat.
Inspekce
Karta Kontrola poskytuje zobrazení metadat datového streamu, který transformujete. Můžete zobrazit počty sloupců, změněné sloupce, přidané sloupce, datové typy, pořadí sloupců a odkazy na sloupce. Kontrola je zobrazení metadat jen pro čtení. Pokud chcete zobrazit metadata v podokně Kontrola , nemusíte mít povolený režim ladění.
Při změně tvaru dat prostřednictvím transformací uvidíte tok změn metadat v podokně Kontrola . Pokud ve zdrojové transformaci není definované schéma, metadata se v podokně Kontrola nezobrazí. Nedostatek metadat je běžný ve scénářích posunu schématu.
Náhled dat
Pokud je zapnutý režim ladění, na kartě Náhled dat získáte interaktivní snímek dat v každé transformaci. Další informace najdete v tématu Náhled dat v režimu ladění.
Horní panel
Horní panel obsahuje akce, které ovlivňují celý tok dat, jako je ukládání a ověřování. Můžete si také prohlédnout základní kód JSON a skript toku dat logiky transformace. Další informace najdete ve skriptu toku dat.
Dostupné transformace
Zobrazte si přehled transformace toku dat mapování a získejte seznam dostupných transformací.
Datové typy toku dat
- pole
- binární
- boolean
- complex
- decimal (včetně přesnosti)
- datum
- float (číslo s plovoucí řádovou čárkou)
- integer
- long
- map
- short
- string
- časové razítko
Aktivita toku dat
Mapování toků dat se zprovozní v rámci kanálů ADF pomocí aktivity toku dat. Vše, co musí uživatel udělat, je určit, které prostředí Integration Runtime se má použít, a předat hodnoty parametrů. Další informace najdete v prostředí Azure Integration Runtime.
Režim ladění
Režim ladění umožňuje interaktivně zobrazit výsledky jednotlivých kroků transformace při sestavování a ladění toků dat. Ladicí relaci je možné použít jak při vytváření logiky toku dat, tak při spouštění ladicí běhů kanálu s aktivitami toku dat. Další informace najdete v dokumentaci k režimu ladění.
Monitorování toků dat
Mapování toků dat se integruje se stávajícími možnostmi monitorování služby Azure Data Factory. Informace o tom, jak porozumět výstupu monitorování toku dat, najdete v tématu monitorování mapování toků dat.
Tým Azure Data Factory vytvořil průvodce laděním výkonu, který vám pomůže optimalizovat dobu provádění toků dat po vytvoření obchodní logiky.
Dostupné oblasti
Mapování toků dat je k dispozici v následujících oblastech v ADF:
| Oblast Azure | Toky dat v ADF |
|---|---|
| Austrálie – střed | |
| Austrálie – střed 2 | |
| Austrálie – východ | ✓ |
| Austrálie – jihovýchod | ✓ |
| Brazílie – jih | ✓ |
| Kanada – střed | ✓ |
| Indie – střed | ✓ |
| USA – střed | ✓ |
| Čína – východ | |
| Čína – východ 2 | |
| Čína – bez ohledu na oblast | |
| Čína – sever | ✓ |
| Čína – sever 2 | ✓ |
| Čína – sever 3 | ✓ |
| Východní Asie | ✓ |
| USA – východ | ✓ |
| USA – východ 2 | ✓ |
| Francie – střed | ✓ |
| Jih Francie | |
| Německo – střed (suverénní) | |
| Německo – bez ohledu na oblast (suverénní) | |
| Německo – sever (veřejné) | |
| Německo – severovýchod (suverénní) | |
| Německo – středozápad (veřejné) | ✓ |
| Japonsko – východ | ✓ |
| Japonsko – západ | ✓ |
| Jižní Korea – střed | ✓ |
| Korea Jih | |
| Severní střed USA | ✓ |
| Severní Evropa | ✓ |
| Norsko – východ | ✓ |
| Norsko – západ | |
| Jižní Afrika – sever | ✓ |
| Jižní Afrika – západ | |
| Středojižní USA | |
| Indie – jih | ✓ |
| Jihovýchodní Asie | ✓ |
| Švýcarsko – sever | ✓ |
| Švýcarsko – západ | |
| Spojené arabské emiráty – střed | |
| Spojené arabské emiráty – sever | ✓ |
| Velká Británie – jih | ✓ |
| Velká Británie – západ | |
| US DoD Central | |
| US DoD East | |
| US Gov – Arizona | ✓ |
| US Gov – neregionální | |
| US Gov – Texas | |
| US Gov – Virginie | ✓ |
| USA – středozápad | |
| West Europe | ✓ |
| Západ Indie | ✓ |
| USA – západ | ✓ |
| USA – západ 2 | ✓ |
| USA – západ 3 | ✓ |
Související obsah
- Zjistěte, jak vytvořit zdrojovou transformaci.
- Naučte se vytvářet toky dat v režimu ladění.