Toky dat v Azure Synapse Analytics
Co jsou toky dat?
Toky dat jsou vizuálně navržené transformace dat v Azure Synapse Analytics. Toky dat umožňují datovým inženýrům vyvíjet logiku transformace dat bez psaní kódu. Výsledné toky dat se provádějí jako aktivity v rámci kanálů Azure Synapse Analytics, které používají clustery Apache Spark se škálováním na více instancí. Aktivity toku dat je možné zprovoznit pomocí stávajících funkcí plánování, řízení, toku a monitorování Azure Synapse Analytics.
Toky dat poskytují zcela vizuální prostředí bez nutnosti kódování. Vaše toky dat běží na spouštěcích clusterech spravovaných službou Synapse pro zpracování dat se škálováním na více instancí. Azure Synapse Analytics zpracovává všechny úlohy překladu kódu, optimalizace cest a provádění úloh toku dat.
Začínáme
Toky dat se vytvářejí v podokně Vývoj v synapse Studiu. Pokud chcete vytvořit tok dat, vyberte znaménko plus vedle Možnosti Vývoj a pak vyberte Tok dat.
Tato akce vás přenese na plátno toku dat, kde můžete vytvořit logiku transformace. Výběrem možnosti Přidat zdroj spusťte konfiguraci zdrojové transformace. Další informace najdete v tématu Transformace zdroje.
Vytváření toků dat
Tok dat má jedinečné plátno pro vytváření obsahu navržené tak, aby usnadnilo logiku transformace sestavení. Plátno toku dat je rozdělené do tří částí: horního pruhu, grafu a panelu konfigurace.
Graph
Graf zobrazí transformační stream. Zobrazuje rodokmen zdrojových dat při jejich toku do jedné nebo více jímek. Pokud chcete přidat nový zdroj, vyberte Přidat zdroj. Pokud chcete přidat novou transformaci, vyberte znaménko plus v pravém dolním rohu existující transformace. Přečtěte si další informace o správě grafu toku dat.
Panel Konfigurace
Na konfiguračním panelu se zobrazí nastavení specifická pro aktuálně vybranou transformaci. Pokud není vybrána žádná transformace, zobrazí se tok dat. V celkové konfiguraci toku dat můžete přidat parametry prostřednictvím karty Parametry . Další informace najdete v tématu Parametry toku dat.
Každá transformace obsahuje aspoň čtyři karty konfigurace.
Nastavení transformace
První karta v podokně konfigurace každé transformace obsahuje nastavení specifická pro danou transformaci. Další informace najdete na stránce dokumentace k této transformaci.
Optimalizace
Karta Optimalizovat obsahuje nastavení pro konfiguraci schémat dělení. Další informace o tom, jak optimalizovat toky dat, najdete v průvodci výkonem mapování toku dat.
Zkontrolovat
Karta Kontrola poskytuje zobrazení metadat datového streamu, který transformujete. Můžete vidět počty sloupců, změněné sloupce, přidané sloupce, datové typy, pořadí sloupců a odkazy na sloupce. Kontrola je zobrazení metadat jen pro čtení. Pokud chcete zobrazit metadata v podokně Kontrola , nemusíte mít povolený režim ladění.
Při změně tvaru dat prostřednictvím transformací uvidíte tok změn metadat v podokně Zkontrolovat . Pokud ve zdrojové transformaci není definované schéma, metadata se v podokně Kontrola nezobrazí. Nedostatek metadat je ve scénářích posunu schématu běžný.
Náhled dat
Pokud je režim ladění zapnutý, na kartě Náhled dat se zobrazí interaktivní snímek dat při každé transformaci. Další informace najdete v tématu Náhled dat v režimu ladění.
Horní panel
Horní panel obsahuje akce, které ovlivňují celý tok dat, jako je ověřování a nastavení ladění. Můžete také zobrazit základní kód JSON a skript toku dat vaší transformační logiky.
Dostupné transformace
Podívejte se na přehled transformace toku dat mapování a získejte seznam dostupných transformací.
Aktivita toku dat
Toky dat se zprovozní v rámci kanálů Azure Synapse Analytics pomocí aktivity toku dat. Uživatel musí zadat, které prostředí Integration Runtime se má použít, a předat hodnoty parametrů. Další informace najdete v tématu o prostředí Azure Integration Runtime.
Režim ladění
Režim ladění umožňuje interaktivně zobrazit výsledky jednotlivých kroků transformace při sestavování a ladění toků dat. Ladicí relaci je možné použít při sestavování logiky toku dat i spouštění spuštění ladění kanálu s aktivitami toku dat. Další informace najdete v dokumentaci k režimu ladění.
Monitorování toků dat
Tok dat se integruje se stávajícími funkcemi monitorování Azure Synapse Analytics. Informace o tom, jak porozumět výstupu monitorování toku dat, najdete v tématu Monitorování mapování toků dat.
Tým Azure Synapse Analytics vytvořil průvodce laděním výkonu, který vám pomůže optimalizovat dobu provádění toků dat po sestavení obchodní logiky.
Další kroky
- Zjistěte, jak vytvořit zdrojovou transformaci.
- Naučte se vytvářet toky dat v režimu ladění.