Spojení a transformace sdílených a vlastněných dat pomocí mapování toku ve službě Azure Data Factory
Ve scénáři, ve kterém obdržíte datovou sadu, kterou potřebujete kombinovat s vlastními daty, se můžete zamyslet nad připojením a transformací obou datových sad. K tomu můžete použít mapování toku dat ve službě Azure Data Factory.
Ve službě Azure Data Factory můžete vizuálně mapovat toky dat, abyste mohli navrhnout tok transformace dat bez kódování. Vaše toky dat běží v clusterech spouštění spravovaných službou Azure Data Factory pro zpracování dat s horizontálním navýšením kapacity. Azure Data Factory zpracovává veškerý překlad kódu, optimalizaci cesty a provádění úloh toku dat. Výsledné toky dat se spouští jako aktivity v kanálech Azure Data Factory, které používají clustery Apache Spark se škálováním na více systémů. Aktivity toku dat je možné zprovoznit pomocí stávajících možností plánování, řízení, toku a monitorování služby Azure Data Factory.
Jako datový inženýr pravděpodobně obdržíte data z různých prostředků a v první instanci můžete tato data úspěšně uložit do služby Azure Data Lake Storage. Službu Azure Data Share je možné použít k příjmu dat od třetích stran nebo mezipartmentální.
Pokud chcete tyto různé datové sady spojit a agregovat do datového skladu, můžete použít tok mapování, což je vizuálně navržená transformační služba ve službě Azure Data Factory. Toky dat mají možnost vizuálně navrhovat věci, jako jsou různé typy spojení, agregační funkce prostřednictvím tvůrce výrazů, rozdělení, sjednocení, vyhledávání, moderátory schématu, moderátory řádků a jímky. Můžete například vytvořit vnitřní spojení datové sady, která byla sdílena se službou Azure Data Share. Pokud chcete agregovat, musíte najít sloupec, který budete používat pro agregaci, a vypočítat určitá pole pro zápis a jímku do tabulky Azure Synapse Analytics.
Existují další způsoby připojení datových sad, ale nejběžnější je vnitřní spojení. Různé typy spojení, které jsou možné v mapování toku dat, najdete tady: typy spojení.
Teď, když jste se dozvěděli o připojování datových sad, najdete v dalším tématu praktické spojení datových sad.