Co je zpracování dat?

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat přes následné zpracování dat, analýzy v reálném čase, podnikovou inteligenci a reporting. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

Transformace dat zahrnuje transformaci a přeformátování dat z původního zdroje, aby byla vhodnější a užitečnější pro různé podřízené aplikace.

Organizace musí mít možnost zkoumat důležitá obchodní data pro přípravu a transformaci dat, aby poskytovaly přesnou analýzu složitých dat, která se každý den stále rozšiřují. Příprava dat je nutná, aby organizace mohly data používat v různých obchodních procesech a zkrátit dobu potřebnou k hodnotě.

Data Factory umožňuje přípravu dat bez použití kódu v cloudovém měřítku iterativně pomocí Power Query. Data Factory se integruje s Power Query Online a zpřístupňuje funkce Power Query M jako aktivitu kanálu.

Data Factory překládá skript M vygenerovaný editorem Mashup Power Query Online do kódu Spark pro spouštění v cloudovém škálování překladem M do Toků dat v Azure Data Factory. Úprava dat pomocí Power Query a toků dat je zvlášť užitečná pro datové inženýry nebo neprofesionální integrátory dat.

Případy použití

Rychlé interaktivní zkoumání a příprava dat

Více datových inženýrů a integrátorů dat občanů může interaktivně zkoumat a připravovat datové sady v cloudovém měřítku. S nárůstem objemu, rozmanitosti a rychlosti dat v datových jezerech potřebují uživatelé efektivní způsob, jak prozkoumat a připravit datové sady. Možná budete například muset vytvořit datovou sadu, která od roku 2017 obsahuje všechny demografické informace o zákaznících pro nové zákazníky. Nemapujete na známý cíl. Zkoumáte, přetváříte a připravujete datové sady, abyste splnili požadavek před jejich publikováním v datovém jezeře. Úprava dat se často používá pro méně formální analytické scénáře. Předem připravené datové sady je možné použít k provádění transformací a operací strojového učení v podřízených operacích.

Agilní příprava dat bez kódu

Integrátoři dat občanů tráví více než 60 % času hledáním a přípravou dat. Chtějí to udělat bez kódu, aby zlepšili provozní produktivitu. Umožňuje integrátorům dat občanů rozšířit, tvarovat a publikovat data pomocí známých nástrojů, jako je Power Query Online, škálovatelným způsobem výrazně zvyšuje jejich produktivitu. Wrangling ve službě Azure Data Factory umožňuje známému mashupovému editoru Power Query Online, aby integrátoři dat mohli rychle opravovat chyby, standardizovat data a vytvářet vysoce kvalitní data pro podporu obchodních rozhodnutí.

Ověření a zkoumání dat

Vizuálně skenujte data bez nutnosti psaní kódu, abyste odebrali všechny odlehlosti, anomálie a přizpůsobili je tvaru pro rychlou analýzu.

Podporované zdroje

Konektor	Formát dat	Typ autentizace
Azure Blob Storage	CSV, Parquet, Excel	Klíč účtu, služební principál, MSI
Azure Data Lake Storage Gen1	CSV, Parquet, Excel	Principál služby, MSI
Azure Data Lake Storage Gen2	CSV, Parquet, Excel	Klíč účtu, Service Principal, MSI
Azure SQL Database	-	Ověřování SQL, MSI, Principál služby
Azure Synapse Analytics	-	Ověřování SQL, MSI, instanční objekt

Editor mashupu

Při vytváření aktivity Power Query se všechny zdrojové datové sady stanou dotazy na datové sady a umístí se do složky ADFResource . Ve výchozím nastavení UserQuery bude odkazovat na první dotaz datové sady. Všechny transformace by se měly provádět v UserQuery, protože změny dotazů na datovou sadu nejsou podporovány ani nebudou zachovány. Přejmenování, přidávání a odstraňování dotazů se v současné době nepodporuje.

V současné době nejsou podporované všechny funkce Power Query M pro transformaci dat, i když jsou během vytváření dostupné. Při vytváření aktivit Power Query se zobrazí výzva s následující chybovou zprávou, pokud funkce není podporovaná:

The Power Query Spark Runtime does not support the function

Další informace o podporovaných transformacích najdete v tématu Transformace dat Power Query.

Související obsah

Zjistěte, jak vytvořit mash-up Power Query pro úpravu dat.