Co je zpracování dat?

VZTAHUJE SE NA: Azure Data Factory Azure Synapse Analytics

Tip

Data Factory v Microsoft Fabric je nová generace Azure Data Factory s jednodušší architekturou, integrovanou AI a novými funkcemi. Pokud s integrací dat začínáte, začněte Fabric Data Factory. Stávající úlohy ADF lze upgradovat na Fabric pro přístup k novým funkcím v oblastech datové vědy, analýz v reálném čase a vytváření sestav.

Transformace dat zahrnuje transformaci a přeformátování dat z původního zdroje, aby byla vhodnější a užitečnější pro různé podřízené aplikace.

Organizace musí mít možnost zkoumat důležitá obchodní data pro přípravu a transformaci dat, aby poskytovaly přesnou analýzu složitých dat, která se každý den stále rozšiřují. Příprava dat je nutná, aby organizace mohly data používat v různých obchodních procesech a zkrátit dobu potřebnou k hodnotě.

Služba Data Factory vám umožňuje iterativní přípravu dat bez kódu v cloudovém měřítku s využitím Power Query. Data Factory se integruje s Power Query Online a zpřístupňuje funkce Power Query M jako aktivitu toku.

Data Factory překládá M generované Power Query Online Mashup Editorem do kódu Sparku pro škálované spuštění v cloudu, tím, že překládá M do Azure Data Factory Data Flows. Manipulace s daty pomocí Power Query a datových toků je zvláště užitečná pro datové inženýry nebo běžné uživatele jako integrátory dat.

Případy použití

Rychlé interaktivní zkoumání a příprava dat

Více datových inženýrů a integrátorů dat občanů může interaktivně zkoumat a připravovat datové sady v cloudovém měřítku. S nárůstem objemu, rozmanitosti a rychlosti dat v datových jezerech potřebují uživatelé efektivní způsob, jak prozkoumat a připravit datové sady. Možná budete například muset vytvořit datovou sadu, která od roku 2017 obsahuje všechny demografické informace o zákaznících pro nové zákazníky. Nemapujete na známý cíl. Zkoumáte, přetváříte a připravujete datové sady, abyste splnili požadavek před jejich publikováním v datovém jezeře. Úprava dat se často používá pro méně formální analytické scénáře. Předem připravené datové sady je možné použít k provádění transformací a operací strojového učení v podřízených operacích.

Agilní příprava dat bez kódu

Integrátoři dat občanů tráví více než 60 % času hledáním a přípravou dat. Chtějí to udělat bez kódu, aby zlepšili provozní produktivitu. Umožňuje integrátorům dat občanů obohatit, tvarovat a publikovat data pomocí známých nástrojů, jako je Power Query Online, škálovatelným způsobem výrazně zvyšuje jejich produktivitu. Čištění dat v Azure Data Factory umožňuje známému online mashup editoru Power Query, aby neodborní integrátoři dat mohli rychle opravovat chyby, standardizovat data a vytvářet vysoce kvalitní data na podporu obchodních rozhodnutí.

Ověření a zkoumání dat

Vizuálně skenujte data bez nutnosti psaní kódu, abyste odebrali všechny odlehlosti, anomálie a přizpůsobili je tvaru pro rychlou analýzu.

Podporované zdroje

Konektor Formát dat Typ autentizace
Azure Blob Storage CSV, Parquet, Excel Klíč účtu, služební principál, MSI
Azure Data Lake Storage Gen1 CSV, Parquet, Excel Principál služby, MSI
Azure Data Lake Storage Gen2 CSV, Parquet, Excel Klíč účtu, služební principál, MSI
Azure SQL Database - Ověřování SQL, MSI, Principál služby
Azure Synapse Analytics - Ověřování SQL, MSI, Principál služby

Editor mashupu

Při vytváření aktivity Power Query se všechny zdrojové datové sady stanou dotazy na datové sady a umístí se do složky ADFResource. Ve výchozím nastavení UserQuery bude odkazovat na první dotaz datové sady. Všechny transformace by se měly provádět v UserQuery, protože změny dotazů na datovou sadu nejsou podporovány ani nebudou zachovány. Přejmenování, přidávání a odstraňování dotazů se v současné době nepodporuje.

Změna uspořádání

V současné době nejsou podporovány všechny funkce Power Query M pro transformaci dat, i když jsou během vytváření dostupné. Při vytváření aktivit Power Query se zobrazí výzva s následující chybovou zprávou, pokud funkce není podporovaná:

The Power Query Spark Runtime does not support the function

Další informace o podporovaných transformacích najdete v tématu Power Query funkce transformace dat.

Související obsah

Přečtěte si, jak vytvořit datovou kombinaci v Power Query mash-upu.

  • Last updated on