Mi az az adatok előkészítése?

Vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Data Factory a Microsoft Fabric a Azure Data Factory következő generációja, egyszerűbb architektúrával, beépített AI-vel és új funkciókkal. Ha még nem ismerkedik az adatintegrációval, kezdje a Fabric Data Factoryvel. A meglévő ADF-számítási feladatok frissíthetők Fabric használatával, hogy elérjék az adatkutatás, a valós idejű elemzés és a jelentéskészítés új képességeit.

• A Fabric ingyenes próbaverzió indítása.
• Az Azure Data Factory-ből a Data Factory-be a Microsoft Fabricben

Az adatkonvergálás magában foglalja az adatok eredeti forrásból való átalakítását és újraformázását, hogy azok megfelelőbbek és hasznosabbak legyenek a különböző alárendelt alkalmazások számára.

A szervezeteknek képesnek kell lennie arra, hogy megvizsgálhassák az adatok előkészítéséhez és kezeléséhez szükséges kritikus üzleti adatokat, hogy pontos elemzést nyújtsanak a napról napra növekvő összetett adatokról. Az adatok előkészítésére azért van szükség, hogy a szervezetek különböző üzleti folyamatokban használják az adatokat, és csökkentsék az értékhez szükséges időt.

A Data Factory lehetővé teszi a kód nélküli adatelőkészítést felhőbeli léptékben, iteratív módon, Power Query használatával. A Data Factory integrálja a Power Query Online-t, és a Power Query M-függvényeket teszi elérhetővé pipeline-tevékenységként.

A Data Factory a Power Query Online Mashup Editor által létrehozott M-t lefordítja felhőbeli méretezés végrehajtására szolgáló Spark-kódra az M Azure Data Factory Adatfolyamokká történő fordításával. Az adatok kezelése a Power Query és az adatfolyamok használatával különösen hasznos az adatmérnökök és/vagy civil adat-integrátorok számára.

Használati esetek

Gyors interaktív adatfeltárás és -előkészítés

Több adatmérnök és állampolgári adat integrátor interaktívan feltárhatja és előkészítheti az adathalmazokat felhőalapú méretekben. Az adattavakban lévő adatok mennyiségének, változatosságának és sebességének növekedésével a felhasználóknak hatékony módszerre van szükségük az adathalmazok feltárásához és előkészítéséhez. Előfordulhat például, hogy létre kell hoznia egy adatkészletet, amely "2017 óta minden ügyfél demográfiai információval rendelkezik az új ügyfelek számára". Önt nem egy ismert célhoz irányították. Az adathalmazok felfedezése, átrendezése és előkészülete egy követelménynek való megfelelés érdekében, mielőtt közzétennénk azokat a tóban. A Wrangling gyakran kevésbé formális elemzési forgatókönyvekhez használatos. Az előtöredezett adathalmazok átalakításokhoz és gépi tanulási műveletekhez használhatók az alsóbb rétegben.

Kód nélküli agilis adatok előkészítése

A civil adat integrátorok az idejük több mint 60%-át az adatok keresése és előkészítése során töltik. Kódmentesen szeretnék megvalósítani, hogy javítsák az operációs hatékonyságot. Az olyan ismert eszközök használata, mint a Power Query Online, lehetővé teszi az adatállampolgár-integrátorok számára, hogy bővítsék, formázzák és közzétegyék az adatokat, ami jelentősen növeli a termelékenységet. Az Azure Data Factory csomagban található adategyesítési eszköz, a jól ismert Power Query Online, lehetőséget nyújt a felhasználók számára, hogy gyorsan kijavítsák a hibákat, szabványosítsák az adatokat és kiváló minőségű adatokat hozzanak létre az üzleti döntések támogatására.

Adatérvényesítés és -feltárás

A gyors elemzés érdekében vizuálisan kódmentesen vizsgálhatja az adatokat, hogy eltávolítsa az esetleges kiugró értékeket, rendellenességeket, és megfeleltethesse azokat egy alakzatnak.

Támogatott források

Csatlakozó	Adatformátum	Hitelesítés típusa
Azure Blob-tároló	CSV, Parquet, Excel	Fiókkulcs, szolgáltatási főszemély, MSI
Azure Data Lake Storage Gen1	CSV, Parquet, Excel	Szolgáltatási főazonosító, MSI
Azure Data Lake Storage Gen2	CSV, Parquet, Excel	Fiókkulcs, szolgáltatási főszemély, MSI
Azure SQL Database	-	SQL-hitelesítés, MSI, szolgáltatásfő
Azure Synapse Analytics	-	SQL-hitelesítés, MSI, szolgáltatásfő

Mashup-szerkesztő

Amikor létrehoz egy Power Query tevékenységet, minden forrásadatkészlet adathalmaz-lekérdezéssé válik, és a ADFResource mappába kerül. Alapértelmezés szerint a UserQuery az első adathalmaz-lekérdezésre mutat. Minden átalakítást el kell végezni a UserQueryben, mivel az adathalmaz-lekérdezések módosításai nem támogatottak, és nem is maradnak meg. A lekérdezések átnevezése, hozzáadása és törlése jelenleg nem támogatott.

Jelenleg nem minden Power Query M függvény támogatott az adatmegrendezéshez annak ellenére, hogy a létrehozás során elérhető. A Power Query tevékenységek létrehozásakor a következő hibaüzenet jelenik meg, ha egy függvény nem támogatott:

The Power Query Spark Runtime does not support the function

A támogatott átalakításokkal kapcsolatos további információkért lásd: Power Query adatátalakító függvények.

Kapcsolódó tartalom

Megtudhatja, hogyan hozhat létre adatcsűrés-csavarás Power Query alkalmazással .