Průvodce rozhodováním Microsoft Fabric: aktivita kopírování, tok dat nebo Spark

  • Článek

Tento referenční průvodce a ukázkové scénáře vám pomůžou při rozhodování, jestli potřebujete aktivitu kopírování, tok dat nebo Spark pro úlohy Microsoft Fabric.

vlastnosti aktivita Copy, toku dat a Sparku

Aktivita kopírování kanálu Tok dat Gen2 Spark
Případ použití Migrace data lake a datového skladu,
příjem dat,
odlehčená transformace		 Příjem dat
transformace dat,
transformace dat,
profilace dat		 Příjem dat
transformace dat,
zpracování údajů,
profilace dat
Primární osoba vývojáře Datový inženýr,
integrátor dat		 Datový inženýr,
integrátor dat,
obchodní analytik		 Datový inženýr,
datový vědec,
vývojář dat
Sada dovedností primárního vývojáře ETL
SQL
JSON		 ETL
M
SQL		 Spark (Scala, Python, Spark SQL, R)
Napsaný kód Žádný kód,
nízký kód		 Žádný kód,
nízký kód		 Kód
Objem dat Nízký až vysoký Nízký až vysoký Nízký až vysoký
Vývojové rozhraní Průvodce
Plátně		 Power Query Poznámkový blok
Definice úlohy Sparku
Zdrojů Více než 30 konektorů Více než 150 konektorů Stovky knihoven Sparku
Destinací Více než 18 konektorů Jezero,
Databáze Azure SQL,
Azure Data Explorer,
Azure Synapse Analytics		 Stovky knihoven Sparku
Složitost transformace Nízké:
lightweight – převod typu, mapování sloupců, sloučení/rozdělení souborů, zploštěná hierarchie		 Nízká až vysoká:
Transformace s více než 300 funkcemi		 Nízká až vysoká:
podpora nativních knihoven Spark a opensourcových knihoven

Projděte si následující tři scénáře, které vám pomůžou s výběrem způsobu práce s daty v prostředcích infrastruktury.

Scénář 1

Leo, datový inženýr, potřebuje ingestovat velký objem dat z externích systémů, a to jak z místního prostředí, tak z cloudu. Mezi tyto externí systémy patří databáze, systémy souborů a rozhraní API. Leo nechce psát a udržovat kód pro každou operaci přesunu dat nebo konektoru. Chce dodržovat osvědčené postupy pro medailiónové vrstvy s bronzovou, stříbrnou a zlatou. Leo nemá žádné zkušenosti se Sparkem, takže dává přednost uživatelskému rozhraní pro přetahování co nejvíce, s minimálním kódováním. A také chce zpracovávat data podle plánu.

Prvním krokem je získání nezpracovaných dat do bronzové vrstvy lakehouse z datových prostředků Azure a různých zdrojů třetích stran (například Snowflake Web, REST, AWS S3, GCS atd.). Chce konsolidovaný jezero, takže všechna data z různých obchodních, místních a cloudových zdrojů se nacházejí na jednom místě. Leo zkontroluje možnosti a vybere aktivitu kopírování kanálu jako odpovídající volbu pro jeho nezpracovanou binární kopii. Tento model platí pro historickou i přírůstkovou aktualizaci dat. Při aktivitě kopírování může Leo načíst zlatá data do datového skladu bez kódu, pokud je potřeba, a kanály poskytují vysoce škálovatelný příjem dat, který může přesouvat petabajtová data. aktivita Copy je nejlepší volbou s nízkým kódem a bez kódu pro přesun petabajtů dat do jezer a skladů z odrůd zdrojů, a to buď ad hoc, nebo prostřednictvím plánu.

Scénář 2

Mary je datový inženýr s hlubokými znalostmi požadavků na generování analytických sestav LOB. Nadřazený tým úspěšně implementoval řešení pro migraci několika historických a přírůstkových dat obchodního týmu do společného jezera. Mary má za úkol vyčistit data, použít obchodní logiku a načíst je do několika cílů (jako je Azure SQL DB, ADX a lakehouse) při přípravě na příslušné týmy pro vytváření sestav.

Mary je zkušený uživatel Power Query a objem dat je v nízkém až středním rozsahu, aby dosáhl požadovaného výkonu. Toky dat poskytují rozhraní bez kódu nebo nízkého kódu pro ingestování dat ze stovek zdrojů dat. S toky dat můžete transformovat data pomocí 300+ možností transformace dat a zapisovat výsledky do více cílů pomocí snadno použitelného, vysoce vizuálního uživatelského rozhraní. Mary zkontroluje možnosti a rozhodne se, že má smysl používat tok dat Gen 2 jako preferovanou možnost transformace.

Scénář 3

Adam je datový inženýr pracující ve velké maloobchodní společnosti, která používá lakehouse k ukládání a analýze zákaznických dat. V rámci své práce zodpovídá Adam za vytváření a údržbu datových kanálů, které extrahují, transformují a načítají data do jezera. Jednou z obchodních požadavků společnosti je provádět analýzy kontrol zákazníků, abyste získali přehled o zkušenostech svých zákazníků a zlepšili své služby.

Adam rozhodne, že nejlepší možností je použít Spark k sestavení logiky extrakce a transformace. Spark poskytuje distribuovanou výpočetní platformu, která dokáže paralelně zpracovávat velké objemy dat. Zapisuje aplikaci Spark pomocí Pythonu nebo Scaly, která čte strukturovaná, částečně strukturovaná a nestrukturovaná data z OneLake pro recenze zákazníků a zpětnou vazbu. Aplikace vyčistí, transformuje a zapisuje data do tabulek Delta v jezeře. Data jsou pak připravená k použití pro podřízenou analýzu.

Související obsah