Co je Microsoft Fabric Data Engineering?

Microsoft Fabric Data Engineering umožňuje uživatelům navrhovat, budovat a udržovat infrastruktury a systémy, které umožňují jejich organizacím sbírat, ukládat, zpracovávat a analyzovat velké objemy dat.

Fabric poskytuje různé schopnosti datového inženýrství, aby byla vaše data snadno přístupná, dobře uspořádaná a kvalitní. Pokud chcete získat přístup na domovskou stránku datového inženýrství, vyberte Úlohy v navigačním podokně a pak vyberte dlaždici datového inženýrství. Na domovské stránce přípravy dat můžete:

• Vytvořte a spravujte svá data pomocí lakehouse

• Navrhněte kanály pro kopírování dat do datového jezera.

• Použití definic úloh Sparku k odeslání dávkové úlohy nebo úlohy streamování do clusteru Spark

• Používejte poznámkové bloky pro psaní kódu pro příjem dat, přípravu a transformaci

  

Jezerní dům

Lakehouses jsou datové architektury, které organizacím umožňují ukládat a spravovat strukturovaná a nestrukturovaná data v jednom umístění pomocí různých nástrojů a architektur pro zpracování a analýzu dat. Tyto nástroje a architektury můžou zahrnovat dotazy a analýzy založené na SQL a také strojové učení a další pokročilé analytické techniky.

Definice úlohy Apache Sparku

Definice úloh Sparku jsou sada instrukcí, které definují, jak spustit úlohu v clusteru Spark. Obsahuje informace, jako jsou vstupní a výstupní zdroje dat, transformace a nastavení konfigurace pro aplikaci Spark. Definice úlohy Spark umožňuje odeslat dávkovou a streamovací úlohu do clusteru Spark, použít různou logiku transformace na data hostovaná na lakehouse a mnoho dalších.

Zápisník

Poznámkové bloky jsou interaktivní výpočetní prostředí, které umožňuje uživatelům vytvářet a sdílet dokumenty, které obsahují živý kód, rovnice, vizualizace a text vyprávění. Umožňují uživatelům psát a spouštět kód v různých programovacích jazycích, včetně Pythonu, R a Scaly. Poznámkové bloky můžete použít k příjmu dat, přípravě, analýze a dalším úlohám souvisejícím s daty.

Kanál

Kanály představují řadu kroků, které můžou shromažďovat, zpracovávat a transformovat data z nezpracované formy do formátu, který můžete použít k analýze a rozhodování. Jsou důležitou součástí přípravy dat, protože poskytují způsob, jak přesouvat data ze zdroje do cíle spolehlivým, škálovatelným a efektivním způsobem.

Data Engineering můžete využít zdarma, když se přihlásíte do zkušební verze Fabric. Můžete si také koupit Fabric capacity nebo Fabric rezervovanou kapacitu

Související obsah

Začínáme s datovým inženýrstvím:

• Chcete-li se dozvědět více o jezerových domech, podívejte se na Co je to jezerní domek ve Fabric?
• Pro začátek s jezerovým domkem viz Vytvořte jezerní domek v Fabric.
• Další informace o definicích úloh Apache Sparku najdete v tématu Co je definice úlohy Apache Spark?
• Pokud chcete začít s definicí úlohy Apache Spark, přečtěte si téma Vytvoření definice úlohy Apache Spark vFabric .
• Další informace o poznámkových blocích najdete v části Autor a spuštění poznámkového bloku.
• Abyste mohli začít s aktivitou kopírování pipeline, přečtěte si téma Jak kopírovat data pomocí aktivity kopírování.