Data Factory– végpontok közötti forgatókönyv: bevezetés és architektúra

Ez az oktatóanyag segít felgyorsítani a Data Factory kiértékelési folyamatát a Microsoft Fabricben azáltal, hogy egy órán belül részletes útmutatást nyújt egy teljes adatintegrációs forgatókönyvhöz. Az oktatóanyag végére megismerkedhet a Data Factory értékével és kulcsfontosságú képességeivel, és megismerheti, hogyan hajthat végre egy közös, teljes körű adatintegrációs forgatókönyvet.

Áttekintés: Miért a Data Factory a Microsoft Fabricben?

Ez a szakasz segít megérteni a Fabric általános szerepét, és hogy a Data Factory milyen szerepet játszik benne.

A Microsoft Fabric értékének megismerése

A Microsoft Fabric egy egyablakos webáruházat biztosít minden vállalat elemzési igényeinek kielégítéséhez. A szolgáltatás teljes spektrumát lefedi, beleértve az adatáthelyezést, a data lake-t, az adatelemzést, az adatintegrációt és az adatelemzést, a valós idejű elemzést és az üzleti intelligenciát. A Fabricben nincs szükség több gyártó különböző szolgáltatásainak összefűzésére. Ehelyett a felhasználók egy teljes körű, nagy mértékben integrált, egyetlen és átfogó terméket élveznek, amely könnyen érthető, előkészíthető, létrehozható és kezelhető.

A Data Factory értékének megismerése a Microsoft Fabricben

A Data Factory in Fabric egyesíti a Power Query egyszerű használatát az Azure Data Factory skálájával és teljesítményével. A két termék közül a legjobbat egyesíti egy egységes élményben. A cél az, hogy adatintegráció a Factoryben jól működjön mind a polgárok, mind a professzionális adatfejlesztők számára. Alacsony kódszámú, AI-kompatibilis adat-előkészítési és átalakítási élményt, petabájtszintű átalakítást, több száz hibrid, többfelhős kapcsolatot biztosító összekötőt biztosít. A Purview vállalatirányítást biztosít, a szolgáltatás pedig nagyvállalati szintű adat-/op-kötelezettségvállalásokat, CI/CD-t, alkalmazás-életciklus-felügyeletet és monitorozást biztosít.

Bevezetés – A Data Factory három fő funkciójának megismerése

• Adatbetöltés: A folyamatok Copy tevékenység lehetővé teszi a petabájt méretű adatok több száz adatforrásból való áthelyezését a data Lakehouse-ba további feldolgozás céljából.
• Adatátalakítás és -előkészítés: A Gen2 adatfolyam alacsony kódszámú felületet biztosít az adatok 300+ adatátalakítással történő átalakításához, így az átalakított eredményeket több célhelyre is betöltheti, például Azure SQL-adatbázisokba, Lakehouse-ba stb.
• A végpontok közötti integrációs folyamat automatizálása: A folyamatok olyan tevékenységek vezénylését biztosítják, amelyek többek között másolási, adatfolyam- és jegyzetfüzettevékenységeket tartalmaznak. Ez lehetővé teszi, hogy minden tevékenységet egy helyen kezeljen. A folyamatok tevékenységei egymás után is összekapcsolhatók, vagy egymástól függetlenül, párhuzamosan is működhetnek.

Ebben a végpontok közötti adatintegrálási használati esetben a következő ismereteket ismerheti meg:

• Adatok betöltése a másolási segéd használatával egy folyamatban
• Hogyan alakíthatja át az adatokat egy kód nélküli felülettel rendelkező adatfolyam használatával, vagy saját kód megírásával az adatok szkript- vagy jegyzetfüzet-tevékenységgel történő feldolgozásához
• A teljes teljes körű adatintegrációs folyamat automatizálása triggerekkel és rugalmas vezérlési folyamatokkal rendelkező folyamat használatával.

Felépítés

A következő 50 percben egy teljes körű adatintegrációs forgatókönyv végrehajtásával lesz megbízva. Ez magában foglalja a nyers adatok betöltését egy forrástárból egy Lakehouse Bronz táblájába, feldolgozva az összes adatot, áthelyezni azokat a data Lakehouse Gold táblájába, e-mailt küldeni, hogy értesítést küldjön, ha az összes feladat befejeződött, és végül állítsa be a teljes folyamatot ütemezett futtatásra.

A forgatókönyv három modulból áll:

• 1. modul: Hozzon létre egy folyamatot a Data Factoryvel a nyers adatok Blob Storage-ból egy bronz táblába való betöltéséhez egy data Lakehouse-ban.
• 2. modul: Adatok átalakítása adatfolyammal a Data Factoryben , hogy feldolgozhassa a nyers adatokat a Bronz táblából, és áthelyezhesse azokat egy Gold táblába a data Lakehouse-ban.
• 3. modul: Az első adatintegrációs folyamat befejezéséhez küldjön egy e-mailt, amely értesíti Önt, ha az összes feladat befejeződött, és végül állítsa be a teljes folyamatot ütemezett futtatásra.

Az oktatóanyag adatforrásaként az NYC-Taxi mintaadatkészletet használja. Miután végzett, betekintést nyerhet a taxidíjak napi kedvezményeibe egy adott időszakra a Data Factory használatával a Microsoft Fabricben.

Kapcsolódó tartalom

A Data Factory a Microsoft Fabricben való első adatintegrációjához kapcsolódó, a végpontok közötti oktatóanyag bevezetőjében a következőket tanulta meg:

• A Microsoft Fabric értéke és szerepe
• A Data Factory értéke és szerepe a Hálóban
• A Data Factory főbb jellemzői
• Az oktatóanyagban megismert információk

Folytassa a következő szakaszt az adatfolyam létrehozásához.

1. modul: Folyamat létrehozása a Data Factoryvel