Az adatfolyamok leképezése az Azure Data Factory-ben

Vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Data Factory a Microsoft Fabric a Azure Data Factory következő generációja, egyszerűbb architektúrával, beépített AI-vel és új funkciókkal. Ha még nem ismerkedik az adatintegrációval, kezdje a Fabric Data Factoryvel. A meglévő ADF-számítási feladatok frissíthetők Fabric használatával, hogy elérjék az adatkutatás, a valós idejű elemzés és a jelentéskészítés új képességeit.

• A Fabric ingyenes próbaverzió indítása.
• Az Azure Data Factory-ből a Data Factory-be a Microsoft Fabricben

Tipp.

• Ha össze szeretné hasonlítani az adatfolyam-átalakításokat az adatfolyam gen2-ekvivalenseinek megfeleltetésével, tekintse meg az Adatfolyam Gen2 útmutatóját az adatfolyam-felhasználók leképezéséhez.
• A Microsoft Fabric adatátalakításait a Dataflow Gen2 áttekintésében tekintheti meg.

Mik azok a leképezési adatfolyamok?

A leképezési adatfolyamok az Azure Data Factory-ben vizuálisan megtervezett adatátalakítások. Az adatfolyamokkal az adatmérnökök kódírás nélkül fejleszthetnek adatátalakítási logikát. Az eredményként kapott adatfolyamok olyan tevékenységekként lesznek végrehajtva Azure Data Factory folyamatokban, amelyek kibővített Apache Spark-fürtöket használnak. Az adatfolyam-tevékenységek a meglévő Azure Data Factory ütemezési, vezérlési, folyamat- és monitorozási képességekkel telepíthetők.

Az adatfolyamok leképezése teljes vizuális élményt biztosít, kódolás nélkül. Az adatfolyamok ADF által felügyelt végrehajtási fürtökön futnak a kibővített adatfeldolgozás érdekében. Azure Data Factory kezeli az adatfolyam-feladatok összes kódfordítását, útvonaloptimalizálását és végrehajtását.

Első lépések

Az adatfolyamok a gyári erőforrások panelről jönnek létre, például folyamatokból és adathalmazokból. Data flow létrehozásához válassza a pluszjelet a Erőforrások mellett, majd válassza a Adatfolyam lehetőséget.

Ez a művelet az adatfolyam-vászonra viszi, ahol létrehozhatja az átalakítási logikát. Válassza a Forrás hozzáadása lehetőséget a forrásátalakítás konfigurálásának megkezdéséhez. További információ: Forrásátalakítás.

Adatfolyamok készítése

Az adatfolyamok leképezése egy egyedi szerzői vásznon található, amelyet úgy terveztek, hogy megkönnyítse az átalakítási logika kialakítását. Az adatfolyam-vászon három részből áll: a felső sávból, a gráfból és a konfigurációs panelből.

Graph

A gráf megjeleníti az átalakítási adatfolyamot. Megjeleníti a forrásadatok leszármazását, ahogy egy vagy több fogadóba áramlanak. A fogadóhelyek lehetnek olyan célhelyek, ahová az átalakított adatokat szeretné eljuttatni. Új forrás hozzáadásához válassza a Forrás hozzáadása lehetőséget. Új átalakítás hozzáadásához válassza a meglévő átalakítás jobb alsó sarkában lévő pluszjelet. További információ az adatfolyam-gráf kezeléséről.

Konfigurációs panel

A konfigurációs panel az aktuálisan kiválasztott átalakításra vonatkozó beállításokat jeleníti meg. Ha nincs kijelölt átalakítás, az adatfolyamot jeleníti meg. A teljes adatfolyam-konfigurációban paramétereket adhat hozzá a Paraméterek lapon. További információ: Adatfolyam-paraméterek leképezése.

Minden átalakítás legalább négy konfigurációs lapot tartalmaz.

Átalakítási beállítások

Az egyes átalakítások konfigurációs paneljének első lapja az adott átalakításra vonatkozó beállításokat tartalmazza. További információt az átalakítás dokumentációs oldalán talál.

Optimalizálás

Az Optimalizálás lap a particionálási sémák konfigurálására vonatkozó beállításokat tartalmazza. Az adatfolyamok optimalizálásával kapcsolatos további információkért tekintse meg a leképezési adatfolyam teljesítményére vonatkozó útmutatót.

Ellenőriz

A Vizsgálat lapon megtekintheti az átalakítani kívánt adatfolyam metaadatait. Láthatja az oszlopszámokat, a módosított oszlopokat, a hozzáadott oszlopokat, az adattípusokat, az oszlopsorrendet és az oszlophivatkozásokat. Az Ellenőrzés a metaadatok írásvédett nézete. Nem kell engedélyeznie a hibakeresési módot a metaadatok megtekintéséhez a Vizsgálat panelen.

Amikor átalakításokkal módosítja az adatok alakját, a metaadatok változásainak folyamata a Vizsgálat panelen látható. Ha nincs definiált séma a forrásátalakításban, akkor a metaadatok nem láthatók a Vizsgálat panelen. A metaadatok hiánya gyakori a sémaeltolódási forgatókönyvekben.

Adatok előnézete

Ha a hibakeresési mód be van kapcsolva, az Adatok előnézete lapon interaktív pillanatképet láthat az egyes átalakítások adatairól. További információ: Az adatok előnézete hibakeresési módban.

Felső sáv

A felső sáv olyan műveleteket tartalmaz, amelyek befolyásolják a teljes adatfolyamot, például a mentést és az ellenőrzést. Megtekintheti az átalakítási logika mögöttes JSON-kódját és adatfolyam-szkriptét is. További információ az adatfolyam-szkriptről.

Elérhető átalakítások

Az elérhető átalakítások listájának megtekintéséhez tekintse meg a leképezési adatfolyam-átalakítás áttekintését .

Adatfolyam-adattípusok

• tömb
• bináris
• boolean
• összetett
• decimális (pontosságot is tartalmaz)
• dátum:
• float
• egész szám
• hosszú
• leképez
• rövid
• karakterlánc
• timestamp

Adatfolyam-tevékenység

Az ADF-folyamatokban a leképezési adatfolyamok a data flow tevékenység révén vannak operacionalizálva. A felhasználónak mindössze meg kell adnia, hogy melyik integrációs modult használja, és adja meg a paraméterértékeket. További információkat találhat a(z) Azure integrációs modulról.

Hibakeresési mód

A hibakeresési mód lehetővé teszi az egyes átalakítási lépések eredményeinek interaktív megtekintését az adatfolyamok létrehozása és hibakeresése során. A hibakeresési munkamenet az adatfolyamlogika létrehozásakor és a folyamat hibakeresési futtatásakor is használható adatfolyam-tevékenységekkel. További információkért tekintse meg a hibakeresési mód dokumentációját.

Adatfolyamok monitorozása

A leképezési adatfolyam integrálható a meglévő Azure Data Factory monitorozási képességekkel. Az adatfolyam-monitorozás kimenetének megismeréséhez tekintse meg a leképezési adatfolyamok monitorozását.

A Azure Data Factory csapat létrehozott egy a teljesítményhangolási útmutatót, amely segít optimalizálni az adatfolyamok végrehajtási idejét az üzleti logika létrehozása után.

Kapcsolódó tartalom

• Ismerje meg, hogyan hozhat létre forrásátalakítást.
• Megtudhatja, hogyan hozhatja létre az adatfolyamokat hibakeresési módban.