Adatfolyamok leképezése az Azure Data Factoryben

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Mik azok a leképezési adatfolyamok?

A leképezési adatfolyamok vizuálisan megtervezett adatátalakítások az Azure Data Factoryben. Az adatfolyamokkal az adatmérnökök kódírás nélkül fejleszthetnek adatátalakítási logikát. Az eredményként kapott adatfolyamok a kibővített Apache Spark-fürtöket használó Azure Data Factory-folyamatok tevékenységeiként lesznek végrehajtva. Az adatfolyam-tevékenységek az Azure Data Factory meglévő ütemezési, vezérlési, folyamat- és monitorozási képességeivel telepíthetők.

Az adatfolyamok leképezése teljes vizuális élményt biztosít, kódolás nélkül. Az adatfolyamok ADF által felügyelt végrehajtási fürtökön futnak a kibővített adatfeldolgozás érdekében. Az Azure Data Factory kezeli az adatfolyam-feladatok kódfordítását, útvonaloptimalizálását és végrehajtását.

Első lépések

Az adatfolyamok a gyári erőforrások panelről jönnek létre, például folyamatokból és adathalmazokból. Adatfolyam létrehozásához válassza a Gyári erőforrások melletti pluszjelet, majd válassza a Adatfolyam.

Ez a művelet az adatfolyam-vászonra viszi, ahol létrehozhatja az átalakítási logikát. Válassza a Forrás hozzáadása lehetőséget a forrásátalakítás konfigurálásának megkezdéséhez. További információ: Forrásátalakítás.

Adatfolyamok készítése

Az adatfolyamok leképezése egy egyedi szerzői vásznon található, amelyet úgy terveztek, hogy megkönnyítse az átalakítási logika kialakítását. Az adatfolyam-vászon három részből áll: a felső sávból, a gráfból és a konfigurációs panelből.

Grafikon

A gráf megjeleníti az átalakítási adatfolyamot. Megjeleníti a forrásadatok egy vagy több fogadóba való áramlását. Új forrás hozzáadásához válassza a Forrás hozzáadása lehetőséget. Új átalakítás hozzáadásához válassza a meglévő átalakítás jobb alsó sarkában lévő pluszjelet. További információ az adatfolyam-gráf kezeléséről.

Konfigurációs panel

A konfigurációs panel az aktuálisan kiválasztott átalakításra vonatkozó beállításokat jeleníti meg. Ha nincs kijelölt átalakítás, az adatfolyamot jeleníti meg. A teljes adatfolyam-konfigurációban paramétereket adhat hozzá a Paraméterek lapon. További információ: Adatfolyam-paraméterek leképezése.

Minden átalakítás legalább négy konfigurációs lapot tartalmaz.

Átalakítási beállítások

Az egyes átalakítások konfigurációs paneljének első lapja az adott átalakításra vonatkozó beállításokat tartalmazza. További információt az átalakítás dokumentációs oldalán talál.

Optimalizálás

Az Optimalizálás lap a particionálási sémák konfigurálására vonatkozó beállításokat tartalmazza. Az adatfolyamok optimalizálásával kapcsolatos további információkért tekintse meg a leképezési adatfolyam teljesítményére vonatkozó útmutatót.

Vizsgálat

A Vizsgálat lapon megtekintheti az átalakítani kívánt adatfolyam metaadatait. Láthatja az oszlopszámokat, a módosított oszlopokat, a hozzáadott oszlopokat, az adattípusokat, az oszlopsorrendet és az oszlophivatkozásokat. Az Ellenőrzés a metaadatok írásvédett nézete. Nem kell engedélyeznie a hibakeresési módot a metaadatok megtekintéséhez a Vizsgálat panelen.

Amikor átalakításokkal módosítja az adatok alakját, a metaadatok változási folyamata megjelenik a Vizsgálat panelen. Ha nincs definiált séma a forrásátalakításban, akkor a metaadatok nem lesznek láthatók a Vizsgálat panelen. A metaadatok hiánya gyakori a sémaeltolódási forgatókönyvekben.

Adatok előnézete

Ha a hibakeresési mód be van kapcsolva, az Adatok előnézete lapon interaktív pillanatképet láthat az egyes átalakítások adatairól. További információ: Az adatok előnézete hibakeresési módban.

Felső sáv

A felső sáv olyan műveleteket tartalmaz, amelyek befolyásolják a teljes adatfolyamot, például a mentést és az ellenőrzést. Megtekintheti az átalakítási logika mögöttes JSON-kódját és adatfolyam-szkriptét is. További információ az adatfolyam-szkriptről.

Elérhető átalakítások

Az elérhető átalakítások listájának megtekintéséhez tekintse meg a leképezési adatfolyam-átalakítás áttekintését .

Adatfolyam-adattípusok

• array
• bináris
• Logikai
• összetett
• decimális (pontosságot is tartalmaz)
• dátum:
• float
• egész szám
• hosszú
• térkép
• rövid
• húr
• időbélyeg

Adatfolyam-tevékenység

A leképezési adatfolyamok az adatfolyam-tevékenységgel működnek az ADF-folyamatokban. A felhasználónak mindössze meg kell adnia, hogy melyik integrációs modult használja, és adja meg a paraméterértékeket. További információkért tekintse meg az Azure integrációs modult.

Hibakeresési mód

A hibakeresési mód lehetővé teszi az egyes átalakítási lépések eredményeinek interaktív megtekintését az adatfolyamok létrehozása és hibakeresése során. A hibakeresési munkamenet az adatfolyam-logika létrehozásakor és a folyamat hibakeresésének adatfolyam-tevékenységekkel való futtatásakor is használható. További információkért tekintse meg a hibakeresési mód dokumentációját.

Adatfolyamok monitorozása

A leképezési adatfolyam az Azure Data Factory meglévő monitorozási képességeinek a részét képezi. Az adatfolyam-monitorozás kimenetének megismeréséhez tekintse meg a leképezési adatfolyamok monitorozását.

Az Azure Data Factory csapata létrehozott egy teljesítményhangolási útmutatót , amely segít optimalizálni az adatfolyamok végrehajtási idejét az üzleti logika létrehozása után.

Kapcsolódó tartalom

• Megtudhatja, hogyan hozhat létre forrásátalakítást.
• Megtudhatja, hogyan hozhatja létre az adatfolyamokat hibakeresési módban.