Adatfolyamok a Azure Synapse Analyticsben

Mik azok az adatfolyamok?

Az adatfolyamok vizuálisan megtervezett adatátalakítások Azure Synapse Analyticsben. Az adatfolyamok lehetővé teszik az adatmérnökök számára, hogy kódírás nélkül dolgozzanak ki adatátalakítási logikát. Az eredményként kapott adatfolyamok Azure Synapse Analytics-folyamatok tevékenységeiként lesznek végrehajtva, amelyek kibővített Apache Spark-fürtöket használnak. Az adatfolyam-tevékenységek a meglévő Azure Synapse Analytics ütemezési, vezérlési, folyamat- és monitorozási képességeivel valósíthatók meg.

Az adatfolyamok teljes vizuális élményt biztosítanak, kódolás nélkül. Az adatfolyamok Synapse által felügyelt végrehajtási fürtökön futnak a kibővített adatfeldolgozáshoz. Azure Synapse Analytics kezeli az adatfolyam-feladatok összes kódfordítását, útvonal-optimalizálását és végrehajtását.

Első lépések

Az adatfolyamok a Synapse Studio Fejlesztés paneljén jönnek létre. Adatfolyam létrehozásához válassza a Fejlesztés melletti pluszjelet, majd válassza a Adatfolyam lehetőséget.

Ez a művelet az adatfolyam-vászonra viszi, ahol létrehozhatja az átalakítási logikát. Válassza a Forrás hozzáadása lehetőséget a forrásátalakítás konfigurálásának megkezdéséhez. További információ: Forrásátalakítás.

Adatfolyamok készítése

Az adatfolyam egyedi szerzői vásznon teszi egyszerűvé az átalakítási logikát. Az adatfolyam-vászon három részre van osztva: a felső sávra, a gráfra és a konfigurációs panelre.

Graph

A gráf megjeleníti az átalakítási adatfolyamot. Megjeleníti a forrásadatok egy vagy több fogadóba való áramlását. Új forrás hozzáadásához válassza a Forrás hozzáadása lehetőséget. Új átalakítás hozzáadásához válassza a pluszjelet egy meglévő átalakítás jobb alsó sarkában. További információ az adatfolyam-gráf kezeléséről.

Konfigurációs panel

A konfigurációs panel az aktuálisan kiválasztott átalakításra vonatkozó beállításokat jeleníti meg. Ha nincs kiválasztva átalakítás, akkor az adatfolyamot jeleníti meg. A teljes adatfolyam-konfigurációban paramétereket adhat hozzá a Paraméterek lapon. További információ: Adatfolyam-paraméterek.

Minden átalakítás legalább négy konfigurációs lapot tartalmaz.

Átalakítási beállítások

Az egyes átalakítások konfigurációs paneljének első lapja az adott átalakításra vonatkozó beállításokat tartalmazza. További információt az átalakítás dokumentációs oldalán talál.

Optimalizálás

Az Optimalizálás lapon a particionálási sémák konfigurálására vonatkozó beállítások találhatók. Ha többet szeretne megtudni az adatfolyamok optimalizálásáról, tekintse meg az adatfolyamok teljesítményének leképezésével kapcsolatos útmutatót.

Ellenőrizni

A Vizsgálat lapon megtekintheti az átalakítani kívánt adatfolyam metaadatait. Láthatja az oszlopszámokat, a módosított oszlopokat, a hozzáadott oszlopokat, az adattípusokat, az oszlopsorrendet és az oszlophivatkozásokat. Az Ellenőrzés a metaadatok írásvédett nézete. Nem kell engedélyeznie a hibakeresési módot a metaadatok megtekintéséhez a Vizsgálat panelen.

Amikor átalakításokkal módosítja az adatok alakját, a metaadatok módosításainak folyamata megjelenik a Vizsgálat panelen. Ha nincs definiált séma a forrásátalakításban, a metaadatok nem lesznek láthatók a Vizsgálat panelen. A metaadatok hiánya gyakori a sémaelsodrási forgatókönyvekben.

Adatelőnézet

Ha a hibakeresési mód be van kapcsolva, az Adatok előnézete lapon interaktív pillanatképet jeleníthet meg az egyes átalakítások adatairól. További információt az Adatok előnézete hibakeresési módban című témakörben talál.

Felső sáv

A felső sáv olyan műveleteket tartalmaz, amelyek befolyásolják a teljes adatfolyamot, például az ellenőrzési és hibakeresési beállításokat. Megtekintheti az átalakítási logika mögöttes JSON-kódját és adatfolyam-szkriptét is.

Elérhető átalakítások

Az elérhető átalakítások listájának megtekintéséhez tekintse meg a leképezési adatfolyam-átalakítás áttekintését .

Adatfolyam-tevékenység

Az adatfolyamok az adatfolyam-tevékenységgel Azure Synapse Analytics-folyamatokon belül vannak üzembehelyezve. A felhasználónak mindössze meg kell adnia, hogy melyik integrációs modult használja, és adja meg a paraméterértékeket. További információkért tekintse meg az Azure integrációs modult.

Hibakeresési mód

A hibakeresési mód lehetővé teszi az egyes átalakítási lépések eredményeinek interaktív megtekintését az adatfolyamok létrehozása és hibakeresése során. A hibakeresési munkamenet az adatfolyam-logika létrehozásakor és a folyamat hibakeresési futtatásakor is használható adatfolyam-tevékenységekkel. További információért tekintse meg a hibakeresési mód dokumentációját.

Adatfolyamok monitorozása

Az adatfolyam integrálható a meglévő Azure Synapse Analytics monitorozási képességekkel. Az adatfolyam-monitorozás kimenetének megismeréséhez tekintse meg a leképezési adatfolyamok monitorozását ismertető cikket.

A Azure Synapse Analytics csapata létrehozott egy teljesítményhangolási útmutatót, amely segít optimalizálni az adatfolyamok végrehajtási idejét az üzleti logika létrehozása után.

Következő lépések

• Megtudhatja, hogyan hozhat létre forrásátalakítást.
• Megtudhatja, hogyan hozhat létre adatfolyamokat hibakeresési módban.