Adatfolyamok leképezése Azure Data Factory
A KÖVETKEZŐKRE VONATKOZIK:
Azure Data Factory Azure Synapse Analytics
Mik azok a leképezési adatfolyamok?
A leképezési adatfolyamok vizuálisan megtervezett adatátalakítások Azure Data Factory. Az adatfolyamok lehetővé teszik az adatmérnökök számára, hogy kódírás nélkül dolgozzanak ki adatátalakítási logikát. Az eredményként kapott adatfolyamok olyan tevékenységekként lesznek végrehajtva Azure Data Factory folyamatokban, amelyek kibővített Apache Spark-fürtöket használnak. Az adatfolyam-tevékenységek a meglévő Azure Data Factory ütemezési, vezérlési, folyamat- és monitorozási képességekkel valósíthatók meg.
A leképezési adatfolyamok teljes körű vizuális élményt biztosítanak kódolás nélkül. Az adatfolyamok ADF által felügyelt végrehajtási fürtökön futnak a kibővített adatfeldolgozás érdekében. Azure Data Factory kezeli az adatfolyam-feladatok összes kódfordítását, útvonaloptimalizálását és végrehajtását.
Első lépések
Az adatfolyamok a gyári erőforrások paneljén jönnek létre, például folyamatokból és adatkészletekből. Adatfolyam létrehozásához válassza a Factory Resources (Gyári erőforrások) melletti pluszjelet, majd válassza a Adatfolyam lehetőséget.
Ez a művelet az adatfolyam-vászonra viszi, ahol létrehozhatja az átalakítási logikát. Válassza a Forrás hozzáadása lehetőséget a forrásátalakítás konfigurálásának megkezdéséhez. További információ: Forrásátalakítás.
Adatfolyamok létrehozása
A leképezési adatfolyam egyedi szerzői vásznon teszi egyszerűvé az átalakítási logikát. Az adatfolyam-vászon három részre van osztva: a felső sávra, a gráfra és a konfigurációs panelre.
Graph
A gráf megjeleníti az átalakítási adatfolyamot. Megjeleníti a forrásadatok életútját, miközben egy vagy több fogadóba áramlik. Új forrás hozzáadásához válassza a Forrás hozzáadása lehetőséget. Új átalakítás hozzáadásához válassza a pluszjelet egy meglévő átalakítás jobb alsó sarkában. További információ az adatfolyam-gráf kezeléséről.
Konfigurációs panel
A konfigurációs panel az aktuálisan kiválasztott átalakításra vonatkozó beállításokat jeleníti meg. Ha nincs kiválasztva átalakítás, akkor az adatfolyamot jeleníti meg. A teljes adatfolyam-konfigurációban a Paraméterek lapon adhat hozzá paramétereket. További információ: Adatfolyam-paraméterek leképezése.
Minden átalakítás legalább négy konfigurációs lapot tartalmaz.
Átalakítási beállítások
Az egyes átalakítások konfigurációs paneljének első lapja az adott átalakításra vonatkozó beállításokat tartalmazza. További információt az átalakítás dokumentációs oldalán talál.
Optimalizálás
Az Optimalizálás lapon a particionálási sémák konfigurálására vonatkozó beállítások találhatók. Az adatfolyamok optimalizálásával kapcsolatos további információkért tekintse meg az adatfolyam-leképezés teljesítményére vonatkozó útmutatót.
Ellenőrizni
A Vizsgálat lapon megtekintheti az átalakítani kívánt adatfolyam metaadatait. Megtekintheti az oszlopok számát, a módosított oszlopokat, a hozzáadott oszlopokat, az adattípusokat, az oszlopsorrendet és az oszlophivatkozásokat. A Vizsgálat a metaadatok írásvédett nézete. Nem kell engedélyeznie a hibakeresési módot a metaadatok megtekintéséhez a Vizsgálat panelen.
Amikor átalakításokkal módosítja az adatok alakját, a metaadatok módosításainak folyamata megjelenik a Vizsgálat panelen. Ha a forrásátalakításban nincs definiált séma, akkor a metaadatok nem lesznek láthatók a Vizsgálat panelen. A metaadatok hiánya gyakori a sémaelsodrási forgatókönyvekben.
Adatelőnézet
Ha a hibakeresési mód be van kapcsolva, az Adatelőnézet lapon interaktív pillanatképet jeleníthet meg az egyes átalakítások adatairól. További információ: Adatelőnézet hibakeresési módban.
Felső sáv
A felső sáv olyan műveleteket tartalmaz, amelyek hatással vannak a teljes adatfolyamra, például a mentésre és az ellenőrzésre. Megtekintheti az átalakítási logika mögöttes JSON-kódját és adatfolyam-szkriptét is. További információkért tekintse meg az adatfolyam-szkriptet.
Elérhető átalakítások
Az elérhető átalakítások listájának megtekintéséhez tekintse meg a leképezési adatfolyam-átalakítás áttekintését .
Adatfolyam-adattípusok
- array
- binary
- boolean
- Összetett
- decimális (pontosságot is tartalmaz)
- dátum
- float
- egész szám
- hosszú
- map
- Rövid
- sztring
- időbélyeg
Adatfolyam-tevékenység
A leképezési adatfolyamok az adatfolyam-tevékenységgel működnek az ADF-folyamatokban. A felhasználónak mindössze meg kell adnia, hogy melyik integrációs modult használja, és adja meg a paraméterértékeket. További információkért tekintse meg az Azure integrációs modulját.
Hibakeresési mód
A hibakeresési mód lehetővé teszi az egyes átalakítási lépések eredményeinek interaktív megtekintését az adatfolyamok létrehozása és hibakeresése során. A hibakeresési munkamenet az adatfolyam-logika létrehozásakor és a folyamat hibakeresési futtatásakor is használható adatfolyam-tevékenységekkel. További információért tekintse meg a hibakeresési mód dokumentációját.
Adatfolyamok monitorozása
A leképezési adatfolyam az Azure Data Factory meglévő monitorozási képességeinek a részét képezi. Az adatfolyam-monitorozás kimenetének megismeréséhez tekintse meg a leképezési adatfolyamok monitorozását ismertető cikket.
A Azure Data Factory csapata létrehozott egy teljesítményhangolási útmutatót, amely segít optimalizálni az adatfolyamok végrehajtási idejét az üzleti logika létrehozása után.
Elérhető régiók
A leképezési adatfolyamok az ADF következő régióiban érhetők el:
| Azure-régió | Adatfolyamok az ADF-ben |
|---|---|
| Ausztrália középső régiója | |
| Ausztrália 2. középső régiója | |
| Kelet-Ausztrália | ✓ |
| Délkelet-Ausztrália | ✓ |
| Dél-Brazília | ✓ |
| Közép-Kanada | ✓ |
| Közép-India | ✓ |
| Az USA középső régiója | ✓ |
| Kelet-Kína | |
| Kína keleti régiója 2 | |
| Kína nem regionális | |
| Észak-Kína | ✓ |
| Észak-Kína 2 | ✓ |
| Kelet-Ázsia | ✓ |
| USA keleti régiója | ✓ |
| USA 2. keleti régiója | ✓ |
| Közép-Franciaország | ✓ |
| Dél-Franciaország | |
| Németország középső régiója (szuverén) | |
| Németország nem regionális (szuverén) | |
| Észak-Németország (nyilvános) | |
| Németország északkeleti régiója (szuverén) | |
| Németország nyugati középső régiója (nyilvános) | ✓ |
| Kelet-Japán | ✓ |
| Nyugat-Japán | ✓ |
| Dél-Korea középső régiója | ✓ |
| Dél-Korea déli régiója | |
| USA északi középső régiója | ✓ |
| Észak-Európa | ✓ |
| Kelet-Norvégia | ✓ |
| Nyugat-Norvégia | |
| Dél-Afrika északi régiója | ✓ |
| Dél-Afrika nyugati régiója | |
| USA déli középső régiója | |
| Dél-India | ✓ |
| Délkelet-Ázsia | ✓ |
| Észak-Svájc | ✓ |
| Nyugat-Svájc | |
| Egyesült Arab Emírségek középső régiója | |
| Egyesült Arab Emírségek északi régiója | ✓ |
| Az Egyesült Királyság déli régiója | ✓ |
| Az Egyesült Királyság nyugati régiója | |
| US DoD – Középső régió | |
| US DoD – Kelet | |
| USA-beli államigazgatás – Arizona | ✓ |
| USA-beli gov nem regionális | |
| USA-beli államigazgatás – Texas | |
| USA-beli államigazgatás – Virginia | ✓ |
| USA nyugati középső régiója | |
| Nyugat-Európa | ✓ |
| Nyugat-India | ✓ |
| USA nyugati régiója | ✓ |
| USA 2. nyugati régiója | ✓ |
| USA 3. nyugati régiója | ✓ |
Következő lépések
- Megtudhatja, hogyan hozhat létre forrásátalakítást.
- Megtudhatja, hogyan hozhat létre adatfolyamokat hibakeresési módban.