Adatfolyamok leképezése Azure Data Factory

A KÖVETKEZŐKRE VONATKOZIK: Azure Data Factory Azure Synapse Analytics

Mik azok a leképezési adatfolyamok?

A leképezési adatfolyamok vizuálisan megtervezett adatátalakítások Azure Data Factory. Az adatfolyamok lehetővé teszik az adatmérnökök számára, hogy kódírás nélkül dolgozzanak ki adatátalakítási logikát. Az eredményként kapott adatfolyamok olyan tevékenységekként lesznek végrehajtva Azure Data Factory folyamatokban, amelyek kibővített Apache Spark-fürtöket használnak. Az adatfolyam-tevékenységek a meglévő Azure Data Factory ütemezési, vezérlési, folyamat- és monitorozási képességekkel valósíthatók meg.

A leképezési adatfolyamok teljes körű vizuális élményt biztosítanak kódolás nélkül. Az adatfolyamok ADF által felügyelt végrehajtási fürtökön futnak a kibővített adatfeldolgozás érdekében. Azure Data Factory kezeli az adatfolyam-feladatok összes kódfordítását, útvonaloptimalizálását és végrehajtását.

Első lépések

Az adatfolyamok a gyári erőforrások paneljén jönnek létre, például folyamatokból és adatkészletekből. Adatfolyam létrehozásához válassza a Factory Resources (Gyári erőforrások) melletti pluszjelet, majd válassza a Adatfolyam lehetőséget.

Képernyőkép egy új adatfolyamról. Ez a művelet az adatfolyam-vászonra viszi, ahol létrehozhatja az átalakítási logikát. Válassza a Forrás hozzáadása lehetőséget a forrásátalakítás konfigurálásának megkezdéséhez. További információ: Forrásátalakítás.

Adatfolyamok létrehozása

A leképezési adatfolyam egyedi szerzői vásznon teszi egyszerűvé az átalakítási logikát. Az adatfolyam-vászon három részre van osztva: a felső sávra, a gráfra és a konfigurációs panelre.

Képernyőkép az adatfolyam-vászonról, amelynek felső sávja, grafikonja és konfigurációs panelje címkével van ellátva.

Graph

A gráf megjeleníti az átalakítási adatfolyamot. Megjeleníti a forrásadatok életútját, miközben egy vagy több fogadóba áramlik. Új forrás hozzáadásához válassza a Forrás hozzáadása lehetőséget. Új átalakítás hozzáadásához válassza a pluszjelet egy meglévő átalakítás jobb alsó sarkában. További információ az adatfolyam-gráf kezeléséről.

Képernyőkép a vászon gráfrészéről a Keresés szövegmezővel.

Konfigurációs panel

A konfigurációs panel az aktuálisan kiválasztott átalakításra vonatkozó beállításokat jeleníti meg. Ha nincs kiválasztva átalakítás, akkor az adatfolyamot jeleníti meg. A teljes adatfolyam-konfigurációban a Paraméterek lapon adhat hozzá paramétereket. További információ: Adatfolyam-paraméterek leképezése.

Minden átalakítás legalább négy konfigurációs lapot tartalmaz.

Átalakítási beállítások

Az egyes átalakítások konfigurációs paneljének első lapja az adott átalakításra vonatkozó beállításokat tartalmazza. További információt az átalakítás dokumentációs oldalán talál.

Képernyőkép a forrásbeállítások lapról.

Optimalizálás

Az Optimalizálás lapon a particionálási sémák konfigurálására vonatkozó beállítások találhatók. Az adatfolyamok optimalizálásával kapcsolatos további információkért tekintse meg az adatfolyam-leképezés teljesítményére vonatkozó útmutatót.

Képernyőkép az Optimalizálás lapról, amely tartalmazza a Partíció lehetőséget, a Partíciótípust és a Partíciók számát.

Ellenőrizni

A Vizsgálat lapon megtekintheti az átalakítani kívánt adatfolyam metaadatait. Megtekintheti az oszlopok számát, a módosított oszlopokat, a hozzáadott oszlopokat, az adattípusokat, az oszlopsorrendet és az oszlophivatkozásokat. A Vizsgálat a metaadatok írásvédett nézete. Nem kell engedélyeznie a hibakeresési módot a metaadatok megtekintéséhez a Vizsgálat panelen.

Ellenőrizni

Amikor átalakításokkal módosítja az adatok alakját, a metaadatok módosításainak folyamata megjelenik a Vizsgálat panelen. Ha a forrásátalakításban nincs definiált séma, akkor a metaadatok nem lesznek láthatók a Vizsgálat panelen. A metaadatok hiánya gyakori a sémaelsodrási forgatókönyvekben.

Adatelőnézet

Ha a hibakeresési mód be van kapcsolva, az Adatelőnézet lapon interaktív pillanatképet jeleníthet meg az egyes átalakítások adatairól. További információ: Adatelőnézet hibakeresési módban.

Felső sáv

A felső sáv olyan műveleteket tartalmaz, amelyek hatással vannak a teljes adatfolyamra, például a mentésre és az ellenőrzésre. Megtekintheti az átalakítási logika mögöttes JSON-kódját és adatfolyam-szkriptét is. További információkért tekintse meg az adatfolyam-szkriptet.

Elérhető átalakítások

Az elérhető átalakítások listájának megtekintéséhez tekintse meg a leképezési adatfolyam-átalakítás áttekintését .

Adatfolyam-adattípusok

  • array
  • binary
  • boolean
  • Összetett
  • decimális (pontosságot is tartalmaz)
  • dátum
  • float
  • egész szám
  • hosszú
  • map
  • Rövid
  • sztring
  • időbélyeg

Adatfolyam-tevékenység

A leképezési adatfolyamok az adatfolyam-tevékenységgel működnek az ADF-folyamatokban. A felhasználónak mindössze meg kell adnia, hogy melyik integrációs modult használja, és adja meg a paraméterértékeket. További információkért tekintse meg az Azure integrációs modulját.

Hibakeresési mód

A hibakeresési mód lehetővé teszi az egyes átalakítási lépések eredményeinek interaktív megtekintését az adatfolyamok létrehozása és hibakeresése során. A hibakeresési munkamenet az adatfolyam-logika létrehozásakor és a folyamat hibakeresési futtatásakor is használható adatfolyam-tevékenységekkel. További információért tekintse meg a hibakeresési mód dokumentációját.

Adatfolyamok monitorozása

A leképezési adatfolyam az Azure Data Factory meglévő monitorozási képességeinek a részét képezi. Az adatfolyam-monitorozás kimenetének megismeréséhez tekintse meg a leképezési adatfolyamok monitorozását ismertető cikket.

A Azure Data Factory csapata létrehozott egy teljesítményhangolási útmutatót, amely segít optimalizálni az adatfolyamok végrehajtási idejét az üzleti logika létrehozása után.

Elérhető régiók

A leképezési adatfolyamok az ADF következő régióiban érhetők el:

Azure-régió Adatfolyamok az ADF-ben
Ausztrália középső régiója
Ausztrália 2. középső régiója
Kelet-Ausztrália
Délkelet-Ausztrália
Dél-Brazília
Közép-Kanada
Közép-India
Az USA középső régiója
Kelet-Kína
Kína keleti régiója 2
Kína nem regionális
Észak-Kína
Észak-Kína 2
Kelet-Ázsia
USA keleti régiója
USA 2. keleti régiója
Közép-Franciaország
Dél-Franciaország
Németország középső régiója (szuverén)
Németország nem regionális (szuverén)
Észak-Németország (nyilvános)
Németország északkeleti régiója (szuverén)
Németország nyugati középső régiója (nyilvános)
Kelet-Japán
Nyugat-Japán
Dél-Korea középső régiója
Dél-Korea déli régiója
USA északi középső régiója
Észak-Európa
Kelet-Norvégia
Nyugat-Norvégia
Dél-Afrika északi régiója
Dél-Afrika nyugati régiója
USA déli középső régiója
Dél-India
Délkelet-Ázsia
Észak-Svájc
Nyugat-Svájc
Egyesült Arab Emírségek középső régiója
Egyesült Arab Emírségek északi régiója
Az Egyesült Királyság déli régiója
Az Egyesült Királyság nyugati régiója
US DoD – Középső régió
US DoD – Kelet
USA-beli államigazgatás – Arizona
USA-beli gov nem regionális
USA-beli államigazgatás – Texas
USA-beli államigazgatás – Virginia
USA nyugati középső régiója
Nyugat-Európa
Nyugat-India
USA nyugati régiója
USA 2. nyugati régiója
USA 3. nyugati régiója

Következő lépések