Leképezési adatfolyamok paraméterezése

Vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Data Factory a Microsoft Fabric a Azure Data Factory következő generációja, egyszerűbb architektúrával, beépített AI-vel és új funkciókkal. Ha még nem ismerkedik az adatintegrációval, kezdje a Fabric Data Factoryvel. A meglévő ADF-számítási feladatok frissíthetők Fabric használatával, hogy elérjék az adatkutatás, a valós idejű elemzés és a jelentéskészítés új képességeit.

• A Fabric ingyenes próbaverzió indítása.
• Az Azure Data Factory-ből a Data Factory-be a Microsoft Fabricben

A paraméterek használatát Azure Data Factory és Synapse-folyamatok adatfolyamainak leképezése támogatja. Definiáljon paramétereket az adatfolyam-definíción belül, és használja őket a kifejezések során. A paraméterértékeket a hívó folyamat állítja be az Execute Adatfolyam tevékenységen keresztül. Az adatfolyam-tevékenységkifejezésekben három beállítási lehetőség közül választhat:

• Dinamikus érték beállítása a folyamatvezérlési folyamat kifejezési nyelvével
• Dinamikus érték beállítása az adatfolyam-kifejezés nyelvével
• Statikus literálérték beállítása bármelyik kifejezésnyelv használatával

Ezzel a képességgel általános célúvá, rugalmassá és újrafelhasználhatóvá teheti az adatfolyamokat. Ezekkel a paraméterekkel paraméterezheti az adatfolyam beállításait és kifejezéseit.

Paraméterek létrehozása leképezési adatfolyamban

Ha paramétereket szeretne hozzáadni az adatfolyamhoz, kattintson az adatfolyam-vászon üres részére az általános tulajdonságok megtekintéséhez. A Beállítások panelen megjelenik egy Paraméter nevű lap. Új paraméter létrehozásához válassza az Új lehetőséget. Minden paraméterhez hozzá kell rendelnie egy nevet, ki kell választania egy típust, és opcionálisan be kell állítania egy alapértelmezett értéket.

Paraméterek használata leképezési adatfolyamban

A paraméterek bármely adatfolyam-kifejezésben hivatkozhatók. A paraméterek $-val kezdődnek, és nem módosíthatók. A KifejezésszerkesztőBen a Paraméterek lapon találja az elérhető paraméterek listáját.

Az Új paraméter kiválasztásával és a név és a típus megadásával gyorsan hozzáadhat további paramétereket.

Paraméteres társított szolgáltatások használata leképezési adatfolyamban

A paraméteres társított szolgáltatások használhatók leképezési adatfolyamokban (adatkészlethez vagy beágyazott forrástípusokhoz).

A beágyazott forrástípus esetében a társított szolgáltatásparaméterek a folyamat adatfolyam-tevékenységbeállításai között jelennek meg az alább látható módon.

Az adathalmaz forrástípusához a társított szolgáltatás paraméterei közvetlenül az adathalmaz konfigurációjában lesznek közzétéve.

Paraméterértékek hozzárendelése adattovábbítási láncból

Miután létrehozott egy paraméterezett adatfolyamot, végrehajthatja azt egy folyamatban a Adatfolyam-tevékenység végrehajtásával. Miután hozzáadta a tevékenységet a folyamatvászonhoz, a tevékenység Paraméterek lapján megjelenik az elérhető adatfolyam-paraméterek.

Paraméterértékek hozzárendelésekor használhatja a folyamatkifejezés nyelvét vagy az adatfolyam-kifejezés nyelvét a Spark-típusok alapján. Minden leképezési adatfolyam rendelkezhet folyamat- és adatfolyam-kifejezésparaméterek tetszőleges kombinációjával.

A képernyőkép a Paraméterek lapot mutatja, ahol a Adatfolyam kifejezés van kiválasztva a myparam értékéhez.

Folyamatkifejezés paraméterei

A folyamatkifejezési paraméterek lehetővé teszik a rendszerváltozókra, függvényekre, folyamatparaméterekre és más folyamattevékenységekhez hasonló változókra való hivatkozását. Amikor a Pipeline kifejezésre kattint, megnyílik egy oldalsó navigációs sáv, amely lehetővé teszi egy kifejezés beírását a kifejezés szerkesztővel.

Hivatkozás esetén a folyamatparaméterek kiértékelése, majd az értékük használata az adatfolyam-kifejezés nyelvén történik. A folyamatkifejezés típusának nem kell megegyeznie az adatfolyam paramétertípusával.

Sztringkonstansok és kifejezések

Sztring típusú folyamatkifejezés-paraméter hozzárendelésekor a rendszer alapértelmezés szerint idézőjeleket ad hozzá, és az értéket konstansként értékeli ki a rendszer. Ha a paraméter értékét adatfolyam-kifejezésként szeretné olvasni, jelölje be a paraméter melletti kifejezésmezőt.

Ha az adatfolyam-paraméter stringParam egy értékekkel upper(column1)rendelkező folyamatparaméterre hivatkozik.

• Ha a kifejezés be van jelölve, akkor $stringParam az 1. oszlop értékét adja meg, nagybetűssé alakítva.
• Ha a kifejezés nincs bejelölve (alapértelmezett viselkedés), akkor a $stringParam értéke 'upper(column1)' lesz.

Időbélyegek megadása

A folyamatkifejezés nyelvében a rendszerváltozók, például pipeline().TriggerTime, és olyan függvények, mint utcNow(), időbélyegeket adnak vissza szövegként az „éééé-MM-dd'T'HH:mm:ss.SSSSSZ” formátumban. Ha ezeket időbélyeg típusú adatfolyam-paraméterekké szeretné konvertálni, sztringinterpolációval foglalja bele a kívánt időbélyeget egy toTimestamp() függvénybe. A folyamat triggeridejének adatfolyam-paraméterzé alakításához például használhatja toTimestamp(left('@{pipeline().TriggerTime}', 23), 'yyyy-MM-dd\'T\'HH:mm:ss.SSS')a következőt:

Feljegyzés

Az adatfolyamok legfeljebb 3 milliszekundumnyi pontosságot támogatnak. A left() függvény további számjegyeket vág le.

Példa folyamatparaméterre

Tegyük fel, hogy van egy egész szám paramétereintParam, amely egy karakterlánc típusú folyamatparaméterre hivatkozik. @pipeline.parameters.pipelineParam

@pipeline.parameters.pipelineParam futásidőben lesz hozzárendelve abs(1)-hez.

Amikor $intParam szerepel egy kifejezésben, mint például egy származtatott oszlopban, akkor kiértékelésre kerül és visszatéríti abs(1) a 1.

Adatfolyam-kifejezés paraméterei

Az adatfolyam-kifejezés kiválasztása megnyitja az adatfolyam-kifejezésszerkesztőt. A függvényekre, egyéb paraméterekre és a definiált sémaoszlopokra az adatfolyam során hivatkozhat. Ezt a kifejezést a rendszer a hivatkozásnak megfelelően értékeli ki.

Feljegyzés

Ha érvénytelen kifejezést ad át, vagy olyan sémaoszlopra hivatkozik, amely nem létezik az átalakítás során, a paraméter null értékű lesz.

Oszlopnév átadása paraméterként

Gyakori példa az oszlopnév paraméterértékként való átadása. Ha az oszlop az adatfolyam-sémában van definiálva, közvetlenül sztringkifejezésként hivatkozhat rá. Ha az oszlop nincs definiálva a sémában, használja a függvényt byName() . Ne felejtse el az oszlopot a megfelelő típusra átalakítani egy olyan öntési függvénnyel, mint a toString().

Ha például egy paraméter columnName alapján szeretne megfeleltetni egy sztringoszlopot, hozzáadhat egy származtatott oszlopátalakítást, amely egyenlő lesz toString(byName($columnName))-val.

Feljegyzés

Az adatfolyam-kifejezésekben a sztringinterpoláció (a sztringen belüli változók helyettesítése) nem támogatott. Ehelyett fűzse össze a kifejezést sztringértékekké. Például: 'string part 1' + $variable + 'string part 2'

Kapcsolódó tartalom

• Adatfolyam-tevékenység végrehajtása
• Folyamatkifejezések vezérlése