Leképezési adatfolyamok paraméterezése
A következőkre vonatkozik:
Azure Data Factory Azure Synapse Analytics
Tipp.
Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!
Az Azure Data Factory és a Synapse-folyamatok adatfolyamainak leképezése támogatja a paraméterek használatát. Definiáljon paramétereket az adatfolyam-definíción belül, és használja őket a kifejezések során. A paraméterértékeket a hívási folyamat állítja be az Execute Adatfolyam tevékenységen keresztül. Az adatfolyam-tevékenységkifejezésekben három beállítási lehetőség közül választhat:
- Dinamikus érték beállítása a folyamatvezérlési folyamat kifejezési nyelvével
- Dinamikus érték beállítása az adatfolyam-kifejezés nyelvével
- Statikus literálérték beállítása bármelyik kifejezésnyelv használatával
Ezzel a képességgel általános célúvá, rugalmassá és újrafelhasználhatóvá teheti az adatfolyamokat. Ezekkel a paraméterekkel paraméterezheti az adatfolyam beállításait és kifejezéseit.
Paraméterek létrehozása leképezési adatfolyamban
Ha paramétereket szeretne hozzáadni az adatfolyamhoz, kattintson az adatfolyam-vászon üres részére az általános tulajdonságok megtekintéséhez. A Beállítások panelen megjelenik egy Paraméter nevű lap. Új paraméter létrehozásához válassza az Új lehetőséget. Minden paraméterhez hozzá kell rendelnie egy nevet, ki kell választania egy típust, és opcionálisan be kell állítania egy alapértelmezett értéket.
Paraméterek használata leképezési adatfolyamban
A paraméterek bármely adatfolyam-kifejezésben hivatkozhatók. A paraméterek $-val kezdődnek, és nem módosíthatók. A KifejezésszerkesztőBen a Paraméterek lapon találja az elérhető paraméterek listáját.
Az Új paraméter kiválasztásával és a név és a típus megadásával gyorsan hozzáadhat további paramétereket.
Paraméteres társított szolgáltatások használata leképezési adatfolyamban
A paraméteres társított szolgáltatások használhatók leképezési adatfolyamokban (adatkészlethez vagy beágyazott forrástípusokhoz).
A beágyazott forrástípus esetében a társított szolgáltatásparaméterek a folyamat adatfolyam-tevékenységbeállításai között jelennek meg az alább látható módon.
Az adathalmaz forrástípusához a társított szolgáltatás paraméterei közvetlenül az adathalmaz konfigurációjában lesznek közzétéve.
Paraméterértékek hozzárendelése folyamatból
Miután létrehozott egy adatfolyamot paraméterekkel, végrehajthatja azt egy folyamatból a Végrehajtás Adatfolyam tevékenységgel. Miután hozzáadta a tevékenységet a folyamatvászonhoz, a tevékenység Paraméterek lapján megjelenik az elérhető adatfolyam-paraméterek.
Paraméterértékek hozzárendelésekor használhatja a folyamatkifejezés nyelvét vagy az adatfolyam-kifejezés nyelvét spark-típusok alapján. Minden leképezési adatfolyam rendelkezhet folyamat- és adatfolyam-kifejezésparaméterek tetszőleges kombinációjával.
Folyamatkifejezés paraméterei
A folyamatkifejezési paraméterek lehetővé teszik a rendszerváltozókra, függvényekre, folyamatparaméterekre és más folyamattevékenységekhez hasonló változókra való hivatkozását. Amikor a Folyamat kifejezésre kattint, megnyílik egy oldal navigációs sáv, amely lehetővé teszi egy kifejezés megadását a kifejezésszerkesztővel.
Hivatkozás esetén a folyamatparaméterek kiértékelése, majd az értékük használata az adatfolyam-kifejezés nyelvén történik. A folyamatkifejezés típusának nem kell megegyeznie az adatfolyam paramétertípusával.
Sztringkonstansok és kifejezések
Sztring típusú folyamatkifejezés-paraméter hozzárendelésekor a rendszer alapértelmezés szerint idézőjeleket ad hozzá, és az értéket konstansként értékeli ki a rendszer. Ha a paraméter értékét adatfolyam-kifejezésként szeretné olvasni, jelölje be a paraméter melletti kifejezésmezőt.
Ha az adatfolyam-paraméter stringParam egy értékekkel upper(column1)rendelkező folyamatparaméterre hivatkozik.
- Ha a kifejezés be van jelölve,
$stringParamakkor a kiértékelés az 1. oszlop összes nagybetűs értékét adja meg. - Ha a kifejezés nincs bejelölve (alapértelmezett viselkedés),
$stringParamakkor a'upper(column1)'
Időbélyegek átadása
A folyamatkifejezés nyelvében a rendszerváltozók, például és olyan függvények, mint pipeline().TriggerTime a utcNow() visszatérési időbélyegek sztringként "ééé-MM-dd'T'HH:mm:ss" formátumban. SSSSSZ". Ha ezeket időbélyeg típusú adatfolyam-paraméterekké szeretné konvertálni, sztringinterpolációval foglalja bele a kívánt időbélyeget egy toTimestamp() függvénybe. A folyamat triggeridejének adatfolyam-paraméterzé alakításához például használhatja toTimestamp(left('@{pipeline().TriggerTime}', 23), 'yyyy-MM-dd\'T\'HH:mm:ss.SSS')a következőt:
Megjegyzés:
Adatfolyam legfeljebb 3 ezredmásodpercnyi számjegyet támogatnak. A left() függvény további számjegyeket vág le.
Példa folyamatparaméterre
Tegyük fel, hogy van egy egész szám paramétereintParam, amely egy karakterlánc típusú folyamatparaméterre hivatkozik. @pipeline.parameters.pipelineParam
@pipeline.parameters.pipelineParam futásidőben van hozzárendelve abs(1) .
Ha $intParam egy kifejezésben, például származtatott oszlopban hivatkoznak rá, a függvény kiértékeli abs(1) a visszatérést 1.
Adatfolyam-kifejezés paraméterei
Az adatfolyam-kifejezés kiválasztása megnyitja az adatfolyam-kifejezésszerkesztőt. A függvényekre, egyéb paraméterekre és a definiált sémaoszlopokra az adatfolyam során hivatkozhat. Ezt a kifejezést a rendszer a hivatkozásnak megfelelően értékeli ki.
Megjegyzés:
Ha érvénytelen kifejezést ad át, vagy olyan sémaoszlopra hivatkozik, amely nem létezik az átalakítás során, a paraméter null értékű lesz.
Oszlopnév átadása paraméterként
Gyakori példa az oszlopnév paraméterértékként való átadása. Ha az oszlop az adatfolyam-sémában van definiálva, közvetlenül sztringkifejezésként hivatkozhat rá. Ha az oszlop nincs definiálva a sémában, használja a függvényt byName() . Ne felejtse el az oszlopot a megfelelő típusra leadni egy olyan öntési függvénnyel, mint a toString().
Ha például egy paraméter columnNamealapján szeretne megfeleltetni egy sztringoszlopot, hozzáadhat egy olyan származtatott oszlopátalakítást, amely egyenlő a paraméterrel toString(byName($columnName)).
Megjegyzés:
Az adatfolyam-kifejezésekben a sztringinterpoláció (a sztringen belüli változók helyettesítése) nem támogatott. Ehelyett fűzse össze a kifejezést sztringértékekké. Például: 'string part 1' + $variable + 'string part 2'