Transzformáció rendezése a leképezési adatfolyamban
A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics
Tipp.
Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!
Az adatfolyamok az Azure Data Factoryben és az Azure Synapse Pipelinesban is elérhetők. Ez a cikk az adatfolyamok leképezésére vonatkozik. Ha még nem használta az átalakításokat, tekintse meg az adatok leképezési adatfolyam használatával történő átalakításáról szóló bevezető cikket.
A rendezési átalakítás lehetővé teszi a bejövő sorok rendezését az aktuális adatfolyamon. Kiválaszthatja az egyes oszlopokat, és növekvő vagy csökkenő sorrendbe rendezheti őket.
Feljegyzés
A leképezési adatfolyamok spark-fürtökön futnak, amelyek több csomópont és partíció között osztják el az adatokat. Ha úgy dönt, hogy egy későbbi átalakítás során újrapartitálja az adatokat, előfordulhat, hogy az adatok átrendezése miatt elveszíti a rendezést. A rendezési sorrend az adatfolyamban úgy tartható fenn a legjobban, ha egyetlen partíciót állít be az átalakítás Optimalizálása lapján, és a Rendezés átalakítást a lehető legközelebb kell tartania a Fogadóhoz.
Konfiguráció
Kis- és nagybetűk érzéketlenek: Azt jelzi, hogy sztring- vagy szövegmezők rendezésekor figyelmen kívül kívánja-e hagyni a kis- és nagybetűket
Csak partíciókon belüli rendezés: Mivel az adatfolyamok sparkon futnak, minden adatfolyam partíciókra van osztva. Ez a beállítás csak a bejövő partíciókon belül rendezi az adatokat a teljes adatfolyam rendezése helyett.
Rendezési feltételek: Válassza ki, hogy mely oszlopok szerint és milyen sorrendben rendezi a rendezést. A sorrend határozza meg a rendezési prioritást. Adja meg, hogy null érték jelenik-e meg az adatfolyam elején vagy végén.
Számított oszlopok
Ha módosítani vagy kinyerni szeretne egy oszlopértéket a rendezés alkalmazása előtt, mutasson az oszlopra, és válassza a "számított oszlop" lehetőséget. Ez megnyitja a kifejezésszerkesztőt, hogy oszlopérték helyett egy kifejezést hozzon létre a rendezési művelethez.
Adatfolyamszkript
Syntax
<incomingStream>
sort(
desc(<sortColumn1>, { true | false }),
asc(<sortColumn2>, { true | false }),
...
) ~> <sortTransformationName<>
Példa
A fenti rendezési konfiguráció adatfolyam-szkriptje az alábbi kódrészletben található.
BasketballStats sort(desc(PTS, true),
asc(Age, true)) ~> Sort1
Kapcsolódó tartalom
A rendezés után érdemes lehet az összesítő átalakítást használni