Power Query-tevékenység az Azure Data Factoryben

  • Cikk

A Power Query-tevékenység lehetővé teszi Power Query-összefésülések összeállítását és végrehajtását a Data Factory-folyamatokban nagy léptékű adatáthelyezés végrehajtásához. Létrehozhat egy új Power Query-összeadást az Új erőforrások menüből, vagy hozzáadhat egy Power-tevékenységet a folyamathoz.

Diagram that shows the General tab of the Power Query activity.

Közvetlenül a Power Query összefésüli szerkesztőjében dolgozhat interaktív adatfeltárás végrehajtásához, majd mentheti a munkáját. Ha végzett, felveheti a Power Query-tevékenységet egy folyamatba. Az Azure Data Factory automatikusan felskálázza és üzembe helyezi az adatok átrendeződését az Azure Data Factory adatfolyam-Spark-környezetének használatával.

Power Query-tevékenység létrehozása felhasználói felülettel

Ha Power Query-tevékenységet szeretne használni egy folyamatban, hajtsa végre a következő lépéseket:

  1. Keresse meg a Power Queryt a folyamattevékenységek panelen, és húzzon egy Power Query-tevékenységet a folyamatvászonra.

  2. Jelölje ki az új Power Query-tevékenységet a vásznon, ha még nincs kijelölve, és a Gépház lapon szerkessze a részleteket.

    Shows the UI for the  Settings  tab of a Power Query activity.

  3. Válasszon ki egy meglévő Power Queryt, és válassza a Megnyitás lehetőséget, vagy az Új gombra kattintva hozzon létre egy új Power Queryt, és nyissa meg a Power Query-szerkesztőt.

  4. Válasszon ki egy meglévő adatkészletet, vagy válassza az Új lehetőséget egy új definiálásához. A Power Query gazdag funkcióit közvetlenül a folyamatszerkesztési felületen használhatja az adathalmaz igény szerinti átalakításához. Több lekérdezést is hozzáadhat több adathalmazból a szerkesztőben, és később használhatja őket.

    Shows the Power Query editor.

  5. Miután az előző lépésben definiált egy vagy több Power Query-lekérdezést, a Fogadó lapon a Power Query-tevékenység Fogadó lapján is kijelölheti a fogadóhelyeket.

    Shows the Sink tab of the Power Query activity.

  6. A Power Query-tevékenység kimenetét más tevékenységek bemeneteként is használhatja. Íme egy példa egy Minden tevékenységhez, amely a korábban definiált Power Query kimenetére hivatkozik az Items tulajdonsághoz. Az elemek támogatják a dinamikus tartalmat, ahol a bemenetként használt Power Query bármely kimenetére hivatkozhat.

    Shows the ForEach Activity's Settings tab with  Add dynamic content  link for the Items property.

  7. Minden tevékenységkimenet megjelenik, és a Dinamikus tartalom meghatározásához a Folyamatkifejezés-szerkesztő panelen való kijelöléssel használható.

    Shows the  Add dynamic content  pane referencing the Power Query defined above.

Fordítás adatfolyam-szkriptre

A Power Query-tevékenységgel való skálázás érdekében az Azure Data Factory lefordítja a szkriptet M egy adatfolyam-szkriptre, hogy a Power Queryt nagy léptékben hajthassa végre az Azure Data Factory adatfolyam Spark-környezetével. Kód nélküli adatelőkészítéssel hozhatja létre a wrangling-adatfolyamot. Az elérhető függvények listáját az átalakítási függvények című témakörben találja.

Settings

  • Power Query: Válasszon ki egy meglévő Power Queryt egy új végrehajtásához vagy létrehozásához.
  • Futtatás az Azure IR-en: Válassza ki és hozza létre a meglévő Azure Integration Runtime-t a Power Query számítási környezetének meghatározásához, vagy hozzon létre egy újat.
  • Számítási típus: Ha az alapértelmezett automatikus feloldási integrációs modult választja, kiválaszthatja azt a számítási típust, amely a Power Query végrehajtásához a Spark-fürt számítására vonatkozik.
  • Magok száma: Ha az alapértelmezett automatikus feloldási integrációs modult választja, kiválaszthatja, hogy hány magot kell alkalmaznia a Spark-fürt számítására a Power Query végrehajtásához.

Sink (Fogadó)

Válassza ki azt az adatkészletet, amelyet a Power Query M-szkript Sparkon való végrehajtása után szeretne használni az átalakított adatok lekéréséhez. A fogadók konfigurálásával kapcsolatos további részletekért tekintse meg az adatfolyam-fogadók dokumentációját.

Lehetősége van arra, hogy a kimenetet több célhelyre is elsüllyesztse. A plusz (+) gombra kattintva további fogadókat vehet fel a lekérdezésbe. A power query-tevékenység minden egyes lekérdezési kimenetét különböző célhelyekre is irányíthatja.

Screenshot that shows Power Query multiple sinks.

Hozzárendelés

A Leképezés lapon konfigurálhatja az oszlopleképezést a Power Query-tevékenység kimenetétől a kiválasztott fogadó célséma felé. További információ az oszlopleképezésről az adatfolyam-fogadó leképezési dokumentációjából.

Kapcsolódó tartalom

További információ az adatkontrasztálással kapcsolatos fogalmakról a Power Query használatával az Azure Data Factoryben