Adatfolyam leképezése hibakeresési mód
A következőkre vonatkozik:
Azure Data Factory Azure Synapse Analytics
Tipp.
Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!
Áttekintés
Az Azure Data Factory és a Synapse Analytics-leképezési adatfolyam hibakeresési módja lehetővé teszi az adatalakzatok átalakításának interaktív megtekintését az adatfolyamok létrehozása és hibakeresése során. A hibakeresési munkamenet Adatfolyam tervezési munkamenetekben és az adatfolyamok folyamatának hibakeresése során egyaránt használható. A hibakeresési mód bekapcsolásához használja a Adatfolyam Hibakeresés gombot az adatfolyam-vászon vagy a folyamatvászon felső sávján, amikor adatfolyam-tevékenységeket végez.
A csúszka bekapcsolása után a rendszer kérni fogja, hogy válassza ki a használni kívánt integrációs modul konfigurációját. Ha az AutoResolveIntegrationRuntime lehetőséget választja, a rendszer felpörget egy olyan fürtöt, amely nyolc magnyi általános számítással rendelkezik, és az alapértelmezett 60 perces élettartammal rendelkezik. Ha még több tétlen csapatot szeretne engedélyezni, mielőtt túllépi a munkamenet időkorlátját, választhat egy magasabb TTL-beállítást. Az adatfolyam-integrációs futtatókörnyezetekkel kapcsolatos további információkért lásd az integrációs modul teljesítményét.
Ha a hibakeresési mód be van kapcsolva, interaktív módon építheti fel az adatfolyamot egy aktív Spark-fürttel. A munkamenet a hibakeresés kikapcsolása után bezárul. Tisztában kell lennie a Data Factory által a hibakeresési munkamenet bekapcsolása során felmerülő óránkénti díjakkal.
A legtöbb esetben célszerű hibakeresési módban létrehozni a Adatfolyam, hogy a munka közzététele előtt ellenőrizze az üzleti logikát, és tekintse meg az adatátalakításokat. A folyamatpanel "Hibakeresés" gombjával tesztelheti az adatfolyamot egy folyamatban.
Feljegyzés
Minden olyan hibakeresési munkamenet, amelyet a felhasználó a böngésző felhasználói felületéről indít, egy új munkamenet saját Spark-fürttel. Az előző képeken látható hibakeresési munkamenetek figyelési nézetével megtekintheti és kezelheti a hibakeresési munkameneteket. Az egyes hibakeresési munkamenetek végrehajtása óránként történik, beleértve a TTL-időt is.
Ez a videoklip tippeket, trükköket és ajánlott eljárásokat mutat be az adatfolyam-hibakeresési módhoz.
Fürt állapota
Ha a fürt készen áll a hibakeresésre, a tervezési felület tetején lévő fürt állapotjelzője zöldre vált. Ha a fürt már meleg, akkor a zöld jelző szinte azonnal megjelenik. Ha a fürt még nem futott a hibakeresési mód megadásakor, a Spark-fürt hideg rendszerindítást hajt végre. A mutató addig pörög, amíg a környezet készen nem áll az interaktív hibakeresésre.
Ha végzett a hibakereséssel, kapcsolja ki a hibakeresési kapcsolót, hogy a Spark-fürt leálljon, és a továbbiakban nem kell fizetnie a hibakeresési tevékenységért.
Hibakeresési beállítások
A hibakeresési mód bekapcsolása után szerkesztheti, hogy az adatfolyam hogyan tekinti meg az adatokat. A hibakeresési beállítások a Adatfolyam vászon eszköztárának "Hibakeresési Gépház" elemére kattintva szerkeszthetők. Itt kiválaszthatja az egyes forrásátalakításokhoz használni kívánt sorkorlátot vagy fájlforrást. Ebben a beállításban a sorkorlátok csak az aktuális hibakeresési munkamenetre vonatkoznak. Kiválaszthatja az Azure Synapse Analytics-forráshoz használandó átmeneti társított szolgáltatást is.
Ha a Adatfolyam vagy bármely hivatkozott adatkészletében vannak paraméterek, a Paraméterek lap kiválasztásával megadhatja, hogy milyen értékeket használjon a hibakeresés során.
Az itt található mintavételezési beállításokkal mintafájlokra vagy adattáblákra mutathat, hogy ne kelljen módosítania a forrásadatkészleteket. Ha itt egy mintafájlt vagy táblázatot használ, ugyanazokat a logikai és tulajdonságbeállításokat tarthatja fenn az adatfolyamban, miközben az adatok egy részhalmazán tesztel.
Az adatfolyamok hibakeresési módjának alapértelmezett integrációs modulja egy kis, 4 magos egy feldolgozó csomópont, amely egy 4 magos egyillesztőcsomóponttal rendelkezik. Ez jól működik kisebb adatmintákkal az adatfolyam-logika tesztelése során. Ha az adatelőnézet során kibontja a hibakeresési beállítások sorkorlátait, vagy a folyamat hibakeresése során nagyobb számú mintául szolgáló sort állít be a forrásban, érdemes lehet nagyobb számítási környezetet beállítania egy új Azure Integration Runtime-ban. Ezután a nagyobb számítási környezettel újraindíthatja a hibakeresési munkamenetet.
Adatok előnézete
Ha be van kapcsolva a hibakeresés, az Adatok előnézete lap az alsó panelen jelenik meg. Hibakeresési mód bekapcsolva nélkül Adatfolyam az Ellenőrzés lapon csak az egyes átalakítások aktuális metaadatait jeleníti meg. Az adatelőnézet csak a hibakeresési beállításokban megadott korlátként beállított sorok számát kérdezi le. A Frissítés gombra kattintva frissítheti az adatok előnézetét az aktuális átalakítások alapján. Ha a forrásadatok megváltoztak, válassza a Forrás > frissítése lehetőséget.
Az oszlopokat az adat előnézetében rendezheti, és húzással átrendezheti az oszlopokat. Emellett az adatelőnézet panel tetején található egy exportálási gomb, amellyel az előnézeti adatokat egy CSV-fájlba exportálhatja offline adatfeltáráshoz. Ezzel a funkcióval legfeljebb 1000 sornyi előzetes adat exportálható.
Feljegyzés
A fájlforrások csak a látható sorokat korlátozzák, az éppen beolvasott sorokat nem. Nagyon nagy adathalmazok esetén javasoljuk, hogy a fájl egy kis részét vegye be, és használja a teszteléshez. A Hibakeresési Gépház minden olyan forráshoz kiválaszthat egy ideiglenes fájlt, amely fájladatkészlet-típus.
Ha hibakeresési módban fut Adatfolyam, az adatok nem lesznek megírva a Fogadó átalakítóba. A hibakeresési munkamenetek az átalakítások tesztelésére szolgálnak. A fogadók nem szükségesek a hibakeresés során, és figyelmen kívül hagyják az adatfolyamban. Ha tesztelni szeretné az adatok írását a fogadóban, hajtsa végre a Adatfolyam egy folyamatból, és használja a folyamat hibakeresési végrehajtását.
A Data Preview egy pillanatkép az átalakított adatokról sorkorlátokkal és adatmintákkal a Spark-memóriában lévő adatkeretekből. Ezért ebben a forgatókönyvben a fogadó illesztőprogramokat nem használják vagy tesztelik.
Feljegyzés
A Data Preview a böngésző területi beállításának megfelelően jeleníti meg az időt.
Illesztés feltételeinek tesztelése
Az illesztések, a létezők vagy a keresési átalakítások egységtesztelésekor győződjön meg arról, hogy a teszthez egy kis ismert adatkészletet használ. A hibakeresési Gépház korábban ismertetett beállításával beállíthat egy ideiglenes fájlt a teszteléshez. Erre azért van szükség, mert ha nagy adathalmazból korlátozza vagy mintavételezi a sorokat, nem tudja előre megjósolni, hogy mely sorok és mely kulcsok legyenek beolvasva a folyamatba tesztelés céljából. Az eredmény nem determinisztikus, ami azt jelenti, hogy az illesztés feltételei meghiúsulhatnak.
Gyorsműveletek
Miután megtekinti az adatok előnézetét, gyors átalakítást hozhat létre az oszlop beírásához, eltávolításához vagy módosításához. Jelölje ki az oszlopfejlécet, majd válassza ki az adatelőnézet eszköztárának egyik beállítását.
Miután kiválasztott egy módosítást, az adatok előnézete azonnal frissülni fog. Új átalakítás létrehozásához válassza a jobb felső sarokban található Megerősítés lehetőséget.
A Typecast és a Modify létrehoz egy származtatott oszlopátalakítást, az Eltávolítás pedig select átalakítást hoz létre.
Feljegyzés
Ha szerkessze a Adatfolyam, a gyors átalakítás hozzáadása előtt újra le kell kérnie az adatok előnézetét.
Adatprofilozás
Ha kijelöl egy oszlopot az adatelőnézet lapján, és az adatelőnézet eszköztárÁban a Statisztika elemre kattint, megjelenik egy diagram az adatrács jobb szélén, és részletes statisztikákat jelenít meg az egyes mezőkről. A szolgáltatás a megjelenítendő diagram típusának adatmintázatán alapul. A magas számosságú mezők alapértelmezés szerint NULL/NOT NULL diagramok, míg az alacsony számosságú kategorikus és numerikus adatok az adatérték gyakoriságát megjelenítő sávdiagramokat jelenítik meg. A sztringmezők maximális/hosszhosszát, a numerikus mezőkben a minimális/maximális értékeket, a standard devet, a percentiliseket, a darabszámokat és az átlagot is láthatja.
Kapcsolódó tartalom
- Miután befejezte az adatfolyam összeállítását és hibakeresését, hajtsa végre egy folyamatból.
- Amikor adatfolyammal teszteli a folyamatot, használja a folyamat hibakeresési futtatási lehetőségét.