A feladatböngésző és a Feladat nézet használata az Azure Data Lake Analyticsben

Fontos

Az Azure Data Lake Analytics 2024. február 29-én megszűnt. További információ ezzel a bejelentéssel.

Az adatelemzéshez a szervezet használhatja a Azure Synapse Analyticset vagy a Microsoft Fabricet.

Az Azure Data Lake Analytics szolgáltatás archívuma feladatokat küldött le egy lekérdezéstárban. Ebből a cikkből megtudhatja, hogyan keresheti meg a korábbi feladatadatokat az Azure Data Lake Tools for Visual Studióban a Job Browser és a Job View használatával.

Alapértelmezés szerint a Data Lake Analytics szolgáltatás 30 napig archiválja a feladatokat. A lejárati időszak a Azure Portal konfigurálható a testre szabott lejárati szabályzat konfigurálásával. A feladatadatok nem érhetők el a lejárat után.

Előfeltételek

Lásd: A Data Lake Tools for Visual Studio előfeltételei.

Nyissa meg a feladatböngészőt

Nyissa meg a feladatböngészőt a Server Explorer>Azure> Data Lake Analytics> Jobs használatával a Visual Studióban. A Feladatböngészővel hozzáférhet egy Data Lake Analytics-fiók lekérdezéstárához. A Feladatböngésző bal oldalon megjeleníti a Lekérdezéstárat, az alapszintű feladatadatokat, a jobb oldalon pedig a Feladat nézetet, ahol a részletes feladatadatok láthatók.

Feladatnézet

A Feladat nézet egy feladat részletes adatait jeleníti meg. Egy feladat megnyitásához kattintson duplán egy feladatra a Feladatböngészőben, vagy nyissa meg a Data Lake menüben a Feladatnézet parancsra kattintva. Ekkor megjelenik egy párbeszédpanel, amely a feladat URL-címével van kitöltve.

A Feladatnézet a következőket tartalmazza:

• Feladat összegzése

  Frissítse a Feladat nézetet a feladatok futtatásával kapcsolatos legfrissebb információk megtekintéséhez.

  • Feladat állapota (grafikon):

    A feladat állapota a következő feladatfázisokat vázolja fel:

    

    • Előkészítés: Töltse fel a szkriptet a felhőbe, gyűjtse össze és optimalizálja a szkriptet a fordítási szolgáltatással.

    • Várólistán: A feladatok várólistára kerülnek, ha elegendő erőforrásra várnak, vagy a feladatok túllépik a fiókonkénti korlátozásonkénti egyidejű feladatok maximális számát. A prioritási beállítás határozza meg az üzenetsorba helyezett feladatok sorrendjét – minél alacsonyabb a szám, annál magasabb a prioritás.

    • Futtatás: A feladat valójában a Data Lake Analytics fiókjában fut.

    • Véglegesítés: A feladat befejeződik (például a fájl véglegesítése).

      A feladat minden fázisban meghiúsulhat. Például fordítási hibák az Előkészítés fázisban, időtúllépési hibák a Várólistán fázisban, végrehajtási hibák a Futó fázisban stb.

  • Alapvető adatok

    Az alapszintű feladatadatok a Feladat összegzése panel alsó részén láthatók.

    

    • Feladat eredménye: Sikeres vagy sikertelen. A feladat minden fázisban meghiúsulhat.
    • Teljes időtartam: A falióra időpontja (időtartam) a küldési idő és a befejezési idő között.
    • Teljes számítási idő: Az egyes csúcspontok végrehajtási idejének összege, tekintheti úgy, hogy a feladat végrehajtása csak egy csúcsponton történik. A csúcspontokkal kapcsolatos további információkért tekintse meg a Teljes csúcsok című témakört.
    • Küldés/kezdés/befejezés időpontja: Az az idő, amikor a Data Lake Analytics szolgáltatás feladatbeküldést kap/elkezdi futtatni a feladatot/sikeresen befejezi a feladatot.
    • Fordítás/Várólistán/Futtatás: Az előkészítési/várakozási/futási fázisban töltött falióra-idő.
    • Fiók: A feladat futtatásához használt Data Lake Analytics fiók.
    • Szerző: A feladatot beküldő felhasználó lehet valódi személy fiókja vagy rendszerfiókja.
    • Prioritás: A feladat prioritása. Minél alacsonyabb a szám, annál magasabb a prioritás. Ez csak a várólistán lévő feladatok sorrendjét befolyásolja. A magasabb prioritás beállítása nem előz meg feladatokat.
    • Párhuzamosság: Az egyidejű Azure Data Lake Analytics egységek (ADLA-k) kért maximális száma, más néven csúcsok. Jelenleg egy csúcspont egyenlő egy két virtuális maggal és hat GB RAM-mal rendelkező virtuális géppel, bár ez a jövőbeli Data Lake Analytics frissítésekben frissíthető.
    • Bal oldali bájtok: A feladat befejezéséig feldolgozandó bájtok.
    • Olvasási/írási bájtok: A feladat futtatása óta olvasási/írási bájtok.
    • Teljes csúcspontok: A feladat több munkadarabra oszlik, minden munkadarabot csúcspontnak nevezünk. Ez az érték azt írja le, hogy a feladat hány darabból áll. A csúcsok alapszintű folyamategységként is tekinthetők, más néven Azure Data Lake Analytics Unit (ADLAU), és a csúcspontok párhuzamos módon is futtathatók.
    • Kész/Futtatva/Sikertelen: A befejezett/futtatott/sikertelen csúcspontok száma. A csúcspontok a felhasználói kód és a rendszer hibái miatt is meghiúsulhatnak, de a rendszer újrapróbálkozásai néhányszor automatikusan meghiúsultak. Ha a csúcspont az újrapróbálkozás után is meghiúsul, a teljes feladat sikertelen lesz.

• Feladatdiagram

  Az U-SQL-szkriptek a bemeneti adatok kimeneti adatokká alakításának logikáját képviselik. A szkript az előkészítési fázisban egy fizikai végrehajtási tervre van lefordítva és optimalizálva. A Job Graph a fizikai végrehajtási terv megjelenítése. Az alábbi ábra a folyamatot szemlélteti:

  

  Egy feladat több munkadarabra oszlik. Minden munkadarabot csúcspontnak nevezünk. A csúcspontok Szuper csúcspontként (más néven fázisként) vannak csoportosítva, és Job Graphként vannak vizualizálva. A feladatdiagram zöld szakasztáblái a fázisokat mutatják.

  Egy fázis minden csúcspontja ugyanazt a fajta munkát végzi ugyanazon adatok különböző darabjaival. Ha például van egy egy TB-os adatokat tartalmazó fájlja, és több száz csúcspontot olvas fel, mindegyik egy adattömböt olvas be. Ezek a csúcsok ugyanabban a fázisban vannak csoportosítva, és ugyanazon bemeneti fájl különböző részein végzik ugyanazt a munkát.

  • Szakaszadatok

    Egy adott szakaszban néhány szám megjelenik a plakáton.

    

    • SV1-kinyerés: Egy szakasz neve egy számmal és a műveleti módszerrel.

    • 84 csúcspont: A csúcspontok teljes száma ebben a szakaszban. Az ábra azt jelzi, hogy hány darab munka van elosztva ebben a szakaszban.

    • 12,90 s/csúcspont: Az ehhez a fázishoz tartozó átlagos csúcspont-végrehajtási idő. Ezt az ábrát a SZUM (minden csúcspont végrehajtási ideje) / (a csúcspontok teljes száma) alapján számítjuk ki. Ez azt jelenti, hogy ha a párhuzamosságban végrehajtott összes csúcspontot hozzárendelné, az egész szakasz 12,90 s-ben fejeződik be. Ez azt is jelenti, hogy ha ebben a fázisban az összes munka sorba kerül, a költség #vertices * AVG idő.

    • 850 895 sor megírva: Ebben a szakaszban megírt teljes sorszám.

    • R/W: Az ebben a szakaszban olvasható/írt adatok mennyisége bájtban.

    • Színek: A fázisban a színek különböző csúcsállapotokat jeleznek.

      • A zöld azt jelzi, hogy a csúcspont sikeres.
      • A narancssárga azt jelzi, hogy a csúcspont újra meg van próbálkozva. Az újrapróbálkozott csúcspont sikertelen volt, de a rendszer automatikusan és sikeresen újrapróbálkozott, és a teljes szakasz sikeresen befejeződött. Ha a csúcspont újrapróbálkozott, de továbbra sem sikerült, a szín pirosra változik, és az egész feladat meghiúsult.
      • A piros azt jelzi, hogy nem sikerült, ami azt jelenti, hogy a rendszer néhányszor újrapróbálkozott egy bizonyos csúcsponttal, de továbbra is sikertelen volt. Ez a forgatókönyv a teljes feladat meghiúsulását okozza.
      • A kék azt jelenti, hogy egy bizonyos csúcspont fut.
      • A fehér azt jelzi, hogy a csúcspont Várakozás. Előfordulhat, hogy a csúcspont az ADLAU elérhetővé válása után várakozik az ütemezésre, vagy a bemenetre vár, mivel előfordulhat, hogy a bemeneti adatok nem állnak készen.

      A szakasz további részleteit úgy találhatja meg, ha az egérmutatót egy állapotra viszi:

      

  • Csúcspontok: Ismerteti a csúcspontok részleteit, például azt, hogy összesen hány csúcspontot hajtottak végre, hány csúcspontot végeztek el, sikertelenek vagy továbbra is futnak/várakoznak stb.

  • Adatolvasási kereszt/pod: A fájlok és az adatok több podban vannak tárolva az elosztott fájlrendszerben. Az itt található érték azt írja le, hogy mennyi adatot olvastak be ugyanabban a podban vagy podköziben.

  • Teljes számítási idő: A fázisban lévő csúcspontok végrehajtási idejének összege, amelyet úgy tekinthet, mint az időtartamot, ha a fázisban lévő összes munkát csak egy csúcsponton hajtja végre.

  • Adatok és sorok írása/olvasása: Azt jelzi, hogy mennyi adatot vagy sort olvastak/írtak vagy kell olvasni.

  • Csúcsok olvasási hibái: Azt ismerteti, hogy hány csúcspont hiúsul meg az adatok olvasása közben.

  • Csúcspontok duplikálása: Ha egy csúcspont túl lassan fut, a rendszer több csúcspontot ütemezhet ugyanarra a munkadarabra. A redundáns csúcsok el lesznek vetve, ha az egyik csúcspont sikeresen befejeződött. A csúcspontok duplikálása a fázisban duplikáltként elvetett csúcsok számát rögzíti.

  • Csúcspontok visszavonása: A csúcspont sikeres volt, de bizonyos okok miatt később újrafuttatják. Ha például az alsó csúcspont elveszíti a köztes bemeneti adatokat, az újrafuttatásra fogja kérni a felső csúcsot.

  • Csúcspontütemezések végrehajtása: A csúcspontok ütemezésének teljes időtartama.

  • Min/Average/Max Csúcsadatok olvasása: Az egyes csúcspontok olvasási adatainak minimális/átlagos/maximális értéke.

  • Időtartam: A fázisok falióra-ideje, az érték megtekintéséhez be kell töltenie a profilt.

  • Feladat visszajátszása

    Data Lake Analytics futtatja a feladatokat, és archiválja a feladatok adatait futtató csúcsokat, például a csúcspontok indításának, leállításának, sikertelennek és az újrapróbálkozás módjának stb. A rendszer automatikusan naplózza az összes információt a lekérdezéstárban, és a feladatprofilban tárolja. A feladatprofilt a "Profil betöltése" funkcióval töltheti le a Feladat nézetben, és a feladatprofil letöltése után megtekintheti a feladatlejátszást.

    A feladatlejátszás a fürtben történt események vizuális megjelenítése. Segít watch feladat végrehajtásának előrehaladását, és vizuálisan észleli a teljesítmény rendellenességeit és szűk keresztmetszeteit nagyon rövid idő alatt (általában 30-nál kevesebb).

  • Feladat hőtérképének megjelenítése

    A feladat hőtérképe a Feladatdiagram Megjelenítés legördülő menüjében választható ki.

    

    Megjeleníti egy feladat I/O-, idő- és átviteli sebesség-hőtérképét, amelyen keresztül megtalálhatja, hogy a feladat az idő nagy részét hol tölti, vagy hogy a feladat egy I/O-határfeladat-e stb.

    

    • Folyamat: A feladat végrehajtásának folyamata, lásd: Információ a fázisinformációkban.
    • Olvasási/írási adatok: Az egyes szakaszokban beolvasott/írt összes adat hőtérképe.
    • Számítási idő: A SZUM hőtérképe (minden csúcspont végrehajtási ideje), ezt tekintheti úgy, hogy mennyi ideig tartana, ha a fázisban lévő összes munka csak egy csúcsponttal lesz végrehajtva.
    • Átlagos végrehajtási idő csomópontonként: A SZUM hőtérképe (minden csúcspont végrehajtási ideje) / (Csúcsérték száma). Ez azt jelenti, hogy ha a párhuzamosságban végrehajtott összes csúcspontot hozzárendelheti, az egész szakasz ebben az időkeretben lesz végrehajtva.
    • Bemeneti/kimeneti átviteli sebesség: Az egyes fázisok bemeneti/kimeneti átviteli sebességének hőtérképe, ezen keresztül ellenőrizheti, hogy a feladat I/O-hez kötött feladat-e.

• Metaadat-műveletek

  Az U-SQL-szkriptben elvégezhet néhány metaadat-műveletet, például adatbázist hozhat létre, táblát helyezhet el stb. Ezek a műveletek a metaadat-műveletben jelennek meg a fordítás után. Itt megtalálhatja az állításokat, entitásokat hozhat létre, és elvetheti az entitásokat.

  

• Állapotelőzmények

  Az Állapotelőzmények vizualizációja a Feladatösszesítésben is látható, de itt talál további részleteket. Megtalálhatja a részletes információkat, például a feladat előkészítésének, várólistára helyezésének, a futtatás megkezdésének és befejezésének állapotát. Azt is megtalálhatja, hogy hányszor állították össze a feladatot (a CcsAttempts: 1), mikor lett ténylegesen elküldve a feladat a fürtnek (a Részletek: Feladat fürtre történő elküldése) stb.

  

• Diagnosztika

  Az eszköz automatikusan diagnosztizálja a feladatok végrehajtását. Riasztásokat kap, ha hibák vagy teljesítményproblémák merülnek fel a feladatokban. Kérjük, vegye figyelembe, hogy a teljes információ itt való lekéréséhez le kell töltenie a profilt.

  

  • Figyelmeztetések: Itt megjelenik egy riasztás fordító figyelmeztetéssel. A riasztás megjelenése után az "x probléma(ok)" hivatkozásra kattintva további részleteket is megadhat.
  • A csúcsok túl hosszú ideig futnak: Ha valamelyik csúcspont elfogy (például 5 óra), itt talál problémákat.
  • Erőforrás-használat: Ha a szükségesnél több párhuzamosságot foglalt le vagy nem, itt talál problémákat. Az Erőforrás-használat lehetőséget választva további részleteket is megtekinthet, és lehetőségelemzési forgatókönyveket hajthat végre a jobb erőforrás-foglalás érdekében (további részletekért lásd ezt az útmutatót).
  • Memóriaellenőrzés: Ha bármely csúcspont 5 GB-nál több memóriát használ, itt talál problémákat. A feladatvégrehajtást a rendszer megölheti, ha több memóriát használ, mint a rendszerkorlátozás.

Feladat részletei

A Feladat részletei a feladat részletes adatait jeleníti meg, beleértve a szkriptet, az erőforrásokat és a csúcspont végrehajtási nézetét.

• Script

  A feladat U-SQL-szkriptje a lekérdezéstárban van tárolva. Megtekintheti az eredeti U-SQL-szkriptet, és szükség esetén újra elküldheti.

• Források

  A lekérdezéstárban tárolt feladatfordítási kimeneteket az Erőforrások területen találja. Itt megtalálhatja például a "algebra.xml" kifejezést, amely a Job Graph, a regisztrált szerelvények stb. megjelenítésére szolgál.

• Csúcspont végrehajtási nézete

  Csúcsok végrehajtási adatait jeleníti meg. A feladatprofil minden csúcspont végrehajtási naplóját archiválja, például az összes olvasási/írási adatot, a futtatókörnyezetet, az állapotot stb. Ezen a nézetben további részleteket kaphat a feladatok futásáról. További információ: Csúcspont végrehajtási nézet használata a Data Lake Tools for Visual Studióban.

Következő lépések

• A diagnosztikai információk naplózása: Az Azure Data Lake Analytics diagnosztikai naplóinak elérése.
• Egy összetettebb lekérdezés megtekintéséhez lásd: Webhelynaplók elemzése az Azure Data Lake Analytics használatával.
• Csúcspont végrehajtási nézetének használatához lásd : Csúcspont végrehajtási nézet használata a Data Lake Tools for Visual Studióban