Dela via

Övervaka Azure-datafabriker visuellt

  • Artikel

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Dricks

Prova Data Factory i Microsoft Fabric, en allt-i-ett-analyslösning för företag. Microsoft Fabric omfattar allt från dataflytt till datavetenskap, realtidsanalys, business intelligence och rapportering. Lär dig hur du startar en ny utvärderingsversion kostnadsfritt!

När du har skapat och publicerat en pipeline i Azure Data Factory kan du associera den med en utlösare eller starta en ad hoc-körning manuellt. Du kan övervaka alla pipelinekörningar internt i Azure Data Factory-användarupplevelsen. Öppna övervakningsmiljön genom att välja panelen Övervaka och hantera på bladet datafabrik i Azure-portalen. Om du redan är i ADF UX klickar du på ikonen Övervaka i det vänstra sidofältet.

Som standard visas alla Data Factory-körningar i webbläsarens lokala tidszon. Om du ändrar tidszon använder alla datum- och tidsfält tidszonen som du har valt.

Övervaka pipelinekörningar

Standardövervakningsvyn är en lista över utlösta pipelinekörningar under den valda tidsperioden. Du kan ändra intervallet och filtrera efter status, pipelinenamn eller anteckning. Hovra över den specifika pipelinekörningen för att hämta körningsspecifika åtgärder, till exempel omkörning och förbrukningsrapport.

Skärmbild av listvyn för övervakning av pipelinekörningar.

Rutnätet för pipelinekörning innehåller följande kolumner:

Kolumnnamn Beskrivning
Pipelinenamn Namn på pipelinen
Starta körning Startdatum och tid för pipelinekörningen (MM/DD/ÅÅÅÅ, HH:MM:SS AM/PM)
Kör slut Slutdatum och tid för pipelinekörningen (MM/DD/ÅÅÅÅ, HH:MM:SS AM/PM)
Varaktighet Körningstid (HH:MM:SS)
Utlöst av Namnet på utlösaren som startade pipelinen
Status Misslyckades, lyckades, pågår, avbröts eller köades
Kommentarer Filterbara taggar som är associerade med en pipeline
Parametrar Parametrar för pipelinekörningen (namn/värde-par)
Fel Om pipelinen misslyckades kan körningsfelet
Kör Original, Kör om eller Kör om (senaste)
Körnings-ID ID för pipelinekörningen

Du måste välja knappen Uppdatera manuellt för att uppdatera listan över pipeline- och aktivitetskörningar. Autorefresh stöds för närvarande inte.

Skärmbild av uppdateringsknappen.

Om du vill visa resultatet av en felsökningskörning väljer du fliken Felsök .

Skärmbild av ikonen för aktiva felsökningskörningar i vyn.

Övervaka aktivitetskörningar

Om du vill få en detaljerad vy över enskilda aktivitetskörningar för en specifik pipelinekörning klickar du på pipelinenamnet.

Skärmbild av visningsaktivitetskörningar.

Listvyn visar aktivitetskörningar som motsvarar varje pipelinekörning. Hovra över den specifika aktivitetskörningen för att hämta körningsspecifik information, till exempel JSON-indata, JSON-utdata och detaljerade aktivitetsspecifika övervakningsupplevelser.

Skärmbild av information om SalesAnalyticsMLPipeline, följt av en lista över aktivitetskörningar.

Kolumnnamn Beskrivning
Aktivitetsnamn Namnet på aktiviteten i pipelinen
Aktivitetstyp Typ av aktivitet, till exempel Kopiera, ExecuteDataFlow eller AzureMLExecutePipeline
Åtgärder Ikoner som gör att du kan se JSON-indatainformation, JSON-utdatainformation eller detaljerade aktivitetsspecifika övervakningsupplevelser
Starta körning Startdatum och tid för aktivitetskörningen (MM/DD/ÅÅÅÅ, HH:MM:SS AM/PM)
Varaktighet Körningstid (HH:MM:SS)
Status Misslyckades, lyckades, pågår eller avbröts
Integration Runtime Vilken Integration Runtime som aktiviteten kördes på
Egenskaper för användare Användardefinierade egenskaper för aktiviteten
Fel Om aktiviteten misslyckades kan körningsfelet
Körnings-ID ID för aktivitetskörningen

Om en aktivitet misslyckades kan du se det detaljerade felmeddelandet genom att klicka på ikonen i felkolumnen.

Skärmbild av ett meddelande med felinformation, inklusive felkod, feltyp och felinformation.

Flytta upp användaregenskaper för övervakning

Höj upp en egenskap för en pipelineaktivitet till en användaregenskap så att den blir en entitet som du övervakar. Du kan till exempel höja upp egenskaperna Källa och Mål för kopieringsaktiviteten i din pipeline till användaregenskaper.

Kommentar

Du kan bara höja upp till fem egenskaper för pipelineaktivitet som användaregenskaper.

Skärmbild av skapa användaregenskaper.

När du har skapat användaregenskaperna kan du övervaka dem i övervakningslistans vyer.

Skärmbild av att lägga till kolumner för användaregenskaper i listan över aktivitetskörningar.

Om källan för kopieringsaktiviteten är ett tabellnamn kan du övervaka källtabellnamnet som en kolumn i listvyn för aktivitetskörningar.

Skärmbild av aktivitetskörningslistan med kolumner för användaregenskaper.

Kör om pipelines och aktiviteter

Kör om beteendet för containeraktiviteterna på följande sätt:

  • Wait- Aktiviteten fungerar som tidigare.
  • Set Variable - Aktiviteten fungerar som tidigare.
  • Filter - Aktiviteten fungerar som tidigare.
  • Until Aktiviteten utvärderar uttrycket och loopar tills villkoret är uppfyllt. Inre aktiviteter kan fortfarande hoppas över baserat på omkörningsreglerna.
  • Foreach Aktiviteten loopar alltid på de objekt som den tar emot. Inre aktiviteter kan fortfarande hoppas över baserat på omkörningsreglerna.
  • If and switch – Villkor kommer alltid att utvärderas. Alla inre aktiviteter utvärderas. Inre aktiviteter kan fortfarande hoppas över baserat på reglerna för omkörning, men åtgärder som Kör pipeline körs igen.
  • Execute pipeline activity – Den underordnade pipelinen utlöses, men alla aktiviteter i den underordnade pipelinen kan fortfarande hoppas över baserat på reglerna för omkörning.

Om du vill köra en pipeline igen som tidigare har körts från början hovra över den specifika pipelinekörningen och välj Kör igen. Om du väljer flera pipelines kan du använda knappen Kör om för att köra alla.

Skärmbild av att köra en pipeline igen.

Om du vill köra om från en viss punkt kan du göra det från aktivitetskörningsvyn. Välj den aktivitet som du vill starta från och välj Kör om från aktivitet.

Skärmbild av att köra en aktivitetskörning igen.

Du kan också köra en pipeline igen och ändra parametrarna. Välj knappen Nya parametrar för att ändra parametrarna.

Skärmbild av att köra en aktivitetskörning igen med nya parametrar.

Kommentar

Att köra en pipeline igen med nya parametrar betraktas som en ny pipelinekörning så visas inte under omkörningsgrupperingarna för en pipelinekörning.

Kör om från en misslyckad aktivitet

Om en aktivitet misslyckas, når en tidsgräns eller avbryts kan du köra om denna pipeline från den misslyckade aktiviteten genom att välja Kör om från den misslyckade aktiviteten.

Skärmbild av omkörning av misslyckad aktivitet.

Visa omkörningshistorik

Du kan visa omkörningshistoriken för alla pipelinekörningar i listvyn.

Skärmbild av visningshistorik.

Du kan också visa körningshistoriken för en viss pipelinekörning.

Skärmbild av visningshistorik för en pipelinekörning.

Övervaka förbrukning

Du kan se de resurser som förbrukas av en pipelinekörning genom att klicka på förbrukningsikonen bredvid körningen.

Skärmbild som visar var du kan se de resurser som förbrukas av en pipeline.

När du klickar på ikonen öppnas en förbrukningsrapport över resurser som används av pipelinekörningen.

Skärmbild av övervakningsförbrukning.

Du kan ansluta dessa värden till Priskalkylatorn för Azure för att beräkna kostnaden för pipelinekörningen. Mer information om priser för Azure Data Factory finns i Förstå priser.

Kommentar

Dessa värden som returneras av priskalkylatorn är en uppskattning. Den återspeglar inte det exakta belopp som du debiteras av Azure Data Factory

Gantt-vyer

Ett Gantt-diagram är en vy där du kan se körningshistoriken över en tidsperiod. När du växlar till en Gantt-vy visas alla pipelinekörningar grupperade efter namn som staplar i förhållande till hur lång tid körningen tog. Du kan också gruppera efter anteckningar/taggar som du har skapat i din pipeline. Gantt-vyn är också tillgänglig på aktivitetskörningsnivån.

Skärmbild av ett exempel på ett Gantt-schema.

Längden på fältet informerar pipelinens varaktighet. Du kan också välja fältet för att se mer information.

Skärmbild av varaktigheten för ett Gantt-schema.

Aviseringar

Du kan skapa aviseringar för mått som stöds i Data Factory. Välj Övervaka>aviseringar och mått på datafabrikens övervakningssida för att komma igång.

Skärmbild av datafabrikens övervakningssida.

För en sju minuter lång introduktion och demonstration av den här funktionen kan du titta på följande video:

Skapa aviseringar

  1. Välj Ny aviseringsregel för att skapa en ny avisering.

    Skärmbild av knappen Ny aviseringsregel.

  2. Ange regelnamnet och välj allvarlighetsgraden för aviseringen.

    Skärmbild av rutor för regelnamn och allvarlighetsgrad.

  3. Välj aviseringsvillkoren.

    Skärmbild av rutan för målkriterier.

    Skärmbild som visar var du väljer ett mått för att konfigurera aviseringsvillkoret.

    Skärmbild av en lista över kriterier.

    Du kan skapa aviseringar för olika mått, inklusive de för ADF-entitetsantal/storlek, aktivitets-/pipeline-/utlösarkörningar, IR-processoranvändning (Integration Runtime) CPU-användning/minnes-/nodantal/kö samt för SSIS-paketkörningar och SSIS IR-start-/stoppåtgärder.

  4. Konfigurera aviseringslogik. Du kan skapa en avisering för det valda måttet för alla pipelines och motsvarande aktiviteter. Du kan också välja en viss aktivitetstyp, aktivitetsnamn, pipelinenamn eller feltyp.

    Skärmbild av alternativ för att konfigurera aviseringslogik.

  5. Konfigurera e-post-, SMS-, push- och röstmeddelanden för aviseringen. Skapa en åtgärdsgrupp eller välj en befintlig för aviseringsmeddelandena.

    Skärmbild av alternativ för att konfigurera meddelanden.

    Skärmbild av alternativ för att lägga till ett meddelande.

  6. Skapa aviseringsregeln.

    Skärmbild av alternativ för att skapa en aviseringsregel.

Relaterat innehåll

Mer information om övervakning och hantering av pipelines finns i artikeln Övervaka och hantera pipelines programmatiskt .