Övervaka Azure-datafabriker visuellt

  • Artikel

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Tips

Prova Data Factory i Microsoft Fabric, en allt-i-ett-analyslösning för företag. Microsoft Fabric omfattar allt från dataflytt till datavetenskap, realtidsanalys, business intelligence och rapportering. Lär dig hur du startar en ny utvärderingsversion kostnadsfritt!

När du har skapat och publicerat en pipeline i Azure Data Factory kan du associera den med en utlösare eller starta en ad hoc-körning manuellt. Du kan övervaka alla pipelinekörningar internt i Azure Data Factory användarupplevelsen. Öppna övervakningsfunktionen genom att välja panelen Övervaka & hantering på bladet datafabrik i Azure Portal. Om du redan är i ADF UX klickar du på ikonen Övervaka i det vänstra sidofältet.

Som standard visas alla Data Factory-körningar i webbläsarens lokala tidszon. Om du ändrar tidszon använder alla datum- och tidsfält tidszonen som du har valt.

Övervaka pipelinekörningar

Standardövervakningsvyn är en lista över utlösta pipelinekörningar under den valda tidsperioden. Du kan ändra intervallet och filtrera efter status, pipelinenamn eller anteckning. Hovra över den specifika pipelinekörningen för att hämta körningsspecifika åtgärder, till exempel omkörning och förbrukningsrapport.

Skärmbild av listvyn för övervakning av pipelinekörningar.

Rutnätet för pipelinekörning innehåller följande kolumner:

Kolumnnamn Beskrivning
Pipelinenamn Namn på pipelinen
Kör start Startdatum och tid för pipelinekörningen (MM/DD/ÅÅÅÅ, HH:MM:SS AM/PM)
Kör slut Slutdatum och tid för pipelinekörningen (MM/DD/ÅÅÅÅ, HH:MM:SS AM/PM)
Varaktighet Körningstid (HH:MM:SS)
Utlöses av Namnet på utlösaren som startade pipelinen
Status Failed, Succeeded, In Progress, Canceled eller Queued
Anteckningar Filterbara taggar som är associerade med en pipeline
Parametrar Parametrar för pipelinekörningen (namn/värdepar)
Fel Om pipelinen misslyckades kan körningsfelet
Kör Original, kör om eller kör om (senaste)
Körnings-ID ID för pipelinekörningen

Du måste välja knappen Uppdatera manuellt för att uppdatera listan över pipeline- och aktivitetskörningar. Autorefresh stöds inte för närvarande.

Skärmbild av uppdateringsknappen.

Om du vill visa resultatet av en felsökningskörning väljer du fliken Felsök .

Skärmbild av ikonen för aktiva felsökningskörningar i vyn.

Övervaka aktivitetskörningar

Om du vill få en detaljerad vy över enskilda aktivitetskörningar för en specifik pipelinekörning klickar du på pipelinenamnet.

Skärmbild av visning av aktivitetskörningar.

Listvyn visar aktivitetskörningar som motsvarar varje pipelinekörning. Hovra över den specifika aktivitetskörningen för att hämta körningsspecifik information, till exempel JSON-indata, JSON-utdata och detaljerade aktivitetsspecifika övervakningsupplevelser.

Skärmbild av information om SalesAnalyticsMLPipeline följt av en lista över aktivitetskörningar.

Kolumnnamn Beskrivning
Aktivitetsnamn Namnet på aktiviteten i pipelinen
Aktivitetstyp Typ av aktivitet, till exempel Kopiera, ExecuteDataFlow eller AzureMLExecutePipeline
Åtgärder Ikoner som gör att du kan se JSON-indatainformation, JSON-utdatainformation eller detaljerade aktivitetsspecifika övervakningsupplevelser
Kör start Startdatum och tid för aktivitetskörningen (MM/DD/ÅÅÅÅ, HH:MM:SS AM/PM)
Varaktighet Körningstid (HH:MM:SS)
Status Misslyckades, lyckades, pågår eller avbröts
Integration Runtime Vilket Integration Runtime aktiviteten kördes på
Egenskaper för användare Användardefinierade egenskaper för aktiviteten
Fel Om aktiviteten misslyckades kan körningsfelet
Körnings-ID ID för aktivitetskörningen

Om en aktivitet misslyckades kan du se det detaljerade felmeddelandet genom att klicka på ikonen i felkolumnen.

Skärmbild av ett meddelande med felinformation, inklusive felkod, feltyp och felinformation.

Flytta upp användaregenskaper för övervakning

Höj upp en egenskap för en pipelineaktivitet till en användaregenskap så att den blir en entitet som du övervakar. Du kan till exempel höja upp egenskaperna Källa och Mål för kopieringsaktiviteten i din pipeline till användaregenskaper.

Anteckning

Du kan bara höja upp till fem egenskaper för pipelineaktivitet som användaregenskaper.

Skärmbild av skapa användaregenskaper.

När du har skapat användaregenskaperna kan du övervaka dem i övervakningslistans vyer.

Skärmbild av att lägga till kolumner för användaregenskaper i listan över aktivitetskörningar.

Om källan för kopieringsaktiviteten är ett tabellnamn kan du övervaka källtabellnamnet som en kolumn i listvyn för aktivitetskörningar.

Skärmbild av aktivitetskörningslistan med kolumner för användaregenskaper.

Kör om pipelines och aktiviteter

Kör om beteendet för containeraktiviteterna på följande sätt:

  • Wait- Aktiviteten fungerar som tidigare.
  • Set Variable - Aktiviteten fungerar som tidigare.
  • Filter - Aktiviteten fungerar som tidigare.
  • Until Aktiviteten utvärderar uttrycket och loopar tills villkoret är uppfyllt. Inre aktiviteter kan fortfarande hoppas över baserat på omkörningsreglerna.
  • Foreach Aktiviteten loopar alltid på de objekt som den tar emot. Inre aktiviteter kan fortfarande hoppas över baserat på omkörningsreglerna.
  • If and switch – Villkor kommer alltid att utvärderas. Alla inre aktiviteter utvärderas. Inre aktiviteter kan fortfarande hoppas över baserat på omkörningsreglerna, men funktioner som Kör pipeline körs igen.
  • Execute pipeline activity – Den underordnade pipelinen utlöses, men alla aktiviteter i den underordnade pipelinen kan fortfarande hoppas över baserat på omkörningsreglerna.

Om du vill köra om en pipeline som tidigare har körts från början hovra över den specifika pipelinekörningen och välja Kör igen. Om du väljer flera pipelines kan du använda knappen Kör om för att köra alla.

Skärmbild av att köra en pipeline igen.

Om du vill köra om från en viss punkt kan du göra det från aktivitetskörningsvyn. Välj den aktivitet som du vill starta från och välj Kör om från aktivitet.

Skärmbild av att köra en aktivitetskörning igen.

Du kan också köra en pipeline igen och ändra parametrarna. Välj knappen Nya parametrar för att ändra parametrarna.

Skärmbild av att köra om en aktivitetskörning med nya parametrar.

Anteckning

Att köra en pipeline igen med nya parametrar betraktas som en ny pipelinekörning, så visas inte under omkörningsgrupperingarna för en pipelinekörning.

Kör om från en misslyckad aktivitet

Om en aktivitet misslyckas, överskrider tidsgränsen eller avbryts kan du köra pipelinen igen från den misslyckade aktiviteten genom att välja Kör om från misslyckad aktivitet.

Skärmbild av omkörning av misslyckad aktivitet.

Visa omkörningshistorik

Du kan visa omkörningshistoriken för alla pipelinekörningar i listvyn.

Skärmbild av visningshistorik.

Du kan också visa körningshistorik för en viss pipelinekörning.

Skärmbild av visningshistorik för en pipelinekörning.

Övervaka förbrukning

Du kan se de resurser som förbrukas av en pipelinekörning genom att klicka på förbrukningsikonen bredvid körningen.

Skärmbild som visar var du kan se de resurser som förbrukas av en pipeline.

När du klickar på ikonen öppnas en förbrukningsrapport över resurser som används av pipelinekörningen.

Skärmbild av övervakningsförbrukning.

Du kan ansluta dessa värden till Priskalkylatorn för Azure för att beräkna kostnaden för pipelinekörningen. Mer information om Azure Data Factory prissättning finns i Förstå priser.

Anteckning

Dessa värden som returneras av priskalkylatorn är en uppskattning. Den återspeglar inte det exakta beloppet som du debiteras av Azure Data Factory

Gantt-vyer

Ett Gantt-diagram är en vy där du kan se körningshistoriken över en tidsperiod. När du växlar till en Gantt-vy visas alla pipelinekörningar grupperade efter namn som staplar i förhållande till hur lång tid körningen tog. Du kan också gruppera efter anteckningar/taggar som du har skapat i din pipeline. Gantt-vyn är också tillgänglig på aktivitetskörningsnivån.

Skärmbild av ett exempel på ett Gantt-schema.

Längden på fältet informerar pipelinens varaktighet. Du kan också välja fältet om du vill se mer information.

Skärmbild av varaktigheten för ett Gantt-schema.

Aviseringar

Du kan skapa aviseringar för mått som stöds i Data Factory. Välj Övervaka>aviseringsmått & på övervakningssidan för Data Factory för att komma igång.

Skärmbild av datafabrikens övervakningssida.

För en sju minuter lång introduktion och demonstration av den här funktionen watch följande video:

Skapa aviseringar

  1. Välj Ny aviseringsregel för att skapa en ny avisering.

    Skärmbild av knappen Ny aviseringsregel.

  2. Ange regelnamnet och välj allvarlighetsgraden för aviseringen.

    Skärmbild av rutor för regelnamn och allvarlighetsgrad.

  3. Välj aviseringsvillkoren.

    Skärmbild av ruta för målkriterier.

    Skärmbild som visar var du väljer ett mått för att konfigurera aviseringsvillkoret.

    Skärmbild av lista över villkor.

    Du kan skapa aviseringar för olika mått, inklusive de för antal/storlek för ADF-entiteter, aktivitets-/pipeline-/utlösarkörningar, Integration Runtime (IR) cpu-användning/minne/antal noder/kö samt för SSIS-paketkörningar och SSIS IR-start-/stoppåtgärder.

  4. Konfigurera aviseringslogik. Du kan skapa en avisering för det valda måttet för alla pipelines och motsvarande aktiviteter. Du kan också välja en viss aktivitetstyp, aktivitetsnamn, pipelinenamn eller feltyp.

    Skärmbild av alternativ för att konfigurera aviseringslogik.

  5. Konfigurera e-post-, SMS-, push- och röstmeddelanden för aviseringen. Skapa en åtgärdsgrupp eller välj en befintlig för aviseringsaviseringar.

    Skärmbild av alternativ för att konfigurera meddelanden.

    Skärmbild av alternativ för att lägga till ett meddelande.

  6. Skapa aviseringsregeln.

    Skärmbild av alternativ för att skapa en aviseringsregel.

Nästa steg

Mer information om övervakning och hantering av pipelines finns i artikeln Övervaka och hantera pipelines programmatiskt .