Övervaka Azure-datafabriker visuellt

  • Artikel

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Dricks

Prova Data Factory i Microsoft Fabric, en allt-i-ett-analyslösning för företag. Microsoft Fabric omfattar allt från dataflytt till datavetenskap, realtidsanalys, business intelligence och rapportering. Lär dig hur du startar en ny utvärderingsversion kostnadsfritt!

När du har skapat och publicerat en pipeline i Azure Data Factory kan du associera den med en utlösare eller starta en ad hoc-körning manuellt. Du kan övervaka alla pipelinekörningar internt i Azure Data Factory-användarupplevelsen. Öppna övervakningsmiljön genom att välja panelen Övervaka och hantera på bladet datafabrik i Azure-portalen. Om du redan är i ADF UX klickar du på ikonen Övervaka i det vänstra sidofältet.

Som standard visas alla Data Factory-körningar i webbläsarens lokala tidszon. Om du ändrar tidszon använder alla datum- och tidsfält tidszonen som du har valt.

Övervaka pipelinekörningar

Standardövervakningsvyn är en lista över utlösta pipelinekörningar under den valda tidsperioden. Du kan ändra intervallet och filtrera efter status, pipelinenamn eller anteckning. Hovra över den specifika pipelinekörningen för att hämta körningsspecifika åtgärder, till exempel omkörning och förbrukningsrapport.

Screenshot of list view for monitoring pipeline runs.

Rutnätet för pipelinekörning innehåller följande kolumner:

Kolumnnamn Beskrivning
Pipelinenamn Namn på pipelinen
Starta körning Startdatum och tid för pipelinekörningen (MM/DD/ÅÅÅÅ, HH:MM:SS AM/PM)
Kör slut Slutdatum och tid för pipelinekörningen (MM/DD/ÅÅÅÅ, HH:MM:SS AM/PM)
Varaktighet Körningstid (HH:MM:SS)
Utlöst av Namnet på utlösaren som startade pipelinen
Status Misslyckades, lyckades, pågår, avbröts eller köades
Kommentarer Filterbara taggar som är associerade med en pipeline
Parametrar Parametrar för pipelinekörningen (namn/värde-par)
Fel Om pipelinen misslyckades kan körningsfelet
Kör Original, Kör om eller Kör om (senaste)
Körnings-ID ID för pipelinekörningen

Du måste välja knappen Uppdatera manuellt för att uppdatera listan över pipeline- och aktivitetskörningar. Autorefresh stöds för närvarande inte.

Screenshot of refresh button.

Om du vill visa resultatet av en felsökningskörning väljer du fliken Felsök .

Screenshot of the view active debug runs icon.

Övervaka aktivitetskörningar

Om du vill få en detaljerad vy över enskilda aktivitetskörningar för en specifik pipelinekörning klickar du på pipelinenamnet.

Screenshot of view activity runs.

Listvyn visar aktivitetskörningar som motsvarar varje pipelinekörning. Hovra över den specifika aktivitetskörningen för att hämta körningsspecifik information, till exempel JSON-indata, JSON-utdata och detaljerade aktivitetsspecifika övervakningsupplevelser.

Screenshot of information about SalesAnalyticsMLPipeline, followed by a list of activity runs.

Kolumnnamn Beskrivning
Aktivitetsnamn Namnet på aktiviteten i pipelinen
Aktivitetstyp Typ av aktivitet, till exempel Kopiera, ExecuteDataFlow eller AzureMLExecutePipeline
Åtgärder Ikoner som gör att du kan se JSON-indatainformation, JSON-utdatainformation eller detaljerade aktivitetsspecifika övervakningsupplevelser
Starta körning Startdatum och tid för aktivitetskörningen (MM/DD/ÅÅÅÅ, HH:MM:SS AM/PM)
Varaktighet Körningstid (HH:MM:SS)
Status Misslyckades, lyckades, pågår eller avbröts
Integration Runtime Vilken Integration Runtime som aktiviteten kördes på
Egenskaper för användare Användardefinierade egenskaper för aktiviteten
Fel Om aktiviteten misslyckades kan körningsfelet
Körnings-ID ID för aktivitetskörningen

Om en aktivitet misslyckades kan du se det detaljerade felmeddelandet genom att klicka på ikonen i felkolumnen.

Screenshot of a notification with error details including error code, failure type, and error details.

Flytta upp användaregenskaper för övervakning

Höj upp en egenskap för en pipelineaktivitet till en användaregenskap så att den blir en entitet som du övervakar. Du kan till exempel höja upp egenskaperna Källa och Mål för kopieringsaktiviteten i din pipeline till användaregenskaper.

Kommentar

Du kan bara höja upp till fem egenskaper för pipelineaktivitet som användaregenskaper.

Screenshot of create user properties.

När du har skapat användaregenskaperna kan du övervaka dem i övervakningslistans vyer.

Screenshot of add columns for user properties to the activity runs list.

Om källan för kopieringsaktiviteten är ett tabellnamn kan du övervaka källtabellnamnet som en kolumn i listvyn för aktivitetskörningar.

Screenshot of activity runs list with columns for user properties.

Kör om pipelines och aktiviteter

Kör om beteendet för containeraktiviteterna på följande sätt:

  • Wait- Aktiviteten fungerar som tidigare.
  • Set Variable - Aktiviteten fungerar som tidigare.
  • Filter - Aktiviteten fungerar som tidigare.
  • Until Aktiviteten utvärderar uttrycket och loopar tills villkoret är uppfyllt. Inre aktiviteter kan fortfarande hoppas över baserat på omkörningsreglerna.
  • Foreach Aktiviteten loopar alltid på de objekt som den tar emot. Inre aktiviteter kan fortfarande hoppas över baserat på omkörningsreglerna.
  • If and switch – Villkor kommer alltid att utvärderas. Alla inre aktiviteter utvärderas. Inre aktiviteter kan fortfarande hoppas över baserat på reglerna för omkörning, men åtgärder som Kör pipeline körs igen.
  • Execute pipeline activity – Den underordnade pipelinen utlöses, men alla aktiviteter i den underordnade pipelinen kan fortfarande hoppas över baserat på reglerna för omkörning.

Om du vill köra en pipeline igen som tidigare har körts från början hovra över den specifika pipelinekörningen och välj Kör igen. Om du väljer flera pipelines kan du använda knappen Kör om för att köra alla.

Screenshot of rerun a pipeline.

Om du vill köra om från en viss punkt kan du göra det från aktivitetskörningsvyn. Välj den aktivitet som du vill starta från och välj Kör om från aktivitet.

Screenshot of rerun an activity run.

Du kan också köra en pipeline igen och ändra parametrarna. Välj knappen Nya parametrar för att ändra parametrarna.

Screenshot of rerun an activity run with new parameters.

Kommentar

Att köra en pipeline igen med nya parametrar betraktas som en ny pipelinekörning så visas inte under omkörningsgrupperingarna för en pipelinekörning.

Kör om från en misslyckad aktivitet

Om en aktivitet misslyckas, når en tidsgräns eller avbryts kan du köra om denna pipeline från den misslyckade aktiviteten genom att välja Kör om från den misslyckade aktiviteten.

Screenshot of rerun failed activity.

Visa omkörningshistorik

Du kan visa omkörningshistoriken för alla pipelinekörningar i listvyn.

Screenshot of view history.

Du kan också visa körningshistoriken för en viss pipelinekörning.

Screenshot of view history for a pipeline run.

Övervaka förbrukning

Du kan se de resurser som förbrukas av en pipelinekörning genom att klicka på förbrukningsikonen bredvid körningen.

Screenshot that shows where you can see the resources consumed by a pipeline.

När du klickar på ikonen öppnas en förbrukningsrapport över resurser som används av pipelinekörningen.

Screenshot of monitor consumption.

Du kan ansluta dessa värden till Priskalkylatorn för Azure för att beräkna kostnaden för pipelinekörningen. Mer information om priser för Azure Data Factory finns i Förstå priser.

Kommentar

Dessa värden som returneras av priskalkylatorn är en uppskattning. Den återspeglar inte det exakta belopp som du debiteras av Azure Data Factory

Gantt-vyer

Ett Gantt-diagram är en vy där du kan se körningshistoriken över en tidsperiod. När du växlar till en Gantt-vy visas alla pipelinekörningar grupperade efter namn som staplar i förhållande till hur lång tid körningen tog. Du kan också gruppera efter anteckningar/taggar som du har skapat i din pipeline. Gantt-vyn är också tillgänglig på aktivitetskörningsnivån.

Screenshot of an example of a Gantt chart.

Längden på fältet informerar pipelinens varaktighet. Du kan också välja fältet för att se mer information.

Screenshot of a Gantt chart duration.

Aviseringar

Du kan skapa aviseringar för mått som stöds i Data Factory. Välj Övervaka>aviseringar och mått på datafabrikens övervakningssida för att komma igång.

Screenshot of the Data factory Monitor page.

För en sju minuter lång introduktion och demonstration av den här funktionen kan du titta på följande video:

Skapa aviseringar

  1. Välj Ny aviseringsregel för att skapa en ny avisering.

    Screenshot of New Alert Rule button.

  2. Ange regelnamnet och välj allvarlighetsgraden för aviseringen.

    Screenshot of boxes for rule name and severity.

  3. Välj aviseringsvillkoren.

    Screenshot of box for target criteria.

    Screenshot that shows where you select one metric to set up the alert condition.

    Screenshot of list of criteria.

    Du kan skapa aviseringar för olika mått, inklusive de för ADF-entitetsantal/storlek, aktivitets-/pipeline-/utlösarkörningar, IR-processoranvändning (Integration Runtime) CPU-användning/minnes-/nodantal/kö samt för SSIS-paketkörningar och SSIS IR-start-/stoppåtgärder.

  4. Konfigurera aviseringslogik. Du kan skapa en avisering för det valda måttet för alla pipelines och motsvarande aktiviteter. Du kan också välja en viss aktivitetstyp, aktivitetsnamn, pipelinenamn eller feltyp.

    Screenshot of options for configuring alert logic.

  5. Konfigurera e-post-, SMS-, push- och röstmeddelanden för aviseringen. Skapa en åtgärdsgrupp eller välj en befintlig för aviseringsmeddelandena.

    Screenshot of options for configuring notifications.

    Screenshot of options for adding a notification.

  6. Skapa aviseringsregeln.

    Screenshot of options for creating an alert rule.

Relaterat innehåll

Mer information om övervakning och hantering av pipelines finns i artikeln Övervaka och hantera pipelines programmatiskt .