Azure Data Factory visueel bewaken

Artikel
01/05/2024

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

Tip

Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .

Nadat u een pijplijn in Azure Data Factory hebt gemaakt en gepubliceerd, kunt u deze koppelen aan een trigger of handmatig een ad-hocuitvoering starten. U kunt al uw pijplijnuitvoeringen systeemeigen bewaken in de gebruikerservaring van Azure Data Factory. Als u de bewakingservaring wilt openen, selecteert u de tegel Controleren en beheren op de blade Data Factory van Azure Portal. Als u al in de ADF UX bent, klikt u op het monitorpictogram op de linkerzijbalk.

Standaard worden alle runs van Data Factory weergegeven in de lokale tijdzone van de browser. Als u de tijdzone wijzigt, worden alle datum- en tijdvelden aangepast aan de zone die u hebt geselecteerd.

Pijplijnuitvoeringen controleren

De standaardbewakingsweergave is een lijst met geactiveerde pijplijnuitvoeringen in de geselecteerde periode. U kunt het tijdsbereik wijzigen en filteren op status, pijplijnnaam of aantekening. Beweeg de muisaanwijzer over de specifieke pijplijnuitvoering om uitvoeringsspecifieke acties op te halen, zoals opnieuw uitvoeren en het verbruiksrapport.

Schermopname van de lijstweergave voor het bewaken van pijplijnuitvoeringen.

Het pijplijnuitvoeringsraster bevat de volgende kolommen:

Kolomnaam	Beschrijving
Naam van de pijplijn	Naam van de pijplijn
Begintijd van uitvoering	Begindatum en -tijd voor de pijplijnuitvoering (MM/DD/JJJJ, UU:MM:SS AM/PM)
Einde van uitvoering	Einddatum en -tijd voor de pijplijnuitvoering (MM/DD/JJJJ, UU:MM:SS AM/PM)
Duur	Uitvoeringsduur (UU:MM:SS)
Geactiveerd door	De naam van de trigger waarmee de pijplijn is gestart
Status	Mislukt, geslaagd, wordt uitgevoerd, geannuleerd of in de wachtrij geplaatst
Aantekeningen	Filterbare tags die zijn gekoppeld aan een pijplijn
Parameters	Parameters voor de pijplijnuitvoering (naam/waardeparen)
Error	Als de pijplijn is mislukt, wordt de uitvoeringsfout weergegeven
Uitvoeren	Origineel, opnieuw uitvoeren of opnieuw uitvoeren (meest recente versie)
Uitvoerings-id	Id van de pijplijnuitvoering

U moet handmatig de knop Vernieuwen selecteren om de lijst met pijplijn- en activiteitsuitvoeringen te vernieuwen. Autorefresh wordt momenteel niet ondersteund.

Schermopname van de knop Vernieuwen.

Als u de resultaten van een foutopsporingsuitvoering wilt weergeven, selecteert u het tabblad Foutopsporing .

Schermopname van het pictogram Actieve foutopsporingsuitvoeringen weergeven.

Uitvoering van activiteiten controleren

Klik op de naam van de pijplijn om een gedetailleerde weergave te krijgen van de afzonderlijke activiteitsuitvoeringen van een specifieke pijplijnuitvoering.

Schermopname van uitvoeringen van weergaveactiviteiten.

In de lijstweergave worden activiteitsuitvoeringen weergegeven die overeenkomen met elke pijplijnuitvoering. Beweeg de muisaanwijzer over de specifieke uitvoering van de activiteit om uitvoeringsspecifieke informatie op te halen, zoals de JSON-invoer, JSON-uitvoer en gedetailleerde activiteitenspecifieke bewakingservaringen.

Schermopname van informatie over SalesAnalyticsMLPipeline, gevolgd door een lijst met uitvoeringen van activiteiten.

Kolomnaam	Beschrijving
Activiteitsnaam	Naam van de activiteit in de pijplijn
Type activiteit	Type activiteit, zoals Kopiëren, ExecuteDataFlow of AzureMLExecutePipeline
Acties	Pictogrammen waarmee u JSON-invoergegevens, JSON-uitvoergegevens of gedetailleerde activiteitenspecifieke bewakingservaringen kunt zien
Begintijd van uitvoering	Begindatum en -tijd voor de uitvoering van de activiteit (MM/DD/JJJJ, UU:MM:SS AM/PM)
Duur	Uitvoeringsduur (UU:MM:SS)
Status	Mislukt, Geslaagd, Wordt uitgevoerd of Geannuleerd
Integration Runtime	Op welke Integration Runtime de activiteit is uitgevoerd
Gebruikerseigenschappen	Door de gebruiker gedefinieerde eigenschappen van de activiteit
Error	Als de activiteit is mislukt, wordt de uitvoeringsfout weergegeven
Uitvoerings-id	Id van de uitvoering van de activiteit

Als een activiteit is mislukt, ziet u het gedetailleerde foutbericht door op het pictogram in de foutkolom te klikken.

Schermopname van een melding met foutdetails, waaronder foutcode, fouttype en foutdetails.

Gebruikerseigenschappen verhogen om te bewaken

Stel de eigenschap van een pijplijnactiviteit in als een gebruikerseigenschap, zodat deze een entiteit wordt die u kunt bewaken. U kunt bijvoorbeeld de eigenschappen Bron en Doel van de kopieeractiviteit in uw pijplijn promoveren tot gebruikerseigenschappen.

Notitie

U kunt maximaal vijf eigenschappen van pijplijnactiviteit promoveren als gebruikerseigenschappen.

Schermopname van het maken van gebruikerseigenschappen.

Nadat u de gebruikerseigenschappen hebt gemaakt, kunt u deze bewaken in de weergaven van de bewakingslijst.

Schermopname van het toevoegen van kolommen voor gebruikerseigenschappen aan de lijst met uitvoeringen van activiteiten.

Als de bron voor de kopieeractiviteit een tabelnaam is, kunt u de naam van de brontabel controleren als een kolom in de lijstweergave voor uitvoeringen van activiteiten.

Schermopname van de lijst met uitvoeringen van activiteiten met kolommen voor gebruikerseigenschappen.

Pijplijnen en activiteiten opnieuw uitvoeren

Het gedrag van de containeractiviteiten wordt als volgt opnieuw uitgevoerd:

Wait- Activiteit gedraagt zich zoals voorheen.
Set Variable - Activiteit gedraagt zich zoals voorheen.
Filter - Activiteit gedraagt zich zoals voorheen.
Until De activiteit evalueert de expressie en wordt herhaald tot aan de voorwaarde wordt voldaan. Inner-activiteiten kunnen nog steeds worden overgeslagen op basis van de regels voor opnieuw uitvoeren.
Foreach De activiteit wordt altijd herhaald voor de items die worden ontvangen. Inner-activiteiten kunnen nog steeds worden overgeslagen op basis van de regels voor opnieuw uitvoeren.
If and switch - Voorwaarden worden altijd geëvalueerd. Alle interne activiteiten worden geëvalueerd. Interne activiteiten kunnen nog steeds worden overgeslagen op basis van de regels voor opnieuw uitvoeren, maar de activiteiten zoals Execute Pipeline worden opnieuw uitgevoerd.
Execute pipeline activity - De onderliggende pijplijn wordt geactiveerd, maar alle activiteiten in de onderliggende pijplijn kunnen nog steeds worden overgeslagen op basis van de regels voor opnieuw uitvoeren.

Als u een pijplijn die eerder vanaf het begin is uitgevoerd opnieuw wilt uitvoeren, beweegt u de muisaanwijzer over de specifieke pijplijnuitvoering en selecteert u Opnieuw uitvoeren. Als u meerdere pijplijnen selecteert, kunt u de knop Opnieuw uitvoeren gebruiken om ze allemaal uit te voeren.

Schermopname van het opnieuw uitvoeren van een pijplijn.

Als u opnieuw wilt uitvoeren vanaf een specifiek punt, kunt u dit doen vanuit de weergave uitvoeringen van activiteit. Selecteer de activiteit waaruit u wilt beginnen en selecteer Opnieuw uitvoeren vanuit activiteit.

Schermopname van het opnieuw uitvoeren van een activiteitsuitvoering.

U kunt ook een pijplijn opnieuw uitvoeren en de parameters wijzigen. Selecteer de knop Nieuwe parameters om de parameters te wijzigen.

Schermopname van het opnieuw uitvoeren van een activiteitsuitvoering met nieuwe parameters.

Notitie

Het opnieuw uitvoeren van een pijplijn met nieuwe parameters wordt beschouwd als een nieuwe pijplijnuitvoering, zodat deze niet wordt weergegeven onder de groeperingen voor opnieuw uitvoeren voor een pijplijnuitvoering.

Opnieuw uitvoeren vanuit mislukte activiteit

Als een activiteit mislukt, een time-out heeft of wordt geannuleerd, kunt u de pijplijn van die mislukte activiteit opnieuw uitvoeren door Opnieuw uitvoeren te selecteren in de mislukte activiteit.

Schermopname van mislukte activiteit opnieuw uitvoeren.

Geschiedenis van opnieuw uitvoeren weergeven

U kunt voor alle pijplijn-runs weergeven in de lijstweergave de geschiedenis van opnieuw uitvoeren bekijken.

Schermopname van weergavegeschiedenis.

U kunt ook de geschiedenis van opnieuw uitvoeren voor een bepaalde pijplijnuitvoering bekijken.

Schermopname van de weergavegeschiedenis voor een pijplijnuitvoering.

Verbruik bewaken

U kunt de resources zien die worden gebruikt door een pijplijnuitvoering door op het verbruikspictogram naast de uitvoering te klikken.

Schermopname van waar u de resources kunt zien die door een pijplijn worden gebruikt.

Als u op het pictogram klikt, wordt een verbruiksrapport geopend van resources die door die pijplijnuitvoering worden gebruikt.

Schermopname van het verbruik van de monitor.

U kunt deze waarden aansluiten op de Azure-prijscalculator om de kosten van de pijplijnuitvoering te schatten. Zie Prijzen begrijpen voor meer informatie over prijzen van Azure Data Factory.

Notitie

Deze waarden die door de prijscalculator worden geretourneerd, zijn een schatting. Het geeft niet het exacte bedrag weer dat u in rekening wordt gebracht door Azure Data Factory

Gantt-weergaven

Een Gantt-grafiek is een weergave waarmee u de geschiedenis van een run gedurende een bepaalde periode kunt bekijken. Als u overschakelt naar een Gantt-weergave, ziet u alle pijplijn-runs gegroepeerd op naam, weergegeven als balken ten opzichte van hoe lang de run heeft geduurd. U kunt ook groeperen op aantekeningen/tags die u in uw pijplijn hebt gemaakt. De Gantt-weergave is ook beschikbaar op het niveau van de activiteitsrun.

Schermopname van een voorbeeld van een Gantt-diagram.

De lengte van de balk geeft de duur van de pijplijn aan. U kunt ook de balk selecteren om meer details weer te geven.

Schermopname van de duur van een Gantt-diagram.

Waarschuwingen

U kunt waarschuwingen instellen voor ondersteunde metrische gegevens in Data Factory. Selecteer Waarschuwingen>en metrische gegevens bewaken op de data factory-bewakingspagina om aan de slag te gaan.

Schermopname van de pagina Data factory Monitor.

Bekijk de volgende video voor een inleiding van zeven minuten en demonstratie van deze functie:

Waarschuwingen maken

Selecteer Nieuwe waarschuwingsregel om een nieuwe waarschuwing te maken.
Geef de regelnaam op en selecteer de ernst van de waarschuwing.
Selecteer de waarschuwingscriteria.

U kunt waarschuwingen maken voor verschillende metrische gegevens, waaronder die voor het aantal ADF-entiteiten, activiteits-/pijplijn-/triggeruitvoeringen, CPU-gebruik/geheugen-/knooppuntaantal/wachtrij, evenals voor uitvoeringen van SSIS-pakketten en SSIS IR-start-/stopbewerkingen.
Configureer de waarschuwingslogica. U kunt een waarschuwing maken voor de geselecteerde metrische gegevens voor alle pijplijnen en bijbehorende activiteiten. U kunt ook een bepaald activiteitstype, activiteitsnaam, pijplijnnaam of fouttype selecteren.
Configureer e-mail, sms, push- en spraakmeldingen voor de waarschuwing. Maak een actiegroep of kies een bestaande groep voor de waarschuwingsmeldingen.
Maak de waarschuwingsregel.