Azure Data Factory bewaken

In dit artikel wordt het volgende beschreven:

• De typen bewakingsgegevens die u voor deze service kunt verzamelen.
• Manieren om die gegevens te analyseren.

Notitie

Als u al bekend bent met deze service en/of Azure Monitor en alleen wilt weten hoe u bewakingsgegevens analyseert, raadpleegt u de sectie Analyseren aan het einde van dit artikel.

Wanneer u kritieke toepassingen en bedrijfsprocessen hebt die afhankelijk zijn van Azure-resources, moet u waarschuwingen voor uw systeem bewaken en ontvangen. De Azure Monitor-service verzamelt en aggregeert metrische gegevens en logboeken van elk onderdeel van uw systeem. Azure Monitor biedt een overzicht van beschikbaarheid, prestaties en tolerantie, en geeft u een overzicht van problemen. U kunt de Azure-portal, PowerShell, Azure CLI, REST API of clientbibliotheken gebruiken om bewakingsgegevens in te stellen en weer te geven.

• Zie het overzicht van Azure Monitor voor meer informatie over Azure Monitor.
• Zie Azure-resources bewaken met Azure Monitor voor meer informatie over het bewaken van Azure-resources in het algemeen.

Bewakingsmethoden

Er zijn verschillende manieren om Azure Data Factory te bewaken.

Azure Data Factory Studio

U kunt al uw Data Factory-pijplijnuitvoeringen systeemeigen bewaken in Azure Data Factory Studio. Als u de bewakingservaring wilt openen, selecteert u Launch Studio op uw Data Factory-pagina in Azure Portal en selecteert u Monitor in het linkermenu in Azure Data Factory Studio.

Zie de volgende artikelen voor meer informatie over bewaking in Azure Data Factory Studio:

• Azure Data Factory visueel bewaken
• Bewaking van gegevensstromen
• Kopieeractiviteit bewaken
• Sessielogboek in een Copy-activiteit

Azure Portal

U kunt Azure Data Factory ook rechtstreeks vanuit Azure Portal bewaken. Er worden verschillende grafieken met metrische gegevens weergegeven op de overzichtspagina van Azure Portal voor uw Data Factory. In het linkerzijbalkmenu hebt u toegang tot het Azure-activiteitenlogboek of selecteert u waarschuwingen, metrische gegevens, diagnostische instellingen of logboeken in de sectie Bewaking.

Programmatisch bewaken

U kunt Data Factory-pijplijnen programmatisch bewaken met behulp van .NET, PowerShell, Python of de REST API. Raadpleeg voor meer informatie de volgende artikelen:

• Programmatisch azure Data Factory bewaken
• Diagnostische logboeken instellen via de Azure Monitor REST API

Resourcetypen

Azure maakt gebruik van het concept van resourcetypen en id's om alles in een abonnement te identificeren. Azure Monitor organiseert op dezelfde manier kernbewakingsgegevens in metrische gegevens en logboeken op basis van resourcetypen, ook wel naamruimten genoemd. Er zijn verschillende metrische gegevens en logboeken beschikbaar voor verschillende resourcetypen. Uw service is mogelijk gekoppeld aan meer dan één resourcetype.

Resourcetypen maken ook deel uit van de resource-id's voor elke resource die wordt uitgevoerd in Azure. Eén resourcetype voor een virtuele machine is Microsoft.Compute/virtualMachinesbijvoorbeeld . Zie Resourceproviders voor een lijst met services en de bijbehorende resourcetypen.

Zie de naslaginformatie over de bewakingsgegevens van Data Factory voor meer informatie over de resourcetypen voor Azure Data Factory.

Gegevensopslag

Voor Azure Monitor:

• Metrische gegevens worden opgeslagen in de metrische gegevensdatabase van Azure Monitor.
• Logboekgegevens worden opgeslagen in het logboekarchief van Azure Monitor. Log Analytics is een hulpprogramma in Azure Portal waarmee een query kan worden uitgevoerd op dit archief.
• Het Azure-activiteitenlogboek is een afzonderlijk archief met een eigen interface in Azure Portal.

U kunt eventueel metrische gegevens en activiteitenlogboekgegevens routeren naar het logboekarchief van Azure Monitor. Vervolgens kunt u Log Analytics gebruiken om een query uit te voeren op de gegevens en deze te correleren met andere logboekgegevens.

Veel services kunnen diagnostische instellingen gebruiken om metrische gegevens en logboekgegevens te verzenden naar andere opslaglocaties buiten Azure Monitor. Voorbeelden hiervan zijn Azure Storage, gehoste partnersystemen en niet-Azure-partnersystemen, met behulp van Event Hubs.

Zie het Azure Monitor-gegevensplatform voor gedetailleerde informatie over hoe Azure Monitor gegevens opslaat.

Gegevens van data factory-pijplijnuitvoering opslaan

Data Factory slaat pijplijnuitvoeringsgegevens slechts 45 dagen op. Gebruik Azure Monitor om diagnostische logboeken te routeren als u de gegevens langer wilt bewaren.

Routeer gegevens naar Log Analytics als u deze wilt analyseren met complexe query's, aangepaste waarschuwingen wilt maken of wilt bewaken in data factory's. U kunt gegevens van meerdere data factory's routeren naar één Log Analytics-werkruimte.

U kunt een opslagaccount of Event Hub-naamruimte gebruiken die zich niet in het abonnement bevindt van de resource die logboeken verzendt. De gebruiker die de instelling configureert, moet de juiste azure RBAC-toegangsbeheer (op rollen gebaseerd toegangsbeheer) hebben voor beide abonnementen.

Metrische gegevens van het Azure Monitor-platform

Azure Monitor biedt metrische platformgegevens voor de meeste services. Deze metrische gegevens zijn:

• Afzonderlijk gedefinieerd voor elke naamruimte.
• Opgeslagen in de metrische gegevensdatabase van Azure Monitor.
• Lichtgewicht en in staat om bijna realtime waarschuwingen te ondersteunen.
• Wordt gebruikt om de prestaties van een resource in de loop van de tijd bij te houden.

Verzameling: Azure Monitor verzamelt automatisch metrische platformgegevens. Er is geen configuratie vereist.

Routering: U kunt ook meestal metrische platformgegevens routeren naar Azure Monitor-logboeken/Log Analytics, zodat u er query's op kunt uitvoeren met andere logboekgegevens. Zie de diagnostische instelling voor metrische gegevens voor meer informatie. Zie Diagnostische instellingen maken in Azure Monitor voor informatie over het configureren van diagnostische instellingen voor een service.

Zie Ondersteunde metrische gegevens in Azure Monitor voor een lijst met alle metrische gegevens die kunnen worden verzameld voor alle resources in Azure Monitor.

Zie Data Factory-gegevensreferentie voor een lijst met beschikbare metrische gegevens voor Data Factory.

Azure Monitor-resourcelogboeken

Resourcelogboeken bieden inzicht in bewerkingen die zijn uitgevoerd door een Azure-resource. Logboeken worden automatisch gegenereerd, maar u moet ze routeren naar Azure Monitor-logboeken om ze op te slaan of er query's op uit te voeren. Logboeken zijn ingedeeld in categorieën. Een bepaalde naamruimte kan meerdere resourcelogboekcategorieën hebben.

Verzameling: Resourcelogboeken worden pas verzameld en opgeslagen als u een diagnostische instelling maakt en de logboeken doorsturen naar een of meer locaties. Wanneer u een diagnostische instelling maakt, geeft u op welke categorieën logboeken moeten worden verzameld. Er zijn meerdere manieren om diagnostische instellingen te maken en te onderhouden, waaronder Azure Portal, programmatisch en hoewel Azure Policy.

Routering: de voorgestelde standaardinstelling is het routeren van resourcelogboeken naar Azure Monitor-logboeken, zodat u er query's op kunt uitvoeren met andere logboekgegevens. Andere locaties, zoals Azure Storage, Azure Event Hubs en bepaalde Microsoft-bewakingspartners, zijn ook beschikbaar. Zie Azure-resourcelogboeken en resourcelogboekbestemmingen voor meer informatie.

Zie Diagnostische instellingen in Azure Monitor voor gedetailleerde informatie over het verzamelen, opslaan en routeren van resourcelogboeken.

Zie Ondersteunde resourcelogboeken in Azure Monitor voor een lijst met alle beschikbare resourcelogboekcategorieën in Azure Monitor.

Alle resourcelogboeken in Azure Monitor hebben dezelfde koptekstvelden, gevolgd door servicespecifieke velden. Het algemene schema wordt beschreven in het schema voor resourcelogboeken van Azure Monitor.

• Zie de data factory-gegevensreferentie voor de beschikbare resourcelogboekcategorieën, de bijbehorende Log Analytics-tabellen en de logboekschema's.

• Als u diagnostische instellingen en een Log Analytics-werkruimte wilt configureren om Data Factory te bewaken, raadpleegt u Diagnostische instellingen en een werkruimte configureren.

Azure-activiteitenlogboek

Het activiteitenlogboek bevat gebeurtenissen op abonnementsniveau waarmee bewerkingen voor elke Azure-resource worden bijgehouden, zoals van buiten die resource wordt gezien; Bijvoorbeeld het maken van een nieuwe resource of het starten van een virtuele machine.

Verzameling: gebeurtenissen in activiteitenlogboeken worden automatisch gegenereerd en verzameld in een afzonderlijk archief voor weergave in Azure Portal.

Routering: U kunt activiteitenlogboekgegevens verzenden naar Azure Monitor-logboeken, zodat u deze naast andere logboekgegevens kunt analyseren. Andere locaties, zoals Azure Storage, Azure Event Hubs en bepaalde Microsoft-bewakingspartners, zijn ook beschikbaar. Zie Overzicht van het Azure-activiteitenlogboek voor meer informatie over het routeren van het activiteitenlogboek.

Integratieruntimes bewaken

Integration Runtime is de rekeninfrastructuur die Data Factory gebruikt om mogelijkheden voor gegevensintegratie in verschillende netwerkomgevingen te bieden. Data Factory biedt verschillende typen integratieruntimes:

• Integratie-runtime Azure
• Zelf-hostende Integration Runtime
• Integratieruntime van Azure-SQL Server Integration Services (SSIS)
• Apache Airflow Integration Runtime

Azure Monitor verzamelt metrische gegevens en diagnostische logboeken voor alle typen integratieruntimes. Zie de volgende artikelen voor gedetailleerde instructies voor het bewaken van integratieruntimes:

• Een IR bewaken in Azure Data Factory
• Een integratieruntime bewaken binnen een beheerd virtueel netwerk
• Zelf-hostende Integration Runtime bewaken in Azure
• Zelf-hostende Integration Runtime configureren voor log analytics-verzameling
• SSIS-bewerkingen bewaken met Azure Monitor
• Diagnostische logboeken en metrische gegevens voor Apache Airflow

Bewakingsgegevens analyseren

Er zijn veel hulpprogramma's voor het analyseren van bewakingsgegevens.

Azure Monitor-hulpprogramma's

Azure Monitor ondersteunt de volgende basishulpprogramma's:

• Metrics Explorer, een hulpprogramma in Azure Portal waarmee u metrische gegevens voor Azure-resources kunt weergeven en analyseren. Zie Metrische gegevens analyseren met Azure Monitor Metrics Explorer voor meer informatie.

• Log Analytics, een hulpprogramma in Azure Portal waarmee u logboekgegevens kunt opvragen en analyseren met behulp van de Kusto-querytaal (KQL). Zie Aan de slag met logboekquery's in Azure Monitor voor meer informatie.

• Het activiteitenlogboek, dat een gebruikersinterface in Azure Portal heeft voor het weergeven en uitvoeren van basiszoekopdrachten. Als u uitgebreidere analyses wilt uitvoeren, moet u de gegevens routeren naar Azure Monitor-logboeken en complexere query's uitvoeren in Log Analytics.

Hulpprogramma's waarmee complexere visualisaties mogelijk zijn, zijn onder andere:

• Dashboards waarmee u verschillende soorten gegevens kunt combineren in één deelvenster in Azure Portal.
• Werkmappen, aanpasbare rapporten die u kunt maken in Azure Portal. Werkmappen kunnen tekst, metrische gegevens en logboekquery's bevatten.
• Grafana, een open platformhulpprogramma dat excelleert in operationele dashboards. U kunt Grafana gebruiken om dashboards te maken die gegevens uit meerdere andere bronnen dan Azure Monitor bevatten.
• Power BI, een business analytics-service die interactieve visualisaties biedt in verschillende gegevensbronnen. U kunt Power BI zo configureren dat logboekgegevens automatisch vanuit Azure Monitor worden geïmporteerd om te profiteren van deze visualisaties.

Azure Monitor-exporthulpprogramma's

U kunt gegevens uit Azure Monitor ophalen in andere hulpprogramma's met behulp van de volgende methoden:

• Metrische gegevens: gebruik de REST API voor metrische gegevens om metrische gegevens te extraheren uit de metrische Azure Monitor-database. De API ondersteunt filterexpressies om de opgehaalde gegevens te verfijnen. Zie azure Monitor REST API-naslaginformatie voor meer informatie.

• Logboeken: Gebruik de REST API of de bijbehorende clientbibliotheken.

• Een andere optie is het exporteren van werkruimtegegevens.

Als u aan de slag wilt gaan met de REST API voor Azure Monitor, raadpleegt u de stapsgewijze instructies voor Azure Monitoring REST API.

Zie Diagnostische logboeken instellen via de Azure Monitor REST API voor gedetailleerde instructies over het configureren van diagnostische logboeken met behulp van de REST API.

Kusto-query's

U kunt bewakingsgegevens analyseren in de Azure Monitor-logboeken/Log Analytics-opslag met behulp van de Kusto-querytaal (KQL).

Belangrijk

Wanneer u Logboeken selecteert in het menu van de service in de portal, wordt Log Analytics geopend met het querybereik ingesteld op de huidige service. Dit bereik betekent dat logboekquery's alleen gegevens uit dat type resource bevatten. Als u een query wilt uitvoeren die gegevens uit andere Azure-services bevat, selecteert u Logboeken in het menu Azure Monitor . Zie Log-querybereik en tijdsbereik in Azure Monitor Log Analytics voor meer informatie.

Zie de interface voor Log Analytics-query's voor een lijst met algemene query's voor elke service.

Selecteer bijvoorbeeld logboeken onder Bewaking in de linkernavigatiebalk van uw Data Factory-pagina in Azure Portal en selecteer vervolgens het tabblad Query's. Hier volgen enkele voorbeeldquery's:

PipelineRuns-beschikbaarheid: geeft de beschikbaarheid van de pijplijnuitvoeringen.

ADFPipelineRun
| where Status != 'InProgress' and Status != 'Queued'
| where FailureType != 'UserError'
| summarize availability = 100.00 - (100.00*countif(Status != 'Succeeded') / count())  by bin(TimeGenerated, 1h)), _ResourceId
| order by TimeGenerated asc
| render timechart

Activiteit voert top 5-fouten uit: retourneert de vijf belangrijkste activiteiten die mislukken met systeemfouten.

ADFActivityRun 
| where TimeGenerated >= ago(24h)
| where Status != 'InProgress' and Status != 'Queued'
| where FailureType != 'UserError'
| where ActivityName  in (name)
| summarize failureCount = countif(Status != 'Succeeded') by bin(TimeGenerated, 1h), ActivityName
| top 5 by failureCount desc nulls last
| order by TimeGenerated asc
| render timechart

De meest recente status van pijplijnuitvoeringen: retourneert de meest recente status van pijplijnuitvoeringen.

ADFPipelineRun
| summarize argmax(TimeGenerated, * ) by RunId, Status, _ResourceId

Waarschuwingen

Azure Monitor-waarschuwingen melden u proactief wanneer er specifieke voorwaarden worden gevonden in uw bewakingsgegevens. Met waarschuwingen kunt u problemen in uw systeem identificeren en oplossen voordat uw klanten ze opmerken. Zie Azure Monitor-waarschuwingen voor meer informatie.

Er zijn veel bronnen van algemene waarschuwingen voor Azure-resources. Zie Voorbeeldquery's voor logboekwaarschuwingen voor voorbeelden van veelvoorkomende waarschuwingen voor Azure-resources. De site Azure Monitor Baseline Alerts (AMBA) biedt een semi-geautomatiseerde methode voor het implementeren van belangrijke metrische platformwaarschuwingen, dashboards en richtlijnen. De site is van toepassing op een voortdurend uitbreidende subset van Azure-services, inclusief alle services die deel uitmaken van de Azure Landing Zone (ALZ).

Het algemene waarschuwingsschema standaardiseert het verbruik van Azure Monitor-waarschuwingsmeldingen. Zie Algemeen waarschuwingsschema voor meer informatie.

Typen waarschuwingen

U kunt een waarschuwing ontvangen voor elke metrische gegevensbron of logboekgegevensbron in het Azure Monitor-gegevensplatform. Er zijn veel verschillende typen waarschuwingen, afhankelijk van de services die u bewaakt en de bewakingsgegevens die u verzamelt. Verschillende typen waarschuwingen hebben verschillende voordelen en nadelen. Zie Het juiste waarschuwingstype voor bewaking kiezen voor meer informatie.

In de volgende lijst worden de typen Azure Monitor-waarschuwingen beschreven die u kunt maken:

• Metrische waarschuwingen evalueren met regelmatige tussenpozen resourcegegevens. Metrische gegevens kunnen metrische platformgegevens, aangepaste metrische gegevens, logboeken van Azure Monitor zijn geconverteerd naar metrische gegevens of metrische Gegevens van Application Insights. Metrische waarschuwingen kunnen ook meerdere voorwaarden en dynamische drempelwaarden toepassen.
• Met logboekwaarschuwingen kunnen gebruikers een Log Analytics-query gebruiken om resourcelogboeken met een vooraf gedefinieerde frequentie te evalueren.
• Waarschuwingen voor activiteitenlogboeken worden geactiveerd wanneer een nieuwe gebeurtenis van het activiteitenlogboek plaatsvindt die overeenkomt met gedefinieerde voorwaarden. Resource Health-waarschuwingen en Service Health-waarschuwingen zijn waarschuwingen voor activiteitenlogboeken die rapporteren over uw service en resourcestatus.

Sommige Azure-services ondersteunen ook waarschuwingen voor slimme detectie, Prometheus-waarschuwingen of aanbevolen waarschuwingsregels.

Voor sommige services kunt u op schaal bewaken door dezelfde waarschuwingsregel voor metrische gegevens toe te passen op meerdere resources van hetzelfde type dat in dezelfde Azure-regio aanwezig is. Afzonderlijke meldingen worden verzonden voor elke bewaakte resource. Zie Meerdere resources bewaken met één waarschuwingsregel voor ondersteunde Azure-services en -clouds.

Waarschuwingsregels voor Data Factory

Als u waarschuwingen wilt maken en beheren, selecteert u Waarschuwingen onder Bewaking in de linkernavigatiebalk van uw Data Factory-pagina in Azure Portal.

De volgende tabel bevat populaire waarschuwingsregels voor Data Factory. Dit is slechts een aanbevolen lijst. U kunt waarschuwingen instellen voor elke vermelding van metrische gegevens, logboekvermeldingen of activiteitenlogboeken die worden vermeld in de gegevensverwijzing van Data Factory-bewaking.

Waarschuwingstype	Voorwaarde	Beschrijving
Metric	Metrische gegevens voor mislukte pijplijnuitvoeringen	Wanneer het totaal aantal mislukte pijplijnuitvoeringen groter is dan 0
Metric	Totaal aantal entiteiten	Wanneer het maximumaantal entiteiten groter is dan 1700000
Metric	Maximumaantal toegestane entiteiten	Wanneer de maximale totale fabrieksgrootte (GB-eenheid) groter is dan 6

Meldingen bieden proactieve waarschuwingen tijdens of na de uitvoering van een pijplijn.

• Een e-mail verzenden met een Azure Data Factory-pijplijn laat zien hoe u e-mailmeldingen configureert vanuit pijplijnwaarschuwingen.
• Meldingen verzenden naar een Microsoft Teams-kanaal vanuit een Azure Data Factory-pijplijn laat zien hoe u meldingen van pijplijnwaarschuwingen configureert in Microsoft Teams.

Advisor-aanbevelingen

Voor sommige services, als er kritieke omstandigheden of aanstaande wijzigingen optreden tijdens resourcebewerkingen, wordt een waarschuwing weergegeven op de pagina Serviceoverzicht in de portal. Meer informatie en aanbevolen oplossingen voor de waarschuwing vindt u in Advisor-aanbevelingen onder Bewaking in het linkermenu. Tijdens normale bewerkingen worden er geen aanbevelingen van advisor weergegeven.

Zie het overzicht van Azure Advisor voor meer informatie over Azure Advisor.

Gerelateerde inhoud

• Zie data factory-controlegegevens voor een verwijzing naar de metrische gegevens, logboeken en andere belangrijke waarden die zijn gemaakt voor Data Factory.
• Zie Azure-resources bewaken met Azure Monitor voor algemene informatie over het bewaken van Azure-resources.