Dela via

Övervaka en integreringskörning i Azure Data Factory

  • Artikel

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Dricks

Prova Data Factory i Microsoft Fabric, en allt-i-ett-analyslösning för företag. Microsoft Fabric omfattar allt från dataflytt till datavetenskap, realtidsanalys, business intelligence och rapportering. Lär dig hur du startar en ny utvärderingsversion kostnadsfritt!

Integreringskörning är den beräkningsinfrastruktur som används av Azure Data Factory (ADF) för att tillhandahålla olika funktioner för dataintegrering i olika nätverksmiljöer. Det finns tre typer av integreringskörningar som erbjuds av Data Factory:

  • Azure integration runtime
  • Lokal Integration Runtime
  • Integreringskörning för Azure-SQL Server Integration Services (SSIS)

Kommentar

Vi rekommenderar att du använder Azure Az PowerShell-modulen för att interagera med Azure. Information om hur du kommer igång finns i Installera Azure PowerShell. Information om hur du migrerar till Az PowerShell-modulen finns i artikeln om att migrera Azure PowerShell från AzureRM till Az.

Kör följande PowerShell-kommando för att hämta status för en instans av integration Runtime (IR):

Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName MyDataFactory -ResourceGroupName MyResourceGroup -Name MyAzureIR -Status

Cmdleten returnerar olika information för olika typer av integrationskörningar. I den här artikeln beskrivs egenskaper och statusar för varje typ av integrationskörning.

Azure integration runtime

Beräkningsresursen för en Azure-integrationskörning hanteras elastiskt i Azure. Följande tabell innehåller beskrivningar för egenskaper som returneras av kommandot Get-AzDataFactoryV2IntegrationRuntime :

Egenskaper

Följande tabell innehåller beskrivningar av egenskaper som returneras av cmdleten för en Azure-integreringskörning:

Property Beskrivning
Name Namnet på Azure Integration Runtime.
Tillstånd Status för Azure Integration Runtime.
Plats Plats för Azure Integration Runtime. Mer information om platsen för en Azure-integrationskörning finns i Introduktion till integrationskörning.
DataFactoryName Namnet på datafabriken som Azure Integration Runtime tillhör.
ResourceGroupName Namnet på den resursgrupp som datafabriken tillhör.
beskrivning Beskrivning av integrationskörningen.

Status

Följande tabell innehåller möjliga statusar för en Azure-integreringskörning:

Status Kommentarer/scenarier
Online Azure Integration Runtime är online och redo att användas.
Offline Azure Integration Runtime är offline på grund av ett internt fel.

Lokal Integration Runtime

Det här avsnittet innehåller beskrivningar för egenskaper som returneras av cmdleten Get-AzDataFactoryV2IntegrationRuntime.

Kommentar

De returnerade egenskaperna och statusen innehåller information om övergripande lokalt installerad integrationskörning och varje nod i körningen.

Egenskaper

Följande tabell innehåller beskrivningar av övervakningsegenskaper för varje nod:

Property Beskrivning
Name Namnet på den lokalt installerade integrationskörningen och de noder som är associerade med den. Node är en lokal Windows-dator som har den lokalt installerade integrationskörningen installerad.
Status Status för den övergripande lokalt installerade integrationskörningen och varje nod. Exempel: Online/Offline/Limited/etc. Mer information om dessa statusar finns i nästa avsnitt.
Version Versionen av lokalt installerad integrationskörning och varje nod. Versionen av den lokalt installerade integrationskörningen bestäms baserat på version av de flesta noder i gruppen. Om det finns noder med olika versioner i den lokalt installerade integrationskörningskonfigurationen är det bara noderna med samma versionsnummer som den logiska lokalt installerade integrationskörningsfunktionen korrekt. Andra är i begränsat läge och måste uppdateras manuellt (endast om automatisk uppdatering misslyckas).
Tillgängligt minne Tillgängligt minne på en lokalt installerad integrationskörningsnod. Det här värdet är en ögonblicksbild i nästan realtid.
CPU-användning CPU-användning av en lokalt installerad integrationskörningsnod. Det här värdet är en ögonblicksbild i nästan realtid.
Nätverk (in/ut) Nätverksanvändning för en lokalt installerad integrationskörningsnod. Det här värdet är en ögonblicksbild i nästan realtid.
Samtidiga jobb (körs/begränsas) Körs. Antal jobb eller aktiviteter som körs på varje nod. Det här värdet är en ögonblicksbild i nästan realtid.

Gräns. Gränsen anger det maximala antalet samtidiga jobb för varje nod. Det här värdet definieras baserat på datorstorleken. Du kan öka gränsen för att skala upp samtidig jobbkörning i avancerade scenarier, när aktiviteterna överskrids även när PROCESSOR, minne eller nätverk är underutnyttjat. Den här funktionen är också tillgänglig med en integrationskörning med en nod med egen värd.
Roll Det finns två typer av roller i en integrationskörning med flera noder – dispatcher och worker. Alla noder är arbetare, vilket innebär att alla kan användas för att köra jobb. Det finns bara en dispatcher-nod som används för att hämta uppgifter/jobb från molntjänster och skicka dem till olika arbetsnoder. Dispatcher-noden är också en arbetsnod.

Vissa inställningar för egenskaperna är mer meningsfulla när det finns två eller flera noder i den lokalt installerade integrationskörningen (dvs. i ett utskalningsscenario).

Gräns för samtidiga jobb

Standardvärdet för gränsen för samtidiga jobb anges baserat på datorstorleken. De faktorer som används för att beräkna det här värdet beror på mängden RAM-minne och antalet processorkärnor på datorn. Ju fler kärnor och mer minne, desto högre standardgräns för samtidiga jobb.

Du skalar ut genom att öka antalet noder. När du ökar antalet noder är gränsen för samtidiga jobb summan av de samtidiga jobbgränsvärdena för alla tillgängliga noder. Om du till exempel kan köra högst tolv samtidiga jobb med en nod kan du lägga till ytterligare tre liknande noder så att du kan köra högst 48 samtidiga jobb (det vill säga 4 x 12). Vi rekommenderar att du bara ökar gränsen för samtidiga jobb när du ser låg resursanvändning med standardvärdena på varje nod.

Du kan åsidosätta det beräknade standardvärdet i Azure-portalen. Välj Redigera > Anslut ions > Integration Runtimes > Redigera > noder > Ändra samtidiga jobbvärde per nod. Du kan också använda kommandot PowerShell update-Azdatafactoryv2integrationruntimenode .

Status (per nod)

Följande tabell innehåller möjliga statusar för en lokalt installerad integrationskörningsnod:

Status beskrivning
Online Node är ansluten till Data Factory-tjänsten.
Offline Noden är offline.
Uppgradering Noden uppdateras automatiskt.
Begränsad På grund av ett anslutningsproblem. Kan bero på http-port 8060-problem, service bus-anslutningsproblem eller problem med synkronisering av autentiseringsuppgifter.
Inaktiv Noden är i en konfiguration som skiljer sig från konfigurationen av andra majoritetsnoder.

En nod kan vara inaktiv när den inte kan ansluta till andra noder.

Status (övergripande lokalt installerad integrationskörning)

Följande tabell innehåller möjliga statusar för en lokalt installerad integrationskörning. Den här statusen beror på status för alla noder som tillhör körningen.

Status beskrivning
Behöver registrering Ingen nod har registrerats för den här lokalt installerade integrationskörningen ännu.
Online Alla noder är online.
Offline Ingen nod är online.
Begränsad Alla noder i den här lokalt installerade integrationskörningen är inte i ett felfritt tillstånd. Den här statusen är en varning om att vissa noder kan vara nere. Den här statusen kan bero på ett problem med synkronisering av autentiseringsuppgifter på dispatcher/worker-noden.

Använd cmdleten Get-AzDataFactoryV2IntegrationRuntimeMetric för att hämta JSON-nyttolasten som innehåller de detaljerade integrationskörningsegenskaperna för lokalt installerad integrering och deras ögonblicksbildvärden under tidpunkten för körningen av cmdleten.

Get-AzDataFactoryV2IntegrationRuntimeMetric -name $integrationRuntimeName -ResourceGroupName $resourceGroupName -DataFactoryName $dataFactoryName | ConvertTo-Json

Exempelutdata (förutsätter att det finns två noder som är associerade med den här lokalt installerade integrationskörningen):

{
	"IntegrationRuntimeName":  "<Name of your integration runtime>",
    "ResourceGroupName":  "<Resource Group Name>",
    "DataFactoryName":  "<Data Factory Name>",
    "Nodes":  [
		{
			"NodeName":  "<Node Name>",
			"AvailableMemoryInMB":  <Value>,
			"CpuUtilization":  <Value>,
			"ConcurrentJobsLimit":  <Value>,
			"ConcurrentJobsRunning":  <Value>,
			"MaxConcurrentJobs":  <Value>,
			"SentBytes":  <Value>,
			"ReceivedBytes":  <Value>
		},
		{
			"NodeName":  "<Node Name>",
			"AvailableMemoryInMB":  <Value>,
			"CpuUtilization":  <Value>,
			"ConcurrentJobsLimit":  <Value>,
			"ConcurrentJobsRunning":  <Value>,
			"MaxConcurrentJobs":  <Value>,
			"SentBytes":  <Value>,
			"ReceivedBytes":  <Value>
		}

	]
}

Azure-SSIS Integration Runtime

Azure-SSIS IR är ett fullständigt hanterat kluster med virtuella Azure-datorer (VM eller noder) som är dedikerade för att köra dina SSIS-paket. Du kan anropa SSIS-paketkörningar på Azure-SSIS IR med hjälp av olika metoder, till exempel via Azure-aktiverade SQL Server Data Tools (SSDT), AzureDTExec-kommandoradsverktyg, T-SQL på SQL Server Management Studio (SSMS)/SQL Server Agent och Köra SSIS-paketaktiviteter i ADF-pipelines. Azure-SSIS IR kör inga andra ADF-aktiviteter. När du har etablerat kan du övervaka dess övergripande/nodspecifika egenskaper och statusar via Azure PowerShell, Azure-portalen och Azure Monitor.

Övervaka Azure-SSIS-integreringskörningen med Azure PowerShell

Använd följande Azure PowerShell-cmdlet för att övervaka övergripande/nodspecifika egenskaper och statusar för Azure-SSIS IR.

Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName $DataFactoryName -Name $AzureSSISName -ResourceGroupName $ResourceGroupName -Status

Egenskaper

Följande tabell innehåller beskrivningar av egenskaper som returneras av ovanstående cmdlet för en Azure-SSIS IR.

Egenskap/status beskrivning
CreateTime UTC-tiden då din Azure-SSIS IR skapades.
Noder De allokerade/tillgängliga noderna i din Azure-SSIS IR med nodspecifika statusar (start/tillgänglig/återvinning/otillgänglig) och åtgärdsbara fel.
OtherErrors De icke-nodspecifika åtgärdsfelen på din Azure-SSIS IR.
LastOperation Resultatet av den senaste start-/stoppåtgärden på din Azure-SSIS IR med åtgärdsbara fel om den misslyckades.
Tillstånd Den övergripande statusen (initial/starting/started/stop/stopped) för din Azure-SSIS IR.
Plats Platsen för din Azure-SSIS IR.
NodeSize Storleken på varje nod i din Azure-SSIS IR.
NodeCount Antalet noder i din Azure-SSIS IR.
MaxParallelExecutionsPerNode Det maximala antalet parallella körningar per nod i Azure-SSIS IR.
CatalogServerEndpoint Slutpunkten för din befintliga Azure SQL Database-server eller hanterade instans som är värd för SSIS-katalogen (SSISDB).
CatalogAdminUserName Administratörsanvändarnamnet för din befintliga Azure SQL Database-server eller hanterade instans. ADF använder den här informationen för att förbereda och hantera SSISDB åt dig.
CatalogAdminPassword Administratörslösenordet för din befintliga Azure SQL Database-server eller hanterade instans.
CatalogPricingTier Prisnivån för SSISDB som hanteras av Azure SQL Database-servern. Gäller inte för Azure SQL Managed Instance som är värd för SSISDB.
VNetId Resurs-ID för virtuellt nätverk som din Azure-SSIS IR ska ansluta till.
Undernät Undernätsnamnet för din Azure-SSIS IR som ska anslutas.
ID Resurs-ID för din Azure-SSIS IR.
Typ IR-typen (hanterad/lokalt installerad) för din Azure-SSIS IR.
ResourceGroupName Namnet på din Azure-resursgrupp, där din ADF och Azure-SSIS IR skapades.
DataFactoryName Namnet på din ADF.
Name Namnet på din Azure-SSIS IR.
beskrivning Beskrivningen av din Azure-SSIS IR.

Status (per Azure-SSIS IR-nod)

Följande tabell innehåller möjliga statusar för en Azure-SSIS IR-nod:

Nodspecifik status beskrivning
Startar Den här noden förbereds.
Tillgängligt Den här noden är redo att distribuera/köra SSIS-paket.
Återvinning Den här noden repareras/startas om.
Inte tillgänglig Den här noden är inte redo att distribuera/köra SSIS-paket och har åtgärdsbara fel/problem som du kan lösa.

Status (övergripande Azure-SSIS IR)

Följande tabell innehåller möjliga övergripande statusar för en Azure-SSIS IR. Den övergripande statusen beror i sin tur på de kombinerade statusarna för alla noder som tillhör Azure-SSIS IR.

Övergripande status beskrivning
Initial Noderna i din Azure-SSIS IR har inte allokerats/förberetts.
Startar Noderna i din Azure-SSIS IR allokeras/förbereds och faktureringen har startats.
Börjat Noderna i din Azure-SSIS IR har allokerats/förberetts och de är redo att distribuera/köra SSIS-paket.
Stoppas Noderna i din Azure-SSIS IR släpps.
Stoppat Noderna i din Azure-SSIS IR har släppts och faktureringen har stoppats.

Övervaka Azure-SSIS-integreringskörningen i Azure-portalen

Om du vill övervaka din Azure-SSIS IR i Azure-portalen går du till sidan Integreringskörningar i Monitor Hub i ADF-användargränssnittet, där du kan se alla dina integreringskörningar.

Övervaka alla integreringskörningar

Välj sedan namnet på din Azure-SSIS IR för att öppna övervakningssidan, där du kan se dess övergripande/nodspecifika egenskaper och statusar. På den här sidan hittar du olika informations-/funktionella paneler, beroende på hur du konfigurerar allmänna inställningar, distribution och avancerade inställningar för din Azure-SSIS IR.

Informationspanelerna TYPE och REGION visar typen och regionen för din Azure-SSIS IR.

Informationspanelen FÖR NODSTORLEK visar SKU (SSIS edition_VM tier_VM-serien), antalet CPU-kärnor och storleken på RAM-minne per nod för din Azure-SSIS IR.

Informationspanelen RUNNING/REQUESTED NODE(S) jämför antalet noder som för närvarande körs med det totala antalet noder som tidigare begärdes för din Azure-SSIS IR.

Informationspanelen DUAL STANDBY PAIR/ROLE visar namnet på ditt azure-SSIS IR-par med dubbla väntelägen som fungerar synkroniserat med Redundansgruppen för Azure SQL Managed Instance för affärskontinuitet och haveriberedskap (BCDR) och den aktuella primära/sekundära rollen för din Azure-SSIS IR. När SSISDB redundansväxling inträffar byter dina primära och sekundära Azure-SSIS IR-roller (se Konfigurera din Azure-SSIS IR för BCDR).

De funktionella panelerna beskrivs i mer information nedan.

Övervaka din Azure-SSIS IR

STATUS-panel

På statuspanelen på din Azure-SSIS IR-övervakningssida kan du se dess övergripande status, till exempel Körning eller Stoppad. När du väljer Status för körning visas ett fönster med live-stoppknappen för att stoppa din Azure-SSIS IR. När du väljer Stoppad status visas ett fönster med live-startknappenför att starta din Azure-SSIS IR. Popup-fönstret har också knappen Kör SSIS-paket för att automatiskt generera en ADF-pipeline med aktiviteten Execute SSIS Package (Kör SSIS-paket) som körs på din Azure-SSIS IR (se Köra SSIS-paket som Köra SSIS-paketaktiviteter i ADF-pipelines) och en textruta för resurs-ID som du kan kopiera resurs-ID för Azure-SSIS IR (/subscriptions/YourAzureSubscripton/resourcegroups/YourResourceGroup/providers/Microsoft.DataFactory/factories/YourADF/integrationruntimes/YourAzureSSISIR). Suffixet för ditt Azure-SSIS IR-resurs-ID som innehåller dina ADF- och Azure-SSIS IR-namn utgör ett kluster-ID som kan användas för att köpa ytterligare premium-/licensierade SSIS-komponenter från oberoende programvaruleverantörer (ISV:er) och binda dem till din Azure-SSIS IR (se Installera premium-/licensierade komponenter på din Azure-SSIS IR).

Övervaka din Azure-SSIS IR – STATUS-panel

SSISDB SERVER ENDPOINT-panel

Om du använder Project Deployment Model där paket lagras i SSISDB som hanteras av din Azure SQL Database-server eller hanterade instans visas panelen SSISDB SERVER ENDPOINT på din Azure-SSIS IR-övervakningssida (se Konfigurera dina Azure-SSIS IR-distributionsinställningar). På den här panelen kan du välja en länk som anger din Azure SQL Database-server eller hanterade instans för att öppna ett fönster, där du kan kopiera serverslutpunkten från en textruta och använda den när du ansluter från SSMS för att distribuera, konfigurera, köra och hantera dina paket. I popup-fönstret kan du också välja länken Se inställningar för Azure SQL Database eller hanterad instans för att konfigurera om/ändra storlek på din SSISDB i Azure-portalen.

Övervaka din Azure-SSIS IR – SSISDB-panel

PROXY-/MELLANLAGRINGspanel

Om du laddar ned, installerar och konfigurerar lokalt installerad IR (SHIR) som proxy för din Azure-SSIS IR för att få åtkomst till data lokalt visas panelen PROXY/MELLANLAGRING på din Azure-SSIS IR-övervakningssida (se Konfigurera SHIR som proxy för din Azure-SSIS IR). På den här panelen kan du välja en länk som anger din SHIR för att öppna dess övervakningssida. Du kan också välja en annan länk som anger din Azure Blob Storage för mellanlagring för att konfigurera om den länkade tjänsten.

VERIFIERA VNET/UNDERNÄT-panel

Om du ansluter din Azure-SSIS IR till ett virtuellt nätverk visas panelen VALIDERA VNET/UNDERNÄT på din Azure-SSIS IR-övervakningssida (se Ansluta din Azure-SSIS IR till ett virtuellt nätverk). På den här panelen kan du välja en länk som anger ditt virtuella nätverk och undernät för att öppna ett fönster, där du kan kopiera ditt VNet-resurs-ID (/subscriptions/YourAzureSubscripton/resourceGroups/YourResourceGroup/providers/Microsoft.Network/virtualNetworks/YourARMVNet) och undernätsnamn från textrutor, samt verifiera dina VNet- och undernätskonfigurationer för att säkerställa att nödvändig inkommande/utgående nätverkstrafik och hantering av din Azure-SSIS IR inte hindras.

Övervaka din Azure-SSIS IR – VERIFIERA panel

PANELEN DIAGNOSTISERA ANSLUTNING

På panelen DIAGNOSE CONNECTIVITY på din Azure-SSIS IR-övervakningssida kan du välja länken Testa anslutning för att öppna ett fönster, där du kan kontrollera anslutningarna mellan din Azure-SSIS IR och relevanta paket-/konfigurations-/datalager samt hanteringstjänster via deras fullständigt kvalificerade domännamn (FQDN)/IP-adress och angiven port (se Testa anslutningar från din Azure-SSIS IR).

Övervaka din Azure-SSIS IR – DIAGNOSE-panel

Panelen STATISKA OFFENTLIGA IP-ADRESSER

Om du tar med dina egna statiska offentliga IP-adresser för Azure-SSIS IR visas panelen STATISKA OFFENTLIGA IP-ADRESSER på din Azure-SSIS IR-övervakningssida (se Bring your own static public IP addresses for Azure-SSIS IR). På den här panelen kan du välja länkar som anger dina första/andra statiska offentliga IP-adresser för Azure-SSIS IR för att öppna ett fönster, där du kan kopiera deras resurs-ID (/subscriptions/YourAzureSubscripton/resourceGroups/YourResourceGroup/providers/Microsoft.Network/publicIPAddresses/YourPublicIPAddress) från en textruta. I popup-fönstret kan du också välja länken Se din första/andra statiska offentliga IP-adressinställningar för att hantera din första/andra statiska offentliga IP-adress i Azure-portalen.

Övervaka din Azure-SSIS IR – STATIC-panel

PANELEN PAKETLAGER

Om du använder paketdistributionsmodellen där paket lagras i filsystem/Azure Files/SQL Server-databas (MSDB) som hanteras av din Azure SQL Managed Instance och hanteras via Azure-SSIS IR-paketarkiv, visas panelen PAKETARKIV på din Azure-SSIS IR-övervakningssida (se Konfigurera dina Azure-SSIS IR-distributionsinställningar). På den här panelen kan du välja en länk som anger hur många paketlager som är kopplade till din Azure-SSIS IR för att öppna ett fönster, där du kan konfigurera om relevanta länkade tjänster för dina Azure-SSIS IR-paketlager ovanpå filsystemet/Azure Files/MSDB som hanteras av din Azure SQL Managed Instance.

Övervaka din Azure-SSIS IR – PACKAGE-panel

ERROR(S)-panel

Om det finns problem med start/stopp/underhåll/uppgradering av din Azure-SSIS IR visas ytterligare en ERROR(S) -panel på din Azure-SSIS IR-övervakningssida. På den här panelen kan du välja en länk som anger antalet fel som genereras av din Azure-SSIS IR för att öppna ett fönster, där du kan se dessa fel i mer information och kopiera dem för att hitta de rekommenderade lösningarna i vår felsökningsguide (se Felsöka din Azure-SSIS IR).

Övervaka din Azure-SSIS IR – FEL-panel

Övervaka Azure-SSIS-integreringskörningen med Azure Monitor

Information om hur du övervakar din Azure-SSIS IR med Azure Monitor finns i Övervaka SSIS-åtgärder med Azure Monitor.

Mer information om Azure-SSIS-integreringskörningen

Läs följande artiklar om du vill veta mer om Azure-SSIS-integreringskörning:

Relaterat innehåll

Se följande artiklar för att övervaka pipelines på olika sätt: