Monitorování prostředí Integration Runtime ve službě Azure Data Factory

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

Prostředí Integration Runtime je výpočetní infrastruktura používaná službou Azure Data Factory (ADF) k poskytování různých možností integrace dat v různých síťových prostředích. Data Factory nabízí tři typy prostředí Integration Runtime:

  • Prostředí Azure Integration Runtime
  • Modul runtime integrace v místním prostředí
  • Prostředí Azure-SQL Server Integration Services (SSIS) Integration Runtime

Poznámka:

Při práci s Azure doporučujeme používat modul Azure Az PowerShellu. Začněte tím, že si projdete téma Instalace Azure PowerShellu. Informace o tom, jak migrovat na modul Az PowerShell, najdete v tématu Migrace Azure PowerShellu z AzureRM na Az.

Pokud chcete získat stav instance prostředí Integration Runtime (IR), spusťte následující příkaz PowerShellu:

Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName MyDataFactory -ResourceGroupName MyResourceGroup -Name MyAzureIR -Status

Rutina vrací různé informace pro různé typy prostředí Integration Runtime. Tento článek vysvětluje vlastnosti a stavy jednotlivých typů prostředí Integration Runtime.

Prostředí Azure Integration Runtime

Výpočetní prostředek prostředí Azure Integration Runtime je plně spravovaný elasticky v Azure. Následující tabulka obsahuje popisy vlastností vrácených příkazem Get-AzDataFactoryV2IntegrationRuntime :

Vlastnosti

Následující tabulka obsahuje popis vlastností vrácených rutinou prostředí Azure Integration Runtime:

Vlastnost Popis
Name Název prostředí Azure Integration Runtime.
State Stav prostředí Azure Integration Runtime
Místo Umístění prostředí Azure Integration Runtime Podrobnosti o umístění prostředí Azure Integration Runtime najdete v tématu Úvod do prostředí Integration Runtime.
DataFactoryName Název datové továrny, do které patří prostředí Azure Integration Runtime.
ResourceGroupName Název skupiny prostředků, do které datová továrna patří.
Popis Popis prostředí Integration Runtime

Stav

Následující tabulka obsahuje možné stavy prostředí Azure Integration Runtime:

Stav Komentáře/scénáře
Online Prostředí Azure Integration Runtime je online a připravené k použití.
Režim offline Prostředí Azure Integration Runtime je offline kvůli vnitřní chybě.

Modul runtime integrace v místním prostředí

Tato část obsahuje popisy vlastností vrácených rutinou Get-AzDataFactoryV2IntegrationRuntime.

Poznámka:

Vrácené vlastnosti a stav obsahují informace o celkovém místním prostředí Integration Runtime a jednotlivých uzlech v modulu runtime.

Vlastnosti

Následující tabulka obsahuje popis vlastností monitorování pro každý uzel:

Vlastnost Popis
Name Název místního prostředí Integration Runtime a uzlů přidružených k němu. Node je místní počítač s Windows, na který je nainstalovaný místní prostředí Integration Runtime.
Stav Stav celkového místního prostředí Integration Runtime a každého uzlu. Příklad: Online/Offline/Limited/etc. Informace o těchto stavech najdete v další části.
Verze Verze místního prostředí Integration Runtime a každého uzlu. Verze místního prostředí Integration Runtime se určuje na základě verze většiny uzlů ve skupině. Pokud existují uzly s různými verzemi v nastavení místního prostředí Integration Runtime, správně fungují jenom uzly se stejným číslem verze jako logická funkce integration runtime v místním prostředí. Jiné jsou v omezeném režimu a je potřeba je aktualizovat ručně (pouze v případě, že automatická aktualizace selže).
Dostupná paměť Dostupná paměť na uzlu místního prostředí Integration Runtime. Tato hodnota je snímek téměř v reálném čase.
Využití procesoru Využití procesoru uzlu místního prostředí Integration Runtime Tato hodnota je snímek téměř v reálném čase.
Sítě (in/out) Využití sítě uzlu místního prostředí Integration Runtime Tato hodnota je snímek téměř v reálném čase.
Souběžné úlohy (spuštěno/ limit) Běžící (Spuštěno): Počet úloh nebo úkolů spuštěných na každém uzlu Tato hodnota je snímek téměř v reálném čase.

Limit. Limit označuje maximální počet souběžných úloh pro každý uzel. Tato hodnota je definována na základě velikosti počítače. Limit vertikálního navýšení kapacity souběžného spouštění úloh můžete zvýšit v pokročilých scénářích, kdy dochází k vypršení časového limitu aktivit, a to i v případě, že je využití procesoru, paměti nebo sítě nedostatečně využité. Tato funkce je dostupná také v prostředí Integration Runtime v místním prostředí s jedním uzlem.
Role Existují dva typy rolí v místním prostředí Integration Runtime s více uzly – dispečer a pracovní proces. Všechny uzly jsou pracovní procesy, což znamená, že je možné je použít ke spouštění úloh. Existuje pouze jeden uzel dispečera, který slouží k vyžádání úkolů nebo úloh z cloudových služeb a jejich odesílání do různých pracovních uzlů. Uzel dispečera je také pracovní uzel.

Některá nastavení vlastností mají větší smysl, pokud v místním prostředí Integration Runtime existují dva nebo více uzlů (to znamená ve scénáři horizontálního navýšení kapacity).

Limit souběžných úloh

Výchozí hodnota limitu souběžných úloh je nastavená na základě velikosti počítače. Faktory použité k výpočtu této hodnoty závisí na množství paměti RAM a počtu jader procesoru počítače. Čím více jader a více paměti, tím vyšší je výchozí limit souběžných úloh.

Horizontální navýšením kapacity zvýšíte počet uzlů. Když zvýšíte počet uzlů, limit souběžných úloh je součet hodnot limitu souběžných úloh všech dostupných uzlů. Pokud například jeden uzel umožňuje spustit maximálně dvanáct souběžných úloh, můžete přidáním tří dalších podobných uzlů spustit maximálně 48 souběžných úloh (to znamená 4 x 12). Doporučujeme zvýšit limit souběžných úloh pouze v případech, kdy se na každém uzlu zobrazí nízké využití prostředků s výchozími hodnotami.

Počítanou výchozí hodnotu můžete přepsat na webu Azure Portal. Vyberte Vytvořit > Připojení iony >> Integration Runtime Upravit uzly > Upravit > souběžnou hodnotu úlohy na uzel. Můžete také použít příkaz PowerShell update-Azdatafactoryv2integrationruntimenode .

Stav (na uzel)

Následující tabulka obsahuje možné stavy uzlu místního prostředí Integration Runtime:

Status Popis
Online Uzel je připojený ke službě Data Factory.
Režim offline Uzel je offline.
Upgraduje se Uzel se automaticky aktualizuje.
Omezená Kvůli problému s připojením Příčinou může být problém s portem HTTP 8060, problém s připojením ke službě Service Bus nebo problém se synchronizací přihlašovacích údajů.
Neaktivní Uzel je v konfiguraci, která se liší od konfigurace ostatních uzlů většiny.

Uzel může být neaktivní, když se nemůže připojit k jiným uzlům.

Stav (celkový místní prostředí Integration Runtime)

Následující tabulka obsahuje možné stavy místního prostředí Integration Runtime. Tento stav závisí na stavech všech uzlů, které patří do modulu runtime.

Status Popis
Potřebujete registraci Do tohoto místního prostředí Integration Runtime zatím není zaregistrovaný žádný uzel.
Online Všechny uzly jsou online.
Režim offline Žádný uzel není online.
Omezená Ne všechny uzly v tomto místním prostředí Integration Runtime jsou v pořádku. Tento stav je upozornění, že některé uzly můžou být dole. Příčinou tohoto stavu může být problém se synchronizací přihlašovacích údajů na dispečerovi nebo pracovním uzlu.

Pomocí rutiny Get-AzDataFactoryV2IntegrationRuntimeMetric načtěte datovou část JSON obsahující podrobné vlastnosti místního prostředí Integration Runtime a jejich hodnoty snímků během provádění rutiny.

Get-AzDataFactoryV2IntegrationRuntimeMetric -name $integrationRuntimeName -ResourceGroupName $resourceGroupName -DataFactoryName $dataFactoryName | ConvertTo-Json 

Ukázkový výstup (předpokládá se, že k tomuto místnímu prostředí Integration Runtime jsou přidružené dva uzly):

{
	"IntegrationRuntimeName":  "<Name of your integration runtime>",
    "ResourceGroupName":  "<Resource Group Name>",
    "DataFactoryName":  "<Data Factory Name>",
    "Nodes":  [
		{
			"NodeName":  "<Node Name>",
			"AvailableMemoryInMB":  <Value>,
			"CpuUtilization":  <Value>,
			"ConcurrentJobsLimit":  <Value>,
			"ConcurrentJobsRunning":  <Value>,
			"MaxConcurrentJobs":  <Value>,
			"SentBytes":  <Value>,
			"ReceivedBytes":  <Value>
		},
		{
			"NodeName":  "<Node Name>",
			"AvailableMemoryInMB":  <Value>,
			"CpuUtilization":  <Value>,
			"ConcurrentJobsLimit":  <Value>,
			"ConcurrentJobsRunning":  <Value>,
			"MaxConcurrentJobs":  <Value>,
			"SentBytes":  <Value>,
			"ReceivedBytes":  <Value>
		}

	]
} 

Prostředí Azure-SSIS Integration Runtime

Azure-SSIS IR je plně spravovaný cluster virtuálních počítačů Azure (virtuálních počítačů nebo uzlů) vyhrazených ke spouštění balíčků SSIS. Spouštění balíčků SSIS v Prostředí Azure-SSIS IR můžete vyvolat různými metodami, například prostřednictvím nástrojů SQL Server Data Tools (SSDT), nástroje příkazového řádku AzureDTExec, T-SQL v sadě SQL Server Management Studio (SSMS) nebo agenta SQL Serveru a provádění aktivit balíčků SSIS v kanálech ADF. Azure-SSIS IR nespouští žádné další aktivity ADF. Po zřízení můžete prostřednictvím Azure PowerShellu, webu Azure Portal a Azure Monitoru monitorovat jeho celkové vlastnosti a stavy specifické pro uzly.

Monitorování prostředí Azure-SSIS Integration Runtime pomocí Azure PowerShellu

Pomocí následující rutiny Azure PowerShellu můžete monitorovat celkové vlastnosti a stavy prostředí Azure-SSIS IR specifické pro jednotlivé uzly.

Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName $DataFactoryName -Name $AzureSSISName -ResourceGroupName $ResourceGroupName -Status

Vlastnosti

Následující tabulka obsahuje popis vlastností vrácených výše uvedenou rutinou pro prostředí Azure-SSIS IR.

Vlastnost/stav Popis
CreateTime Čas UTC při vytvoření prostředí Azure-SSIS IR
Uzly Přidělené a dostupné uzly prostředí Azure-SSIS IR se stavem specifickými pro jednotlivé uzly (spouštění, dostupnost, recyklace nebo nedostupnost) a chybami, které je možné provést.
Další chyby Chyby, které se nedají použít pro konkrétní uzel v prostředí Azure-SSIS IR.
LastOperation Výsledek poslední operace spuštění/zastavení ve službě Azure-SSIS IR s chybami, které se dají provést, pokud selhaly.
State Celkový stav prostředí Azure-SSIS IR (počáteční/ počáteční/ spuštěno, zastavení/ zastavení)
Místo Umístění prostředí Azure-SSIS IR.
NodeSize Velikost každého uzlu v prostředí Azure-SSIS IR.
NodeCount Počet uzlů v prostředí Azure-SSIS IR
MaxParallelExecutionsPerNode Maximální počet paralelních spuštění na uzel v prostředí Azure-SSIS IR.
CatalogServerEndpoint Koncový bod existujícího serveru služby Azure SQL Database nebo spravované instance pro hostování katalogu SSIS (SSISDB).
Katalog Správa UserName Uživatelské jméno správce pro váš stávající server nebo spravovanou instanci Azure SQL Database. ADF používá tyto informace k přípravě a správě databáze SSISDB vaším jménem.
Katalog Správa Password Heslo správce pro existující server služby Azure SQL Database nebo spravovanou instanci.
CatalogPricingTier Cenová úroveň pro SSISDB hostovaná serverem Azure SQL Database. Nevztahuje se na službu Azure SQL Managed Instance hostující SSISDB.
VNetId ID prostředku virtuální sítě pro připojení k prostředí Azure-SSIS IR.
Podsíť Název podsítě pro připojení k prostředí Azure-SSIS IR.
ID ID prostředku prostředí Azure-SSIS IR.
Typ Typ prostředí IR (spravované nebo hostované) prostředí Azure-SSIS IR.
ResourceGroupName Název vaší skupiny prostředků Azure, ve které se vytvořily ADF a Azure-SSIS IR.
DataFactoryName Název ADF.
Název Název prostředí Azure-SSIS IR.
Popis Popis prostředí Azure-SSIS IR.

Stav (na uzel Azure-SSIS IR)

Následující tabulka obsahuje možné stavy uzlu Azure-SSIS IR:

Stav specifický pro uzel Popis
Spouštění Tento uzel se připravuje.
dostupný Tento uzel je připravený k nasazení nebo spuštění balíčků SSIS.
Recyklace Tento uzel se opravuje nebo restartuje.
Neaktivní Tento uzel není připravený k nasazení nebo spuštění balíčků SSIS a obsahuje chyby nebo problémy, které můžete vyřešit.

Stav (celkový azure-SSIS IR)

Následující tabulka obsahuje možné celkové stavy prostředí Azure-SSIS IR. Celkový stav zase závisí na kombinovaných stavech všech uzlů, které patří do prostředí Azure-SSIS IR.

Celkový stav Popis
Počáteční Uzly prostředí Azure-SSIS IR nebyly přiděleny nebo připravené.
Spouštění Uzly prostředí Azure-SSIS IR se přidělují nebo připravují a fakturace se spustila.
Zahájeno Uzly prostředí Azure-SSIS IR se přidělily nebo připravily a jsou připravené k nasazení nebo spuštění balíčků SSIS.
Zastavování Uvolní se uzly prostředí Azure-SSIS IR.
Zastaveno Uzly prostředí Azure-SSIS IR byly vydány a fakturace se zastavila.

Monitorování prostředí Azure-SSIS Integration Runtime na webu Azure Portal

Pokud chcete monitorovat prostředí Azure-SSIS IR na webu Azure Portal, přejděte na stránku Prostředí Integration Runtime centra monitorování v uživatelském rozhraní ADF, kde můžete zobrazit všechny vaše prostředí Integration Runtime.

Monitor all integration runtimes

Potom výběrem názvu prostředí Azure-SSIS IR otevřete stránku monitorování, kde uvidíte její celkové vlastnosti a stavy specifické pro uzly. Na této stránce v závislosti na tom, jak nakonfigurujete obecné, nasazení a upřesňující nastavení prostředí Azure-SSIS IR, najdete různé informační/funkční dlaždice.

Informační dlaždice TYPE a REGION zobrazují typ a oblast prostředí Azure-SSIS IR.

Informační dlaždice VELIKOST UZLU zobrazuje skladovou položku (SSIS edition_VM tier_VM series), počet jader procesoru a velikost paměti RAM na uzel pro prostředí Azure-SSIS IR.

Informační dlaždice SPUŠTĚNÝCH/POŽADOVANÝCH UZLŮ porovnává počet uzlů, které jsou aktuálně spuštěné, s celkovým počtem uzlů, které byly dříve požadovány pro prostředí Azure-SSIS IR.

Dlaždice DUÁLNÍ POHOTOVOSTNÍ PÁR / INFORMAČNÍ ROLE zobrazuje název dvojice prostředí Azure-SSIS IR s duálním pohotovostním režimem, která funguje v synchronizaci se skupinou převzetí služeb při selhání služby Azure SQL Managed Instance pro provozní kontinuitu a zotavení po havárii (BCDR) a aktuální primární/sekundární rolí prostředí Azure-SSIS IR. Když dojde k převzetí služeb při selhání SSISDB, vaše primární a sekundární prostředí Azure-SSIS IRS prohodí role (viz Konfigurace prostředí Azure-SSIS IR pro BCDR).

Funkční dlaždice jsou popsány v dalších podrobnostech níže.

Monitor your Azure-SSIS IR

Dlaždice STATUS

Na dlaždici STAV na stránce monitorování prostředí Azure-SSIS IR uvidíte celkový stav, například Spuštěno nebo Zastaveno. Výběrem běhu se zobrazí okno s tlačítkem Živé zastavení a zastavíte prostředí Azure-SSIS IR. Když vyberete stav Zastaveno , zobrazí se okno s živým tlačítkem Start a spustí se prostředí Azure-SSIS IR. Automaticky otevírané okno obsahuje také tlačítko Spustit balíček SSIS pro automatické vygenerování kanálu ADF s aktivitou Spuštění balíčku SSIS, která běží na prostředí Azure-SSIS IR (viz Spouštění balíčků SSIS jako spouštění aktivit balíčku SSIS v kanálech ADF) a textové pole ID prostředku, ze kterého můžete zkopírovat ID prostředku Azure-SSIS IR (/subscriptions/YourAzureSubscripton/resourcegroups/YourResourceGroup/providers/Microsoft.DataFactory/factories/YourADF/integrationruntimes/YourAzureSSISIR). Přípona ID prostředku Azure-SSIS IR, které obsahuje názvy ADF a Azure-SSIS IR, tvoří ID clusteru, které se dá použít k nákupu dalších prémiových nebo licencovaných komponent SSIS od nezávislých dodavatelů softwaru (ISV) a jejich vazby k prostředí Azure-SSIS IR (viz Instalace prémiových nebo licencovaných komponent na prostředí Azure-SSIS IR).

Monitor your Azure-SSIS IR - STATUS tile

Dlaždice KONCOVÝ BOD SERVERU SSISDB

Pokud používáte model nasazení projektu, ve kterém jsou balíčky uložené v databázi SSISDB hostované serverem nebo spravovanou instancí Azure SQL Database, zobrazí se dlaždice KONCOVÝ BOD SERVERU SSISDB na stránce monitorování Azure-SSIS IR (viz Konfigurace nastavení nasazení prostředí Azure-SSIS IR). Na této dlaždici můžete vybrat odkaz, který označuje server služby Azure SQL Database nebo spravovanou instanci, a otevřít tak okno, kde můžete zkopírovat koncový bod serveru z textového pole a použít ho při připojování ze služby SSMS k nasazení, konfiguraci, spuštění a správě balíčků. V automaticky otevíraných otevíraných oknech můžete také vybrat odkaz Zobrazit nastavení služby Azure SQL Database nebo spravované instance a změnit tak velikost databáze SSISDB na webu Azure Portal.

Monitor your Azure-SSIS IR - SSISDB tile

Dlaždice PROXY/ STAGING

Pokud stáhnete, nainstalujete a nakonfigurujete místní prostředí IR (SHIR) jako proxy server pro prostředí Azure-SSIS IR pro přístup k datům v místním prostředí, zobrazí se na stránce monitorování prostředí Azure-SSIS IR dlaždice PROXY /STAGING (viz Konfigurace prostředí IR jako proxy prostředí Azure-SSIS IR). Na této dlaždici můžete vybrat odkaz označující váš nástroj SHIR a otevřít stránku monitorování. Můžete také vybrat jiný odkaz, který navrhuje službu Azure Blob Storage pro přípravu a překonfigurovat propojenou službu.

Dlaždice OVĚŘIT virtuální síť nebo PODSÍŤ

Pokud připojíte prostředí Azure-SSIS IR k virtuální síti, zobrazí se na stránce monitorování prostředí Azure-SSIS IR dlaždice OVĚŘIT virtuální síť nebo PODSÍŤ (viz Připojení prostředí Azure-SSIS IR k virtuální síti). Na této dlaždici můžete vybrat odkaz označující virtuální síť a podsíť, aby se automaticky otevírané okno, ve kterém můžete zkopírovat ID prostředku virtuální sítě (/subscriptions/YourAzureSubscripton/resourceGroups/YourResourceGroup/providers/Microsoft.Network/virtualNetworks/YourARMVNet) a název podsítě z textových polí a ověřit konfigurace virtuální sítě a podsítě, abyste měli jistotu, že požadované příchozí a odchozí síťové přenosy a správa prostředí Azure-SSIS IR nejsou nepřekážené.

Monitor your Azure-SSIS IR - VALIDATE tile

Dlaždice DIAGNOSTIKA PŘIPOJENÍ

Na dlaždici DIAGNOSTIKOVAT PŘIPOJENÍ na stránce monitorování prostředí Azure-SSIS IR můžete vybrat odkaz pro testovací připojení a otevřít okno, kde můžete zkontrolovat připojení mezi prostředím Azure-SSIS IR a relevantním balíčkem, konfigurací a úložišti dat a službami pro správu prostřednictvím plně kvalifikovaného názvu domény (FQDN) nebo IP adresy a určeného portu (viz Testování připojení z prostředí Azure-SSIS IR).

Monitor your Azure-SSIS IR - DIAGNOSE tile

Dlaždice STATICKÉ VEŘEJNÉ IP ADRESY

Pokud pro Azure-SSIS IR použijete vlastní statické veřejné IP adresy, zobrazí se na stránce monitorování prostředí Azure-SSIS IR dlaždice STATICKÉ VEŘEJNÉ IP ADRESY (viz Přenesení vlastních statických veřejných IP adres pro Azure-SSIS IR). Na této dlaždici můžete vybrat odkazy označující první/druhou statickou veřejnou IP adresu pro Azure-SSIS IR a zobrazit tak okno, kde můžete zkopírovat ID prostředku (/subscriptions/YourAzureSubscripton/resourceGroups/YourResourceGroup/providers/Microsoft.Network/publicIPAddresses/YourPublicIPAddress) z textového pole. V automaticky otevíraných otevíraných oknech můžete také vybrat odkaz Zobrazit nastavení první/druhé statické veřejné IP adresy pro správu první/druhé statické veřejné IP adresy na webu Azure Portal.

Monitor your Azure-SSIS IR - STATIC tile

Dlaždice PACKAGE STORES

Pokud používáte model nasazení balíčků, ve kterém jsou balíčky uložené v systému souborů, ve službě Azure Files nebo v databázi SQL Serveru (MSDB) hostované službou Azure SQL Managed Instance a spravujete je prostřednictvím úložišť balíčků Azure-SSIS IR, zobrazí se na stránce monitorování prostředí Azure-SSIS IR dlaždice PACKAGE STORES (viz Konfigurace nastavení nasazení prostředí Azure-SSIS IR). Na této dlaždici můžete vybrat odkaz označující počet úložišť balíčků připojených k prostředí Azure-SSIS IR. Otevře se okno, ve kterém můžete překonfigurovat příslušné propojené služby pro úložiště balíčků Azure-SSIS IR nad systémem souborů, službami Azure Files/MSDB hostovanými vaší službou Azure SQL Managed Instance.

Monitor your Azure-SSIS IR - PACKAGE tile

Dlaždice ERROR(S)

Pokud dojde k problémům se spuštěním, zastavením, údržbou nebo upgradem prostředí Azure-SSIS IR, zobrazí se na stránce monitorování prostředí Azure-SSIS IR další dlaždice CHYB . Na této dlaždici můžete vybrat odkaz označující počet chyb vygenerovaných prostředím Azure-SSIS IR, aby se zobrazilo okno, ve kterém se tyto chyby zobrazí v dalších podrobnostech a zkopírujete je, abyste našli doporučená řešení v našem průvodci odstraňováním potíží (viz Řešení potíží s prostředím Azure-SSIS IR).

Monitor your Azure-SSIS IR - ERROR tile

Monitorování prostředí Azure-SSIS Integration Runtime pomocí služby Azure Monitor

Pokud chcete monitorovat prostředí Azure-SSIS IR pomocí služby Azure Monitor, přečtěte si téma Monitorování operací SSIS pomocí služby Azure Monitor.

Další informace o prostředí Azure-SSIS Integration Runtime

Další informace o prostředí Azure-SSIS Integration Runtime najdete v následujících článcích:

V následujících článcích najdete informace o monitorování kanálů různými způsoby: