Monitorování prostředí Integration Runtime ve službě Azure Data Factory

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Data Factory v Microsoft Fabric je nová generace Azure Data Factory s jednodušší architekturou, integrovanou AI a novými funkcemi. Pokud s integrací dat začínáte, začněte Fabric Data Factory. Stávající úlohy ADF se můžou upgradovat na Fabric pro přístup k novým funkcím v oblasti datové vědy, analýzy v reálném čase a reportingu.

Prostředí Integration Runtime je výpočetní infrastruktura používaná službou Azure Data Factory (ADF) k poskytování různých možností integrace dat v různých síťových prostředích. Data Factory nabízí tři typy prostředí Integration Runtime:

  • Prostředí Azure Integration Runtime
  • Modul runtime integrace v místním prostředí
  • Azure-Služby Integrace SQL Serveru (SSIS) Integration Runtime

Poznámka:

Při práci s Azure doporučujeme používat modul Azure Az PowerShellu. Začněte tím, že si projdete téma Instalace Azure PowerShellu. Informace o tom, jak migrovat na modul Az PowerShell, najdete v tématu Migrace Azure PowerShellu z AzureRM na Az.

Pokud chcete získat stav instance prostředí Integration Runtime (IR), spusťte následující příkaz PowerShellu:

Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName MyDataFactory -ResourceGroupName MyResourceGroup -Name MyAzureIR -Status

Rutina vrací různé informace pro různé typy prostředí Integration Runtime. Tento článek vysvětluje vlastnosti a stavy jednotlivých typů prostředí Integration Runtime.

Prostředí Azure Integration Runtime

Výpočetní prostředek prostředí Azure Integration Runtime je plně spravovaný elasticky v Azure. Následující tabulka obsahuje popisy vlastností vrácených příkazem Get-AzDataFactoryV2IntegrationRuntime :

Vlastnosti

Následující tabulka obsahuje popis vlastností vrácených rutinou prostředí Azure Integration Runtime:

Vlastnost Popis
Name Název prostředí Azure Integration Runtime.
Stav Stav prostředí Azure Integration Runtime
Umístění Umístění prostředí Azure Integration Runtime Podrobnosti o umístění prostředí Azure Integration Runtime najdete v tématu Úvod do prostředí Integration Runtime.
DataFactoryName Název datové továrny, do které patří prostředí Azure Integration Runtime.
ResourceGroupName Název skupiny prostředků, do které datová továrna patří.
Popis Popis prostředí Integration Runtime

Stav

Následující tabulka obsahuje možné stavy prostředí Azure Integration Runtime:

Stav Komentáře/scénáře
Online Prostředí Azure Integration Runtime je online a připravené k použití.
Režim offline Prostředí Azure Integration Runtime je offline kvůli vnitřní chybě.

Modul runtime integrace v místním prostředí

Tato část obsahuje popisy vlastností vrácených rutinou Get-AzDataFactoryV2IntegrationRuntime.

Poznámka:

Vrácené vlastnosti a stav obsahují informace o celkovém samostatně hostovaném prostředí Integration Runtime a jednotlivých uzlech v runtime.

Vlastnosti

Následující tabulka obsahuje popis vlastností monitorování pro každý uzel:

Vlastnost Popis
Name Název místního prostředí Integration Runtime a uzlů přidružených k němu. Node je místní počítač s Windows, na který je nainstalovaný místní prostředí Integration Runtime.
Stav Stav celkového místního prostředí Integration Runtime a každého uzlu. Příklad: Online/Offline/Limited/etc. Informace o těchto stavech najdete v další části.
Verze Verze lokálně hostovaného prostředí Integration Runtime a každého uzlu. Verze místního prostředí Integration Runtime se určuje na základě verze většiny uzlů ve skupině. Pokud existují uzly s různými verzemi v nastavení místního prostředí Integration Runtime, správně fungují jenom uzly se stejným číslem verze jako logická funkce integration runtime v místním prostředí. Jiné jsou v omezeném režimu a je potřeba je aktualizovat ručně (pouze v případě, že automatická aktualizace selže).
Dostupná paměť Dostupná paměť na uzlu místního prostředí Integration Runtime. Tato hodnota je snímek v téměř reálném čase.
Využití procesoru Využití CPU u uzlu vlastního hostovaného prostředí Integration Runtime. Tato hodnota je snímek v téměř reálném čase.
Sítě (příchozí/odchozí) Využití sítě uzlu místního prostředí Integration Runtime Tato hodnota je snímek v téměř reálném čase.
Souběžné úlohy (běžící/ limit) Běžící Počet úloh nebo úkolů spuštěných na každém uzlu Tato hodnota je snímek v téměř reálném čase.

Limit. Limit označuje maximální počet souběžných úloh pro každý uzel. Tato hodnota je definována na základě velikosti počítače. Limit vertikálního navýšení kapacity souběžného spouštění úloh můžete zvýšit v pokročilých scénářích, kdy dochází k vypršení časového limitu aktivit, a to i v případě, že je využití procesoru, paměti nebo sítě nedostatečně využité. Tato funkce je dostupná také v prostředí Integration Runtime v místním prostředí s jedním uzlem.
Role Existují dva typy rolí ve vlastním prostředí Integration Runtime s více nodami – dispečer a pracovní proces. Všechny uzly jsou pracovní uzly, které lze použít ke spuštění úloh. Existuje pouze jeden uzel dispečera, který slouží k vyžádání úkolů nebo úloh z cloudových služeb a jejich odesílání do různých pracovních uzlů. Uzel dispečera je také pracovní uzel.

Některá nastavení vlastností mají větší smysl, pokud v místním prostředí Integration Runtime existují dva nebo více uzlů (to znamená ve scénáři horizontálního navýšení kapacity).

Limit souběžných úloh

Výchozí hodnota limitu souběžných úloh je nastavená na základě velikosti počítače. Faktory použité k výpočtu této hodnoty závisí na množství paměti RAM a počtu jader procesoru počítače. Čím více jader a více paměti, tím vyšší je výchozí limit souběžných úloh.

Škálováním horizontálně zvýšíte počet uzlů. Když zvýšíte počet uzlů, limit souběžných úloh je součet hodnot limitu souběžných úloh všech dostupných uzlů. Pokud například jeden uzel umožňuje spustit maximálně dvanáct souběžných úloh, můžete přidáním tří dalších podobných uzlů spustit maximálně 48 souběžných úloh (to znamená 4 x 12). Doporučujeme zvýšit limit souběžných úloh pouze v případech, kdy se na každém uzlu zobrazí nízké využití prostředků s výchozími hodnotami.

Počítanou výchozí hodnotu můžete přepsat na webu Azure Portal. Vyberte Author > Připojení > Možnosti spouštění integrací > Upravit > Uzly > Upravit hodnotu současné úlohy na uzel. Můžete také použít příkaz PowerShell update-Azdatafactoryv2integrationruntimenode .

Stav (pro každý uzel)

Následující tabulka obsahuje možné stavy uzlu místního prostředí Integration Runtime:

Stav Popis
Online Uzel je připojený ke službě Data Factory.
Režim offline Uzel je offline.
Aktualizace Uzel se automaticky aktualizuje.
Omezená Kvůli problému s připojením Příčinou může být problém s portem HTTP 8060, problém s připojením ke službě Service Bus nebo problém se synchronizací přihlašovacích údajů.
Neaktivní Uzel je v konfiguraci, která se liší od konfigurace ostatních uzlů většiny.

Uzel může být neaktivní, když se nemůže připojit k jiným uzlům.

Stav (celkový vlastní Integration Runtime)

Následující tabulka obsahuje možné stavy místního prostředí Integration Runtime. Tento stav závisí na stavech všech uzlů, které patří do modulu runtime.

Stav Popis
Potřebujete registraci Zatím není k tomuto samostatně hostovanému prostředí Integration Runtime zaregistrován žádný uzel.
Online Všechny uzly jsou online.
Režim offline Žádný uzel není online.
Omezená Ne všechny uzly v tomto místním prostředí Integration Runtime jsou v pořádku. Tento stav je upozornění, že některé uzly mohou být nefunkční. Příčinou tohoto stavu může být problém se synchronizací přihlašovacích údajů na dispečerovi nebo pracovním uzlu.

Pomocí rutiny Get-AzDataFactoryV2IntegrationRuntimeMetric načtěte datovou část JSON obsahující podrobné vlastnosti místního prostředí Integration Runtime a jejich hodnoty snímků během provádění rutiny.

Get-AzDataFactoryV2IntegrationRuntimeMetric -name $integrationRuntimeName -ResourceGroupName $resourceGroupName -DataFactoryName $dataFactoryName | ConvertTo-Json 

Ukázkový výstup (předpokládá se, že k tomuto místnímu prostředí Integration Runtime jsou přidružené dva uzly):

{
	"IntegrationRuntimeName":  "<Name of your integration runtime>",
    "ResourceGroupName":  "<Resource Group Name>",
    "DataFactoryName":  "<Data Factory Name>",
    "Nodes":  [
		{
			"NodeName":  "<Node Name>",
			"AvailableMemoryInMB":  <Value>,
			"CpuUtilization":  <Value>,
			"ConcurrentJobsLimit":  <Value>,
			"ConcurrentJobsRunning":  <Value>,
			"MaxConcurrentJobs":  <Value>,
			"SentBytes":  <Value>,
			"ReceivedBytes":  <Value>
		},
		{
			"NodeName":  "<Node Name>",
			"AvailableMemoryInMB":  <Value>,
			"CpuUtilization":  <Value>,
			"ConcurrentJobsLimit":  <Value>,
			"ConcurrentJobsRunning":  <Value>,
			"MaxConcurrentJobs":  <Value>,
			"SentBytes":  <Value>,
			"ReceivedBytes":  <Value>
		}

	]
} 

Azure-SSIS Integration Runtime

Azure-SSIS IR je plně spravovaný cluster virtuálních počítačů Azure (virtuálních počítačů nebo uzlů) vyhrazených ke spouštění balíčků SSIS. Spouštění balíčků SSIS v Prostředí Azure-SSIS IR můžete vyvolat různými metodami, například prostřednictvím nástrojů SQL Server Data Tools (SSDT), nástroje příkazového řádku AzureDTExec, T-SQL v sadě SQL Server Management Studio (SSMS) nebo agenta SQL Serveru a provedením aktivit balíčků SSIS v kanálech ADF. Azure-SSIS IR nespouští žádné další aktivity ADF. Po zřízení můžete prostřednictvím Azure PowerShellu, webu Azure Portal a Azure Monitoru monitorovat jeho celkové vlastnosti a stavy specifické pro uzly.

Monitorování prostředí Azure-SSIS Integration Runtime pomocí Azure PowerShellu

Pomocí následující rutiny Azure PowerShellu můžete monitorovat celkové vlastnosti a stavy prostředí Azure-SSIS IR specifické pro jednotlivé uzly.

Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName $DataFactoryName -Name $AzureSSISName -ResourceGroupName $ResourceGroupName -Status

Vlastnosti

Následující tabulka obsahuje popis vlastností vrácených výše uvedenou rutinou pro prostředí Azure-SSIS IR.

Vlastnost/stav Popis
CreateTime Čas UTC při vytvoření prostředí Azure-SSIS IR
Uzly Přidělené a dostupné uzly integrace Azure-SSIS IR se stavy specifickými pro jednotlivé uzly (spouštění/dostupné/recyklace/nedostupné) a chybami, které je možné řešit.
Další chyby Chyby na vašem Azure-SSIS IR, které nejsou specifické pro konkrétní uzel.
Poslední operace Výsledek poslední operace spuštění/zastavení vašeho Azure-SSIS IR s proveditelnými chybami, pokud se nezdařila.
Stav Celkový stav prostředí Azure-SSIS IR v (počáteční/ startující/ spuštěno/ zastavování/ zastaveno)
Umístění Umístění služby Azure-SSIS IR.
NodeSize Velikost každého uzlu v prostředí Azure-SSIS IR.
NodeCount Počet uzlů v prostředí Azure-SSIS IR
MaxParallelExecutionsPerNode Maximální počet paralelních spuštění na uzel v prostředí Azure-SSIS IR.
CatalogServerEndpoint Koncový bod existujícího serveru služby Azure SQL Database nebo spravované instance pro hostování katalogu SSIS (SSISDB).
UživatelskéJménoAdministrátoraKatalogu Uživatelské jméno správce pro váš stávající server nebo spravovanou instanci Azure SQL Database. ADF používá tyto informace k přípravě a správě databáze SSISDB vaším jménem.
CatalogAdminPassword Heslo správce pro existující server služby Azure SQL Database nebo spravovanou instanci.
Cenová úroveň katalogu Cenová úroveň pro SSISDB hostovaná serverem Azure SQL Database. Nevztahuje se na službu Azure SQL Managed Instance hostující SSISDB.
VNetId ID prostředku virtuální sítě pro připojení k prostředí Azure-SSIS IR.
Podsíť Název podsítě, ke které se má připojit vaše Azure-SSIS IR.
ID ID prostředku prostředí Azure-SSIS IR.
Typ Typ prostředí IR (spravované/uživatelsky hostované) Azure-SSIS IR.
ResourceGroupName Název vaší skupiny prostředků Azure, ve které se vytvořily ADF a Azure-SSIS IR.
DataFactoryName Název ADF.
Name Název vašeho Azure-SSIS IR.
Popis Popis prostředí Azure-SSIS IR.

Stav (pro uzel Azure-SSIS IR)

Následující tabulka obsahuje možné stavy uzlu Azure-SSIS IR:

Stav specifický pro uzel Popis
Spouštění Tento uzel se připravuje.
dostupný Tento uzel je připravený k nasazení nebo spuštění balíčků SSIS.
Recyklace Tento uzel se opravuje nebo restartuje.
Nedostupný Tento uzel není připravený k nasazení nebo spuštění balíčků SSIS a obsahuje chyby nebo problémy, které můžete vyřešit.

Stav (celkový Azure-SSIS IR)

Následující tabulka obsahuje možné celkové stavy prostředí Azure-SSIS IR. Celkový stav zase závisí na kombinovaných stavech všech uzlů, které patří do prostředí Azure-SSIS IR.

Celkový stav Popis
Počáteční Uzly prostředí Azure-SSIS IR nebyly přiděleny nebo připravené.
Spouštění Uzly prostředí Azure-SSIS IR se přidělují nebo připravují a fakturace se spustila.
Zahájeno Uzly prostředí Azure-SSIS IR se přidělily nebo připravily a jsou připravené k nasazení nebo spuštění balíčků SSIS.
Zastavování Uzly prostředí Azure-SSIS IR se uvolňují.
Zastaveno Uzly vašeho Integračního běhového prostředí Azure-SSIS byly uvolněny a fakturace byla ukončena.

Monitorování prostředí Azure-SSIS Integration Runtime v Azure portálu

Pokud chcete monitorovat prostředí Azure-SSIS IR na webu Azure Portal, přejděte na stránku Prostředí Integration Runtime centra monitorování v uživatelském rozhraní ADF, kde můžete zobrazit všechny vaše prostředí Integration Runtime.

Sledujte všechna Integration Runtime prostředí

Potom výběrem názvu prostředí Azure-SSIS IR otevřete stránku monitorování, kde uvidíte její celkové vlastnosti a stavy specifické pro uzly. Na této stránce, v závislosti na tom, jak nakonfigurujete obecná, nasazovací a pokročilá nastavení Azure-SSIS IR, najdete dlaždice s různými informačními a funkčními údaji.

Informační dlaždice TYPE a REGION zobrazují typ a oblast prostředí Azure-SSIS IR.

Informační dlaždice VELIKOST UZLU zobrazuje SKU (SSIS edice_VM úroveň_VM série), počet jader CPU a velikost RAM na uzel pro vaše prostředí Azure-SSIS IR.

Informační dlaždice SPUŠTĚNÝCH/POŽADOVANÝCH UZLŮ porovnává počet uzlů, které jsou aktuálně spuštěné, s celkovým počtem uzlů, které byly dříve požadovány pro prostředí Azure-SSIS IR.

Dlaždice DUÁLNÍ POHOTOVOSTNÍ PÁR / ROLE zobrazuje název vaší dvojice prostředí Azure-SSIS IR s duálním pohotovostním režimem, která se synchronizuje se skupinou převzetí služeb při selhání Azure SQL Managed Instance pro podnikový nepřetržitý provoz a obnovení po havárii (BCDR), a aktuální primární/sekundární roli vašeho prostředí Azure-SSIS IR. Když dojde k převzetí služeb po selhání SSISDB, vaše primární a sekundární prostředí Azure-SSIS IR prohodí role (viz Konfigurace prostředí Azure-SSIS IR pro BCDR).

Funkční dlaždice jsou popsány v dalších podrobnostech níže.

Sledujte svůj Azure-SSIS IR

Dlaždice STATUS

Na dlaždici STAV na stránce monitorování prostředí Azure-SSIS IR uvidíte celkový stav, například Spuštěno nebo Zastaveno. Výběrem stavu Běží se otevře okno s aktivním tlačítkem Zastavit pro zastavení vašeho prostředí Azure-SSIS IR. Když vyberete stav Zastaveno , zobrazí se okno s živým tlačítkem Start a spustí se prostředí Azure-SSIS IR. Automaticky otevírané okno obsahuje také tlačítko Spustit balíček SSIS pro automatické vygenerování kanálu ADF s aktivitou Spustit balíček SSIS, která běží na vašem prostředí Azure-SSIS IR (viz Spouštění balíčků SSIS jako aktivity Spustit balíček SSIS v kanálech ADF), a textové pole ID prostředku, ze kterého můžete zkopírovat ID prostředku Azure-SSIS IR (/subscriptions/YourAzureSubscription/resourcegroups/YourResourceGroup/providers/Microsoft.DataFactory/factories/YourADF/integrationruntimes/YourAzureSSISIR). Přípona ID prostředku Azure-SSIS IR, která obsahuje názvy ADF a Azure-SSIS IR, tvoří ID clusteru, které lze použít pro účel nákupu dalších prémiových nebo licencovaných komponent SSIS od nezávislých dodavatelů softwaru (ISV) a jejich propojení s prostředím Azure-SSIS IR (viz Instalace prémiových nebo licencovaných komponent na prostředí Azure-SSIS IR).

Monitorování prostředí Azure-SSIS IR – dlaždice STAV

Dlaždice KONCOVÝ BOD SERVERU SSISDB

Pokud používáte model nasazení projektu, ve kterém jsou balíčky uložené v databázi SSISDB hostované serverem nebo spravovanou instancí Azure SQL Database, zobrazí se dlaždice KONCOVÝ BOD SERVERU SSISDB na stránce monitorování Azure-SSIS IR (viz Konfigurace nastavení nasazení prostředí Azure-SSIS IR). Na této dlaždici můžete vybrat odkaz, který označuje server služby Azure SQL Database nebo spravovanou instanci, a otevřít tak okno, kde můžete zkopírovat koncový bod serveru z textového pole a použít ho při připojování ze služby SSMS k nasazení, konfiguraci, spuštění a správě balíčků. V automaticky otevíraných oknech můžete také vybrat odkaz Zobrazit nastavení služby Azure SQL Database nebo spravované instance k překonfigurování/změně velikosti databáze SSISDB na webu Azure Portal.

Monitorování dlaždice Azure-SSIS IR – SSISDB

Dlaždice PROXY/ STAGING

Pokud stáhnete, nainstalujete a nakonfigurujete místní prostředí IR (SHIR) jako proxy server pro prostředí Azure-SSIS IR pro přístup k datům v místním prostředí, zobrazí se na stránce monitorování prostředí Azure-SSIS IR dlaždice PROXY /STAGING (viz Konfigurace prostředí IR jako proxy prostředí Azure-SSIS IR). Na této dlaždici můžete vybrat odkaz označující váš nástroj SHIR a otevřít stránku monitorování. Můžete také zvolit jiný odkaz určený pro službu Azure Blob Storage pro účely přípravy a překonfigurovat tak propojenou službu.

Panel OVĚŘIT VNET / PODSÍŤ

Pokud připojíte své prostředí Azure-SSIS IR k virtuální síti (VNet), zobrazí se na vaší stránce monitorování prostředí Azure-SSIS IR dlaždice OVĚŘIT VNET / PODSÍŤ (viz Připojení Azure-SSIS IR k virtuální síti). Na této dlaždici můžete vybrat odkaz označující vaši virtuální síť a podsíť, a otevřelo se okno, ve kterém můžete zkopírovat ID prostředku vaší virtuální sítě a název podsítě z textových polí, stejně jako ověřit konfigurace virtuální sítě a podsítě, abyste měli jistotu, že požadovaný příchozí a odchozí síťový provoz a správa vašeho Azure-SSIS IR nejsou blokovány.

Monitorování prostředí Azure-SSIS IR – dlaždice VALIDATE

Dlaždice DIAGNOSTIKA PŘIPOJENÍ

Na dlaždici DIAGNOSTIKOVAT PŘIPOJENÍ na stránce monitorování prostředí Azure-SSIS IR můžete vybrat odkaz pro testovací připojení a otevřít okno, kde můžete zkontrolovat připojení mezi prostředím Azure-SSIS IR a relevantním balíčkem, konfigurací a úložišti dat a službami pro správu prostřednictvím plně kvalifikovaného názvu domény (FQDN) nebo IP adresy a určeného portu (viz Testování připojení z prostředí Azure-SSIS IR).

Monitorování prostředí Azure-SSIS IR – dlaždice DIAGNOSTIKA

Dlaždice s IP ADRESAMI STATICKÉHO VEŘEJNÉHO PŘIPOJENÍ

Pokud pro Azure-SSIS IR použijete vlastní statické veřejné IP adresy, zobrazí se na stránce monitorování prostředí Azure-SSIS IR dlaždice STATICKÉ VEŘEJNÉ IP ADRESY (viz Přenesení vlastních statických veřejných IP adres pro Azure-SSIS IR). Na této dlaždici můžete vybrat odkazy označující první/druhou statickou veřejnou IP adresu pro Azure-SSIS IR a zobrazit tak okno, kde můžete zkopírovat ID prostředku (/subscriptions/YourAzureSubscription/resourceGroups/YourResourceGroup/providers/Microsoft.Network/publicIPAddresses/YourPublicIPAddress) z textového pole. V vyskakovacím okně můžete také vybrat odkaz Zobrazit nastavení první/druhé statické veřejné IP adresy pro správu první/druhé statické veřejné IP adresy v Azure portálu.

Monitorování prostředí Azure-SSIS IR – statická dlaždice

Dlaždice PACKAGE STORES

Pokud používáte model nasazení balíčků, ve kterém jsou balíčky uložené v systému souborů, ve službě Azure Files nebo v databázi SQL Serveru (MSDB) hostované službou Azure SQL Managed Instance a spravujete je prostřednictvím úložišť balíčků Azure-SSIS IR, zobrazí se na stránce monitorování prostředí Azure-SSIS IR dlaždice PACKAGE STORES (viz Konfigurace nastavení nasazení prostředí Azure-SSIS IR). Na této dlaždici můžete vybrat odkaz označující počet úložišť balíčků připojených k prostředí Azure-SSIS IR. Otevře se okno, ve kterém můžete překonfigurovat příslušné propojené služby pro úložiště balíčků Azure-SSIS IR nad systémem souborů, službami Azure Files/MSDB hostovanými vaší službou Azure SQL Managed Instance.

Monitorování prostředí Azure-SSIS IR – dlaždice PACKAGE

Dlaždice ERROR(S)

Pokud dojde k problémům se spuštěním, zastavením, údržbou nebo upgradem prostředí Azure-SSIS IR, zobrazí se na stránce monitorování prostředí Azure-SSIS IR další dlaždice CHYB . Na této dlaždici můžete vybrat odkaz označující počet chyb vygenerovaných prostředím Azure-SSIS IR, aby se zobrazilo okno, ve kterém se tyto chyby zobrazí v dalších podrobnostech a zkopírujete je, abyste našli doporučená řešení v našem průvodci odstraňováním potíží (viz Řešení potíží s prostředím Azure-SSIS IR).

Monitorování prostředí Azure-SSIS IR – dlaždice CHYBA

Monitorování prostředí Azure-SSIS Integration Runtime pomocí služby Azure Monitor

Pokud chcete monitorovat prostředí Azure-SSIS IR pomocí služby Azure Monitor, přečtěte si téma Monitorování operací SSIS pomocí služby Azure Monitor.

Další informace o prostředí Azure-SSIS Integration Runtime

Další informace o prostředí Azure-SSIS Integration Runtime najdete v následujících článcích:

V následujících článcích najdete informace o monitorování kanálů různými způsoby: