Konfigurace místního prostředí IR jako proxy pro Azure-SSIS IR

Článek
01/05/2024

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

Tento článek popisuje, jak spouštět balíčky SSIS (SQL Server Integration Services) v prostředí Azure-SSIS Integration Runtime (Azure-SSIS IR) s místním prostředím Integration Runtime (místní prostředí IR) nakonfigurovaným jako proxy server.

Pomocí této funkce můžete přistupovat k datům a spouštět úlohy místně, aniž byste museli připojit prostředí Azure-SSIS IR k virtuální síti. Tato funkce je užitečná, když má vaše podniková síť příliš složitou konfiguraci nebo příliš omezující zásadu, abyste do ní mohli vložit prostředí Azure-SSIS IR.

Tuto funkci je možné povolit pouze u úlohy Tok dat služby SSIS a provádění úloh SQL/procesu prozatím.

Zapnuto u Tok dat Úkol, tato funkce ji rozdělí do dvou přípravných úloh, kdykoli je to možné:

Místní přípravná úloha: Tato úloha spouští komponentu toku dat, která se připojuje k místnímu úložišti dat v místním prostředí IR. Přesouvá data z místního úložiště dat do pracovní oblasti ve službě Azure Blob Storage nebo naopak.
Přípravná úloha cloudu: Tato úloha spouští komponentu toku dat, která se nepřipojí k místnímu úložišti dat v prostředí Azure-SSIS IR. Přesouvá data z pracovní oblasti ve službě Azure Blob Storage do cloudového úložiště dat nebo naopak.

Pokud úloha Tok dat přesune data z místního prostředí do cloudu, budou první a druhé pracovní úlohy místní a cloudové pracovní úlohy. Pokud úloha Tok dat přesune data z cloudu do místního prostředí, první a druhá pracovní úlohy budou cloudové a místní pracovní úlohy. Pokud úloha Tok dat přesune data z místního prostředí do místního prostředí, budou první i druhé pracovní úlohy místní úlohy přípravy. Pokud úloha Tok dat přesune data z cloudu do cloudu, tato funkce se nedá použít.

Tato funkce je povolená při spouštění úloh SQL nebo procesů, spustí je ve vašem místním prostředí IR.

Další výhody a možnosti této funkce umožňují například nastavit místní prostředí IR v oblastech, které ještě azure-SSIS IR nepodporuje, a povolit veřejnou statickou IP adresu místního prostředí IR na bráně firewall vašich zdrojů dat.

Příprava místního prostředí IR

Pokud chcete tuto funkci použít, nejprve vytvoříte datovou továrnu a nastavíte v ní prostředí Azure-SSIS IR. Pokud jste to ještě neudělali, postupujte podle pokynů v tématu Nastavení prostředí Azure-SSIS IR.

Pak nastavíte místní prostředí IR ve stejné datové továrně, ve které je nastavené prostředí Azure-SSIS IR. Postup najdete v tématu Vytvoření místního prostředí IR.

Nakonec stáhnete a nainstalujete nejnovější verzi místního prostředí IR a další ovladače a modul runtime na místním počítači nebo virtuálním počítači Azure následujícím způsobem:

Stáhněte a nainstalujte nejnovější verzi místního prostředí IR.
Pokud je místní prostředí IR verze 5.28.0 nebo novější, povolte spouštění balíčků SSIS na uzlu místního prostředí Integration Runtime.

Vlastnost ExecuteSsisPackage je nově zavedena z místního prostředí IR verze 5.28.0. Pokud chcete povolit nebo zakázat spouštění balíčků SSIS, použijte následující akci místního prostředí IR:
- -EnableExecuteSsisPackage Povolte spouštění balíčků SSIS na uzlu místního prostředí IR.
- -DisableExecuteSsisPackage Zakažte spouštění balíčků SSIS na uzlu místního prostředí IR.
- -GetExecuteSsisPackage
Podrobnosti příkazového řádku místního prostředí IR najdete v tématu Nastavení existujícího místního prostředí IR prostřednictvím místního Prostředí PowerShell.

Nově nainstalovaný uzel místního prostředí IR s verzí 5.28.0 nebo novější je vlastnost ExecuteSsisPackage ve výchozím nastavení zakázaná.

Existující uzel místního prostředí IR aktualizovaný na verzi 5.28.0 nebo novější je ve výchozím nastavení povolená vlastnost ExecuteSsisPackage.
Pokud v balíčcích používáte objektové propojení a vkládání databáze (OLEDB), open database Připojení ivity (ODBC) nebo konektory ADO.NET, stáhněte a nainstalujte příslušné ovladače na stejný počítač, na kterém je nainstalované místní prostředí IR, pokud jste to ještě neudělali.

Pokud používáte starší verzi ovladače OLEDB pro SQL Server (SQL Server Native Client [SQLNCLI]), stáhněte si 64bitovou verzi.

Pokud používáte nejnovější verzi ovladače OLEDB pro SQL Server (MSOLEDBSQL), stáhněte si 64bitovou verzi.

Pokud používáte ovladače OLEDB/ODBC/ADO.NET pro jiné databázové systémy, jako jsou PostgreSQL, MySQL, Oracle atd., můžete si stáhnout 64bitové verze z jejich webů.
Pokud ve svých balíčcích používáte komponenty toku dat z balíčku Funkcí Azure, stáhněte a nainstalujte sadu Azure Feature Pack pro SQL Server 2017 na stejný počítač, na kterém je nainstalované místní prostředí IR, pokud jste to ještě neudělali.
Pokud jste to ještě neudělali, stáhněte a nainstalujte 64bitovou verzi modulu runtime Visual C++ (VC) na stejný počítač, na kterém je nainstalované místní prostředí IR.

Povolení ověřování Systému Windows pro místní úlohy

Pokud místní úlohy přípravy a spouštění úloh SQL/Process v místním prostředí IR vyžadují ověřování Systému Windows, musíte také nakonfigurovat funkci ověřování Systému Windows v prostředí Azure-SSIS IR.

Vaše místní pracovní úlohy a spouštění úloh SQL/Procesu se vyvolá pomocí účtu služby IR v místním prostředí (VE výchozím nastavení NT SERVICE\DIAHostService) a k úložištím dat se dostanete pomocí účtu ověřování systému Windows. Oba účty vyžadují, aby k nim byly přiřazeny určité zásady zabezpečení. Na počítači s místním prostředím IR přejděte na místní přiřazení uživatelských práv k>místním zásadám>zabezpečení a proveďte následující akce:

Přiřaďte kvótu paměti pro proces a nahraďte zásady tokenu na úrovni procesu k účtu služby IR v místním prostředí. K tomu by mělo dojít automaticky při instalaci místního prostředí IR s výchozím účtem služby. Pokud ne, přiřaďte tyto zásady ručně. Pokud používáte jiný účet služby, přiřaďte mu stejné zásady.
Přiřaďte zásady přihlášení jako služby k účtu ověřování systému Windows.

Příprava propojené služby Azure Blob Storage pro přípravu

Pokud jste to ještě neudělali, vytvořte propojenou službu Azure Blob Storage ve stejné datové továrně, ve které je nastavené prostředí Azure-SSIS IR. Postup najdete v tématu Vytvoření propojené služby Azure Data Factory. Nezapomeňte provést následující:

V případě úložiště dat vyberte Azure Blob Storage.
Pokud chcete Připojení prostřednictvím prostředí Integration Runtime, vyberte AutoResolveIntegrationRuntime (ne místní prostředí IR), takže ho můžeme ignorovat a místo toho použít prostředí Azure-SSIS IR k načtení přihlašovacích údajů pro přístup pro službu Azure Blob Storage.
Jako metodu ověřování vyberte klíč účtu, identifikátor URI SAS, instanční objekt, spravovanou identitu nebo spravovanou identitu přiřazenou uživatelem.

Tip

Pokud je vaše instance datové továrny povolená gitem, propojená služba bez ověřování pomocí klíče se nepublikuje okamžitě, což znamená, že nemůžete uložit prostředí Integration Runtime, které závisí na propojené službě ve vaší větvi funkcí. Ověření pomocí klíče účtu nebo identifikátoru URI SAS okamžitě publikuje propojenou službu.

Tip

Pokud vyberete metodu instančního objektu, udělte instančnímu objektu alespoň roli Přispěvatel dat v objektu blob služby Storage. Další informace najdete v tématu Konektor služby Azure Blob Storage. Pokud vyberete metodu spravované/identity přiřazené uživatelem, udělte zadané spravované identitě systému nebo uživatelem přiřazené spravované identitě pro ADF správnou roli pro přístup ke službě Azure Blob Storage. Další informace najdete v tématu Přístup ke službě Azure Blob Storage pomocí ověřování Microsoft Entra se zadanou spravovanou identitou přiřazenou systémem nebo uživatelem pro vaši službu ADF.

Prepare the Azure Blob storage-linked service for staging

Konfigurace prostředí Azure-SSIS IR s místním prostředím IR jako proxy

Když jste připravili místní prostředí IR a propojenou službu Azure Blob Storage pro přípravu, můžete teď nakonfigurovat nové nebo existující prostředí Azure-SSIS IR s místním prostředím IR jako proxy na portálu nebo aplikaci datové továrny. Než to ale uděláte, můžete ho zastavit, upravit a restartovat, pokud už je vaše stávající prostředí Azure-SSIS IR spuštěné.

V podokně Nastavení prostředí Integration Runtime přeskočte přes stránku Obecné nastavení a Nastavení nasazení výběrem tlačítka Pokračovat.
Na stránce Upřesnit nastavení udělejte toto:
1. Zaškrtněte políčko Nastavit místní prostředí Integration Runtime jako proxy pro prostředí Azure-SSIS Integration Runtime.
2. V rozevíracím seznamu místního prostředí Integration Runtime vyberte jako proxy prostředí Azure-SSIS IR existující místní prostředí IR.
3. V rozevíracím seznamu propojená služba Staging Storage vyberte existující propojenou službu Azure Blob Storage nebo vytvořte novou pro přípravu.
4. V poli Pracovní cesta zadejte kontejner objektů blob ve vybraném účtu Azure Storage nebo ho ponechte prázdný, pokud chcete použít výchozí kontejner pro přípravu.
5. Vyberte tlačítko Pokračovat.

Pomocí PowerShellu můžete také nakonfigurovat nové nebo existující prostředí Azure-SSIS IR s místním prostředím IR jako proxy serverem.

$ResourceGroupName = "[your Azure resource group name]"
$DataFactoryName = "[your data factory name]"
$AzureSSISName = "[your Azure-SSIS IR name]"
# Self-hosted integration runtime info - This can be configured as a proxy for on-premises data access 
$DataProxyIntegrationRuntimeName = "" # OPTIONAL to configure a proxy for on-premises data access 
$DataProxyStagingLinkedServiceName = "" # OPTIONAL to configure a proxy for on-premises data access 
$DataProxyStagingPath = "" # OPTIONAL to configure a proxy for on-premises data access 

# Add self-hosted integration runtime parameters if you configure a proxy for on-premises data access
if(![string]::IsNullOrEmpty($DataProxyIntegrationRuntimeName) -and ![string]::IsNullOrEmpty($DataProxyStagingLinkedServiceName))
{
    Set-AzDataFactoryV2IntegrationRuntime -ResourceGroupName $ResourceGroupName `
        -DataFactoryName $DataFactoryName `
        -Name $AzureSSISName `
        -DataProxyIntegrationRuntimeName $DataProxyIntegrationRuntimeName `
        -DataProxyStagingLinkedServiceName $DataProxyStagingLinkedServiceName

    if(![string]::IsNullOrEmpty($DataProxyStagingPath))
    {
        Set-AzDataFactoryV2IntegrationRuntime -ResourceGroupName $ResourceGroupName `
            -DataFactoryName $DataFactoryName `
            -Name $AzureSSISName `
            -DataProxyStagingPath $DataProxyStagingPath
    }
}
Start-AzDataFactoryV2IntegrationRuntime -ResourceGroupName $ResourceGroupName `
    -DataFactoryName $DataFactoryName `
    -Name $AzureSSISName `
    -Force

Povolení balíčků SSIS pro použití proxy serveru

Pomocí nejnovějšího rozšíření SSDT jako rozšíření SSIS Projects pro Visual Studio nebo samostatného instalačního programu můžete najít novou ConnectByProxy vlastnost ve správcích připojení pro podporované komponenty toku dat a ExecuteOnProxy vlastnost v části Provádění úloh SQL/Procesu.

Když navrhujete nové balíčky obsahující Tok dat Úlohy s komponentami, které přistupují k datům místně, můžete tuto vlastnost povolit ConnectByProxy tak, že ji nastavíte na Hodnotu True v podokně Vlastnosti příslušných správců připojení.

Při návrhu nových balíčků obsahujících úlohy provádění sql/procesů, které běží místně, můžete tuto vlastnost povolit ExecuteOnProxy tak, že ji nastavíte na True v podokně Vlastnosti u samotných relevantních úloh.

Enable ConnectByProxy/ExecuteOnProxy property

Můžete také povolit ConnectByProxy/ExecuteOnProxy vlastnosti při spuštění existujících balíčků, aniž byste je museli ručně měnit o jeden po druhém. Existují dvě možnosti:

Možnost A: Otevřete, znovu sestavte a nasaďte projekt obsahující tyto balíčky s nejnovějším SSDT pro spuštění v prostředí Azure-SSIS IR. Vlastnost pak můžete povolit ConnectByProxy tak, že ji nastavíte na Hodnotu True pro příslušné správce připojení, kteří se zobrazí na kartě Připojení ion Managers (Správci spuštění) automaticky otevíraného okna Spustit balíček při spouštění balíčků z aplikace SSMS.

Vlastnost můžete také povolit ConnectByProxy tak, že ji nastavíte na Hodnotu True pro příslušné správce připojení, kteří se zobrazí na kartě Připojení ion Správci aktivity Spuštění balíčku SSIS při spouštění balíčků v kanálech služby Data Factory.
Možnost B: Znovu nasaďte projekt obsahující tyto balíčky, aby se spustil v prostředí SSIS IR. Vlastnosti pak můžete povolit ConnectByProxy/ExecuteOnProxy tak,/\Package\YourExecuteSQLTaskName.Properties[ExecuteOnProxy]\Package.Connections[YourConnectionManagerName].Properties[ConnectByProxy]/\Package\YourExecuteProcessTaskName.Properties[ExecuteOnProxy] že zadáte jejich cesty k vlastnostem a nastavíte je na hodnotu True jako přepsání vlastnosti na kartě Upřesnit v automaticky otevíraných oknech Spustit balíček při spouštění balíčků z aplikace SSMS.

Vlastnosti můžete povolit ConnectByProxy/ExecuteOnProxy také tak,\Package\YourExecuteSQLTaskName.Properties[ExecuteOnProxy]\Package.Connections[YourConnectionManagerName].Properties[ConnectByProxy]/\Package\YourExecuteProcessTaskName.Properties[ExecuteOnProxy]/ že zadáte jejich cesty k vlastnostem a nastavíte je na Hodnotu True jako přepsání vlastností na kartě Přepsání vlastností aktivity Spuštění balíčku SSIS při spouštění balíčků v kanálech Data Factory.

Ladění místních úloh a úloh přípravy cloudu

V místním prostředí IR najdete protokoly modulu runtime ve složce C:\ProgramData\SSISTelemetry a protokoly spouštění místních pracovních úloh a spouštění úloh SQL/process ve složce C:\ProgramData\SSISTelemetry\ExecutionLog . Protokoly spouštění pracovních úloh cloudu najdete ve službě SSISDB, zadané cestě k souborům protokolování nebo azure Monitoru v závislosti na tom, jestli balíčky ukládáte do služby SSISDB, povolíte integraci služby Azure Monitor atd. Jedinečné ID místních přípravných úloh najdete také v protokolech spouštění cloudových pracovních úloh.

Unique ID of the first staging task

Pokud jste vytvořili lístky zákaznické podpory, můžete vybrat tlačítko Odeslat protokoly na kartě Diagnostika v nástroji Microsoft Integration Runtime Configuration Manager, který je nainstalovaný ve vašem místním prostředí IR, a odeslat nám protokoly nedávné operace/spouštění, abychom mohli prozkoumat.

Fakturace místních úloh a úloh přípravy cloudu

Místní úlohy přípravy a spouštění úloh SQL/procesu, které běží na místním prostředí IR, se účtují samostatně, stejně jako se účtují všechny aktivity přesunu dat spuštěné v místním prostředí IR. Toto je uvedené v článku o cenách datového kanálu služby Azure Data Factory.

Úlohy přípravy cloudu, které běží na prostředí Azure-SSIS IR, se neúčtují samostatně, ale vaše spuštěné prostředí Azure-SSIS IR se účtuje podle pokynů v článku o cenách Azure-SSIS IR.

Vynucení protokolu TLS 1.2

Pokud potřebujete získat přístup k úložištům dat, která jsou nakonfigurovaná tak, aby používala pouze nejsilnější kryptografii nebo nejbezpečnější síťový protokol (TLS 1.2), včetně služby Azure Blob Storage pro přípravu, musíte povolit jenom protokol TLS 1.2 a současně zakázat starší verze PROTOKOLU SSL/TLS na místním prostředí IR. Můžete si tak stáhnout a spustit skript main.cmd , který poskytujeme ve složce CustomSetupScript/UserScenarios/TLS 1.2 našeho kontejneru objektů blob ve verzi Public Preview. Pomocí Průzkumník služby Azure Storage se můžete připojit k našemu kontejneru objektů blob ve verzi Public Preview zadáním následujícího identifikátoru URI SAS:

https://ssisazurefileshare.blob.core.windows.net/publicpreview?sp=rl&st=2020-03-25T04:00:00Z&se=2025-03-25T04:00:00Z&sv=2019-02-02&sr=c&sig=WAD3DATezJjhBCO3ezrQ7TUZ8syEUxZZtGIhhP6Pt4I%3D

Aktuální omezení

V současné době se podporují jenom komponenty toku dat, které jsou integrované nebo předinstalované v prostředí Azure-SSIS IR edice Standard s výjimkou komponent Hadoop/HDFS/DQS, viz všechny předinstalované nebo předinstalované komponenty v Prostředí Azure-SSIS IR.
V současné době se podporují jenom komponenty toku dat vlastních/třetích stran napsané ve spravovaném kódu (.NET Framework) – ty napsané v nativním kódu (C++) se v současné době nepodporují.
Změna hodnot proměnných v místních i cloudových pracovních úlohách se v současné době nepodporuje.
Změna hodnot proměnných objektu typu v místních přípravných úlohách se neprojeví v jiných úkolech.
Mapování parametrů ve zdroji OLEDB se v současné době nepodporuje. Jako alternativní řešení použijte jako AccessMode příkaz SQL z proměnné a pomocí výrazu vložte proměnné nebo parametry do příkazu SQL. Na obrázku vidíte balíček ParameterMappingSample.dtsx , který najdete ve složce SelfHostedIRProxy/Limitations našeho kontejneru objektů blob ve verzi Public Preview. Pomocí Průzkumník služby Azure Storage se můžete připojit k našemu kontejneru objektů blob ve verzi Public Preview zadáním výše uvedeného identifikátoru URI SAS.

Jakmile nakonfigurujete místní prostředí IR jako proxy server pro prostředí Azure-SSIS IR, můžete nasadit a spustit balíčky pro přístup k datům a nebo spouštět všechny příkazy a procesy SQL místně jako spouštění aktivit balíčku SSIS v kanálech služby Data Factory. Postup najdete v tématu Spouštění balíčků SSIS jako spouštění aktivit balíčků SSIS v kanálech služby Data Factory. Projděte si také naše blogy: Spuštění libovolného SQL Anywhere ve 3 jednoduchých krocích pomocí služby SSIS v Azure Data Factory a spuštění libovolného procesu kdekoli ve 3 snadných krocích pomocí služby SSIS ve službě Azure Data Factory.