Prostředí Integration Runtime ve službě Azure Data Factory

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Data Factory v Microsoft Fabric je nová generace Azure Data Factory s jednodušší architekturou, integrovanou AI a novými funkcemi. Pokud s integrací dat začínáte, začněte Fabric Data Factory. Stávající úlohy ADF se můžou upgradovat na Fabric pro přístup k novým funkcím v oblasti datové vědy, analýzy v reálném čase a reportingu.

Integrační runtime (IR) je výpočetní infrastruktura používaná pipeline Azure Data Factory a Azure Synapse k poskytování následujících schopností integrace dat napříč různými síťovými prostředími:

  • Tok dat: spusťte Tok dat ve spravovaném výpočetním prostředí Azure.
  • Přesun dat: Kopírování dat mezi úložišti dat ve veřejné nebo privátní síti (pro místní i virtuální privátní sítě) Služba poskytuje podporu integrovaných konektorů, převodu formátu, mapování sloupců a výkonného a škálovatelného přenosu dat.
  • Odesílání aktivit: Odesílání a monitorování aktivit transformace běžících na různých výpočetních službách, jako jsou Azure Databricks, Azure HDInsight, ML Studio (classic), Azure SQL Database, SQL Server a další.
  • Spouštění balíčků služby SSIS: nativní spouštění balíčků služby Služby Integrace SQL Serveru (SSIS) ve spravovaném výpočetním prostředí Azure.

V kanálech Data Factory a Synapse definuje aktivita akci, která se má provést. Propojená služba určuje cílové úložiště dat nebo výpočetní službu. Prostředí Integration Runtime poskytuje most mezi aktivitami a propojenými službami. Propojená služba nebo aktivita odkazuje a poskytuje výpočetní prostředí, ve kterém se aktivita spouští přímo nebo odesílá. Toto přidružení umožňuje provádět aktivitu v nejbližší možné oblasti k cílovému úložišti dat nebo výpočetní službě, aby se maximalizoval výkon a zároveň bylo možné flexibilně splnit požadavky na zabezpečení a dodržování předpisů.

Prostředí běhu integrace lze vytvořit přímo v uživatelském rozhraní Azure Data Factory a Azure Synapse prostřednictvím centra pro správu, stejně jako z aktivit, datových sad nebo toků dat, které na ně odkazují.

Typy modulu runtime integrace

Data Factory nabízí tři typy integračního runtime (IR) a měli byste si vybrat typ, který nejlépe vyhovuje vašim schopnostem integrace dat a požadavkům síťového prostředí. Existují tři typy prostředí IR:

  • Azure
  • Vlastní hostování
  • Azure-SSIS

Poznámka:

Kanály Synapse v současné době podporují pouze prostředí Azure nebo místní prostředí Integration Runtime.

Následující tabulka obsahuje informace o podpoře funkcí a sítí pro každý typ prostředí Integration Runtime:

Typ IR Podpora veřejné sítě Podpora služby Private Link
Azure Tok dat
Pohyb dat
Distribuce aktivit		 Tok dat
Pohyb dat
Distribuce aktivit
Vlastní hostování Pohyb dat
Distribuce aktivit		 Pohyb dat
Distribuce aktivit
Azure-SSIS Spouštění balíčků služby SSIS Spouštění balíčků služby SSIS

Poznámka:

Odchozí ovládací prvky se liší podle služby pro Azure IR. V Synapse mají pracovní prostory možnosti omezit odchozí provoz ze spravované virtuální sítě při použití Azure IR. V Data Factory jsou všechny porty otevřené pro odchozí komunikaci, když používáte Azure IR. Prostředí Azure-SSIS IR je možné integrovat s vaší virtuální sítí, aby bylo možné poskytovat ovládací prvky odchozí komunikace .

Prostředí Azure Integration Runtime

Prostředí Azure Integration Runtime může:

  • Spouštění toků dat v Azure
  • Spouštění aktivit kopírování mezi cloudovými úložišti dat
  • Odešlete následující aktivity transformace ve veřejné síti:
    • Vlastní aktivita .NET
    • Aktivita funkce Azure
    • Aktivita poznámkového bloku Databricks, Jar nebo Pythonu
    • Aktivita získání metadat
    • Aktivita služby HDInsight Hive
    • Aktivita HDInsight Pig
    • Aktivita MapReduce služby HDInsight
    • Aktivita Spark služby HDInsight
    • Aktivita streamování HDInsight
    • Aktivita Vyhledávání
    • Aktivita dávkového spouštění nástroje Machine Learning Studio (Classic)
    • Aktivita aktualizace prostředku nástroje Machine Learning Studio (Classic)
    • Aktivita uložené procedury
    • Aktivita ověřování
    • Webová aktivita

Síťové prostředí Azure IR

Integrační runtime pro integraci Azure podporuje připojení k datovým úložištím a výpočetním službám s veřejně přístupnými koncovými body. Když povolíte Managed Virtual Network, integrační runtime pro Azure podporuje připojení k datovým úložištím pomocí Private Link v prostředí privátní sítě. V Synapse mají pracovní prostory možnosti omezit odchozí provoz z virtuální sítě spravované technologií IR. Ve službě Data Factory jsou všechny porty otevřené pro odchozí komunikaci. Prostředí Azure-SSIS IR je možné integrovat s vaší virtuální sítí, aby poskytovalo řízení odchozí komunikace .

Výpočetní prostředky a škálování prostředí Azure IR

Prostředí Azure Integration Runtime poskytuje v rámci Azure plně spravované výpočetní prostředí bez serveru. Nemusíte se starat o zřizování infrastruktury, instalaci softwaru, opravy nebo škálování kapacity. Navíc platíte jen za to, co použijete.

Prostředí Azure Integration Runtime poskytuje nativní výpočetní prostředí pro zabezpečené, spolehlivé a vysoce výkonné přesuny dat mezi cloudovými úložišti dat. Můžete nastavit, kolik dat integračních jednotek použijete v kopírovací aktivitě, a velikost výpočetní kapacity Azure IR se elasticky zvýší, aniž byste museli explicitně upravovat velikost runtime Azure integrace.

Activity dispatch je lehká operace pro směrování aktivity do cílové výpočetní služby, takže není potřeba zvětšovat velikost výpočetní kapacity pro tento scénář.

Informace o vytváření a konfiguraci prostředí Azure IR najdete v tématu Vytvoření a konfigurace prostředí Azure Integration Runtime.

Poznámka:

Integrační runtime pro Azure má vlastnosti související s runtime Tok dat, který definuje základní výpočetní infrastrukturu používanou pro provoz datových toků.

Vlastní hostovaný integrační modul runtime

Samoobslužně hostovaný IR je schopen:

  • Provádění kopírování mezi cloudovým datovým úložištěm a datovým úložištěm v privátní síti.
  • Spouštění následující transformační aktivity proti výpočetním zdrojům na místních systémech nebo v Azure Virtual Network:
    • Aktivita funkce Azure
    • Vlastní aktivita (běží ve službě Azure Batch)
    • Aktivita získání metadat
    • Aktivita HIVe služby HDInsight (BYOC –Přineste si vlastní cluster)
    • Aktivita Pig služby HDInsight (BYOC)
    • Aktivita MapReduce služby HDInsight (BYOC)
    • Aktivita Sparku služby HDInsight (BYOC)
    • Aktivita streamování služby HDInsight (BYOC)
    • Aktivita Vyhledávání
    • Aktivita dávkového spouštění nástroje Machine Learning Studio (Classic)
    • Aktivita aktualizace prostředku nástroje Machine Learning Studio (Classic)
    • Aktivita spuštění kanálu Machine Learning
    • Aktivita uložené procedury
    • Aktivita ověřování
    • Webová aktivita

Poznámka:

Používejte vlastní integrační runtime pro podporu datových úložiš, která vyžadují vlastní ovladač, jako jsou SAP HANA a MySQL. Pro více informací viz podporovaná datová úložiště.

Poznámka:

Java Runtime Environment (JRE) je závislostí na self-hosted IR. Ujistěte se, že máte na stejném hostiteli nainstalovaný JRE.

Síťové prostředí místního prostředí IR

Pokud chcete bezpečně integrovat data v prostředí privátní sítě, které nemá přímý přehled z prostředí veřejného cloudu, můžete nainstalovat místní prostředí IR do místního prostředí za bránou firewall nebo do virtuální privátní sítě. "Samosprávné Integration Runtime vytváří pouze odchozí HTTP připojení k internetu."

Výpočetní prostředky a škálování místního prostředí IR

Nainstalujte místní prostředí IR na místní počítač nebo virtuální počítač v privátní síti. V současné době se místní prostředí IR podporuje jenom v operačním systému Windows. Za účelem vysoké dostupnosti a škálovatelnosti můžete škálovat na více instancí prostředí IR v místním prostředí tak, že logickou instanci přidružíte k víc místním počítačům v režimu aktivní-aktivní. Další informace najdete v článku o tom, jak vytvořit a nakonfigurovat místní prostředí IR , kde najdete podrobnosti.

Rozhraní Azure-SSIS Integration Runtime

Pokud chcete navýšit a přesunout stávající úlohy služby SSIS, můžete vytvořit prostředí Azure SSIS IR pro nativní spouštění balíčků služby SSIS.

Síťové prostředí Azure-SSIS IR

Prostředí Azure-SSIS IR je možné zřídit buď ve veřejné síti, nebo v privátní síti. Místní přístup k datům je podporovaný připojením Azure-SSIS IR k virtuální síti, která je připojená k místní síti.

Výpočetní prostředky a škálování prostředí Azure-SSIS IR

Prostředí Azure-SSIS IR je plně spravovaný cluster virtuálních počítačů Azure vyhrazených ke spouštění balíčků SSIS. Pro katalog projektů a balíčků služby SSIS (SSISDB) můžete použít vlastní službu Azure SQL Database nebo spravovanou instanci SQL. Můžete vertikálně navýšit výkon výpočetního prostředí tím, že určíte velikost uzlu a pak určíte počet uzlů v clusteru. Náklady na provoz integračního runtime Azure-SSIS můžete zvládnout tím, že ho zastavíte a spustíte podle požadavků.

Další informace najdete v tématu Vytvoření a konfigurace prostředí Azure-SSIS IR. Po vytvoření můžete nasazovat a spravovat stávající balíčky SSIS beze změny pomocí známých nástrojů, jako jsou SQL Server Data Tools (SSDT) a SQL Server Management Studio (SSMS), stejně jako v místním prostředí SSIS.

Další informace o modulu runtime Azure-SSIS najdete v následujících článcích:

Umístění modulu runtime integrace

Vztah mezi umístěním továrny a umístěním IR

Když vytváříte instanci Data Factory nebo pracovního prostoru Synapse, musíte specifikovat její umístění. Metadata pro instanci se ukládají zde a odtud se zahajuje spuštění pipeline. Metadata se ukládají jenom ve vybrané oblasti a neukládají se v jiných oblastech.

Kanál mezitím může přistupovat k úložištím dat a výpočetním službám v jiných oblastech Azure a přesouvat data mezi úložišti dat nebo zpracovávat data pomocí výpočetních služeb. Toto chování je realizováno prostřednictvím globálně dostupného prostředí IR k zajištění souladu s předpisy pro data, efektivity a snížení nákladů na výstup z sítě.

Poloha IR určuje umístění jeho backendového výpočtu a místo, kde se provádí přesun dat, vysílání aktivit a spouštění SSIS balíčku. Umístění prostředí IR se může lišit od umístění služby Data Factory, do které patří.

Umístění prostředí Azure IR

Můžete nastavit oblast umístění prostředí Azure IR, v takovém případě se provádění nebo odeslání aktivity provede ve vybrané oblasti.

Výchozí hodnota je automatické obnovení prostředí Azure IR ve veřejné síti. S touto možností:

  • V případě aktivity kopírování se snažíme automaticky zjistit umístění cílového úložiště dat a poté použít prostředí IR ve stejné oblasti, pokud je to možné, nebo v nejbližší geografické oblasti, jinak, pokud není oblast cílového úložiště dat zjistitelná, použije se místo toho prostředí IR v oblasti instance.

    Například ve východních USA byl vytvořen pracovní prostor Data Factory nebo Synapse,

    • Když kopírujete data do objektu blob Azure v oblasti USA – západ, pokud se zjistí, že objekt blob je v oblasti USA – západ, aktivita kopírování se spustí v prostředí IR v oblasti USA – západ; Pokud detekce oblastí selže, aktivita kopírování se spustí v prostředí IR v oblasti USA – východ.
    • Při kopírování dat do Salesforce, pro které oblast není zjistitelná, se aktivita kopírování spustí v prostředí IR v oblasti USA – východ.

    Tip

    Pokud máte přísné požadavky na dodržování dat a potřebujete zajistit, aby data neopouštěla určitou geografii, můžete explicitně vytvořit Azure IR v určité oblasti a nasměrovat propojenou službu na tento IR pomocí vlastnosti ConnectVia. Například pokud chcete zkopírovat data z blobu v UK South do pracovního prostoru Azure Synapse v UK South a chcete zajistit, aby data neopouštěla UK, vytvořte Azure IR v UK South a propojte obě propojené služby s tímto IR.

  • Pro provádění aktivit Lookup/GetMetadata/Delete (aktivity v pipeline), dispečing transformačních aktivit (externí aktivity) a operace tvorby (testovací spojení, seznam složek a tabulky prohlížení a náhledová data) se používá IR ve stejné oblasti jako pracovní prostor Data Factory nebo Synapse.

  • Pro Tok dat se používá IR v oblasti pracovního prostoru Data Factory nebo Synapse.

    Tip

    Osvědčeným postupem je zajistit, aby toky dat běžely ve stejné oblasti jako odpovídající úložiště dat, pokud je to možné. Toho můžete dosáhnout buď automatickým řešením pro Azure IR (pokud je umístění datového úložiště stejné jako v Data Factory nebo Synapse workspace), nebo vytvořením nové instance Azure IR ve stejném regionu jako vaše datové úložiště a následným spuštěním datových toků na ní.

Pokud povolíte Managed Virtual Network s automatickým řešením pro Azure IR, IR se použije v oblasti pracovního prostoru Data Factory nebo Synapse.

Můžete monitorovat, které umístění IR se projeví během vykonávání aktivity v zobrazení monitorování aktivity v kanálu v Data Factory Studio nebo Synapse Studio, nebo v datové části monitorování aktivity.

Umístění samoobslužného provozního prostředí IR

Samohostovaný IR je logicky registrován v pracovním prostoru Data Factory nebo Synapse a vy poskytujete výpočetní kapacitu používanou k podpoře jejích funkcí. Proto neexistuje žádná explicitní vlastnost umístění místního prostředí IR.

Pokud se self-hostované IR používá k přesunu dat, extrahuje data ze zdroje a zapisuje je do cíle.

Umístění prostředí Azure-SSIS IR

Poznámka:

V kanálech Synapse se v současné době nepodporují prostředí Azure-SSIS Integration Runtime.

Pro vysoký výkon pracovních postupů extrakce, transformace a načítání (ETL) je velmi důležitý výběr správného umístění prostředí Azure-SSIS IR.

  • Umístění prostředí Azure-SSIS IR nemusí být stejné jako umístění služby Data Factory, ale mělo by to být stejné jako umístění vaší vlastní služby Azure SQL Database nebo spravované instance SQL, ve které se nachází databáze SSISDB. Tímto způsobem může vaše Azure-SSIS integrační runtime snadno přistupovat k SSISDB bez nadměrného provozu mezi různými místy.
  • Pokud nemáte existující službu SQL Database nebo spravovanou instanci SQL, ale máte místní zdroje a cíle dat, měli byste vytvořit novou službu Azure SQL Database nebo spravovanou instanci SQL ve stejném umístění virtuální sítě připojené k místní síti. Tímto způsobem můžete vytvořit prostředí Azure-SSIS IR pomocí nové služby Azure SQL Database nebo spravované instance SQL a připojit se k této virtuální síti. Všechno je ve stejném umístění, minimalizuje přesun dat a související náklady a současně maximalizuje výkon.
  • Pokud umístění vašeho stávajícího Azure SQL Database nebo SQL Managed Instance není stejné jako umístění virtuální sítě připojené k vaší lokální síti, nejprve vytvořte svůj Azure-SSIS IR pomocí existujícího Azure SQL Database nebo SQL Managed Instance a připojit se k jiné virtuální síti na stejném místě. Pak nakonfigurujte virtuální síť pro připojení k virtuální síti mezi různými umístěními.

Následující diagram znázorňuje nastavení umístění pro službu Data Factory a její prostředí Integration Runtime:

Schéma, které ukazuje nastavení polohy pro Data Factory a jeho integrační runtime.

Určení modulu runtime integrace, který se má použít

Pokud aktivita přidruží více typů prostředí Integration Runtime, přeloží se na jeden z nich. Vlastní integrační runtime má přednost před runtime integrace Azure v instancích pracovních prostorů Azure Data Factory nebo Synapse, které používají spravovanou virtuální síť. A ten má přednost před globálním prostředím Azure Integration Runtime.

Například jedna aktivita kopírování se používá ke kopírování dat ze zdroje do jímky. Globální prostředí Azure Integration Runtime je přidruženo k propojené službě pro zdroj, a když je prostředí Azure Integration Runtime v rámci spravované virtuální sítě Azure Data Factory přidruženo k propojené službě pro zasobník, výsledkem je, že jak propojené služby pro zdroj, tak pro zasobník používají prostředí Azure Integration Runtime ve spravované virtuální síti Azure Data Factory. Pokud je ale místní prostředí Integration Runtime přidružené k propojené službě pro zdroj, pak propojená služba zdroje i jímky používají místní prostředí Integration Runtime.

aktivita Copy

Aktivita Copy vyžaduje, aby služby propojené se zdrojem i jímkou definovaly směr toku dat. Pomocí následující logiky se dá určit, která instance prostředí Integration Runtime se ke kopírování používá:

  • Kopírování mezi dvěma cloudovými zdroji dat: pokud jak zdrojové, tak i cílové propojené služby používají prostředí Azure IR, použije se regionální prostředí Azure IR, pokud bylo zadáno, nebo se umístění prostředí Azure IR automaticky určí, pokud byla zvolena možnost Autoresolve IR (výchozí), jak je popsáno v části Umístění prostředí Integration Runtime.
  • Kopírování mezi cloudovým zdrojem dat a zdrojem dat v privátní síti: pokud zdrojová nebo jímka propojená služba odkazuje na místní prostředí IR, aktivita kopírování se spustí v místním prostředí IR.
  • Kopírování mezi dvěma zdroji dat v privátní síti: Zdrojová i cílová propojená služba musí odkazovat na stejnou instanci prostředí Integration Runtime a toto prostředí se používá k provedení aktivity kopírování.

Aktivity Lookup a GetMetadata

Aktivity Lookup a GetMetadata se provádí v prostředí Integration Runtime přidruženém k propojené službě úložiště dat.

Aktivita externí transformace

Každá externí transformační aktivita, která používá externí výpočetní engine, má cílovou výpočetní linkovanou službu, která ukazuje na integrační runtime. Tato IR instance určuje umístění, odkud je zasílána externí ručně zakódovaná transformační aktivita.

Aktivita toku dat

Aktivity toku dat se spouštějí v přidruženém prostředí Azure Integration Runtime. Vlastnosti datového toku ve vašem Azure IR určují, jaký Spark použije výpočetní výkon, a jsou plně spravovány službou.

Integrační runtime v CI/CD

Prostředí integrace runtime se často nemění a jsou podobná ve všech fázích CI/CD. Data Factory vyžaduje, abyste měli stejný název a typ prostředí Integration Runtime ve všech fázích CI/CD. Pokud chcete sdílet prostředí Integration Runtime napříč všemi fázemi, zvažte použití vyhrazené továrny pouze k tomu, aby obsahovala sdílené prostředí Integration Runtime. Tuto sdílenou továrnu pak můžete použít ve všech vašich prostředích jako propojený typ prostředí Integration Runtime.

Související obsah

Podívejte se na následující články:

  • Last updated on