Integrációs futtatókörnyezet az Azure Data Factory-ben

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Data Factory a Microsoft Fabric a Azure Data Factory következő generációja, egyszerűbb architektúrával, beépített AI-vel és új funkciókkal. Ha még nem ismerkedik az adatintegrációval, kezdje a Fabric Data Factoryvel. A meglévő ADF-munkaterhelések a Fabricra frissíthetők az adattudomány, a valós idejű elemzés és a jelentéskészítés új képességeinek eléréséhez.

Az Integrációs futtatókörnyezet (IR) az Azure Data Factory és az Azure Synapse folyamatok által használt számítási infrastruktúra, amely a következő adatintegrációs képességeket biztosítja a különböző hálózati környezetekben:

  • Adatfolyam: Hajts végre egy adatfolyamot egy felügyelt Azure számítási környezetben.
  • Adatáthelyezés: Adatok másolása nyilvános vagy magánhálózatok adattárai között (helyszíni vagy virtuális magánhálózatok esetén is). A szolgáltatás támogatja a beépített összekötőket, a formátumkonvertálást, az oszlopleképezést, valamint a teljesítményalapú és skálázható adatátvitelt.
  • Tevékenységküldés: Különböző számítási szolgáltatásokon, például az Azure Databricksen, az Azure HDInsighton, az ML Studio-on (klasszikus), az Azure SQL Database-en, az SQL Serveren stb. futó átalakítási tevékenységek küldése és monitorozása.
  • SSIS-csomag végrehajtása: Natívan végrehajthat SQL Server Integration Services- (SSIS-) csomagokat egy Azure-beli felügyelt számítási környezetben.

A Data Factory és a Synapse-folyamatokban egy tevékenység határozza meg a végrehajtandó műveletet. A társított szolgáltatások a céladattárat vagy a számítási szolgáltatást határozzák meg. Az integrációs modul hidat biztosít a tevékenységek és a társított szolgáltatások között. A társított szolgáltatás vagy tevékenységhivatkozások azt a számítási környezetet biztosítják, ahol a tevékenység közvetlenül vagy elküldve fut. Ez a társítás lehetővé teszi, hogy a tevékenység a céladattárhoz vagy számítási szolgáltatáshoz legközelebb eső régióban történjen a teljesítmény maximalizálása érdekében, ugyanakkor rugalmasságot biztosít a biztonsági és megfelelőségi követelményeknek való megfeleléshez.

Az integrációs futtatókörnyezetek az Azure Data Factoryben és az Azure Synapse felhasználói felületén hozhatók létre közvetlenül a felügyeleti központon keresztül, valamint bármely olyan tevékenységből, adatkészletből vagy adatfolyamból, amely hivatkozik rájuk.

Integrációs futási környezet típusok

A Data Factory háromféle integrációs modult (IR) kínál, és ki kell választania azt a típust, amely a legjobban szolgálja az adatintegrációs képességeket és a hálózati környezeti követelményeket. Az IR három típusa:

  • Azure
  • Saját hosztolású
  • Azure-SSIS

Megjegyzés

A Synapse-folyamatok jelenleg csak az Azure-t vagy a saját üzemeltetésű integrációs modulokat támogatják.

Az alábbi táblázat ismerteti az integrációs modulok egyes típusainak képességeit és hálózati támogatását:

IR típus Nyilvános hálózat támogatása Privát kapcsolat támogatása
Azure Adatfolyam
Adatáthelyezés
Tevékenységirányítás		 Adatfolyam
Adatáthelyezés
Tevékenységirányítás
Saját hosztolású Adatáthelyezés
Tevékenységirányítás		 Adatáthelyezés
Tevékenységirányítás
Azure-SSIS SSIS-csomag végrehajtása SSIS-csomag végrehajtása

Megjegyzés

A kimenő vezérlők szolgáltatásonként eltérőek az Azure IR-hez. A Synapse-ban a munkaterületek az Azure IR használatakor korlátozhatják a felügyelt virtuális hálózat kimenő forgalmát. A Data Factoryben minden port meg van nyitva a kimenő kommunikációhoz az Azure IR használatakor. Az Azure-SSIS IR integrálható a virtuális hálózattal, hogy vezérlést biztosítson a kimenő kommunikációk felett.

Azure integrációs futtatókörnyezet

Az Azure-integrációs futtatókörnyezetek a következő lehetőségeket képesek:

  • Adatfolyam futtatása az Azure-ban
  • Másolási tevékenységek futtatása felhőbeli adattárak között
  • A következő transzformációs tevékenységeket küldi el egy nyilvános hálózaton:
    • .NET egyéni tevékenység
    • Azure Function tevékenység
    • Databricks Notebook/ Jar/ Python-tevékenység
    • Data Lake Analytics U-SQL-tevékenység
    • Metaadatok beolvasási tevékenysége
    • HDInsight Hive-tevékenység
    • HDInsight Pig-tevékenység
    • HDInsight MapReduce-tevékenység
    • HDInsight Spark-tevékenység
    • HDInsight Streaming-tevékenység
    • Keresési tevékenység
    • Machine Learning Studio (klasszikus) Batch-végrehajtási tevékenység
    • Machine Learning Studio (klasszikus) erőforrás-frissítési tevékenység
    • Tárolt eljárási tevékenység
    • Érvényesítési tevékenység
    • Webes tevékenység

Azure-beli integrációs modul hálózati környezete

Az Azure Integration Runtime támogatja az adattárakhoz való csatlakozást és a nyilvánosan elérhető végpontokkal rendelkező számítási szolgáltatásokat. A felügyelt virtuális hálózat engedélyezésekor az Azure Integration Runtime támogatja az adattárakhoz való csatlakozást privát hálózati környezetben, privát kapcsolati szolgáltatással. A Synapse környezetben a munkaterületek lehetőséget biztosítanak a kezelt virtuális hálózat kimenő forgalmának korlátozására. A Data Factoryben minden port meg van nyitva a kimenő kommunikációhoz. Az Azure-SSIS IR integrálható a virtuális hálózattal a kimenő kommunikáció vezérlésére.

Azure-beli integrációs modul számítási erőforrásai és skálázása

Az Azure-beli integrációs modul teljesen felügyelt, kiszolgáló nélküli számítást biztosít az Azure-ban. Nem kell aggódnia az infrastruktúra kiépítése, a szoftvertelepítés, a javítás vagy a kapacitás skálázása miatt. Emellett csak a tényleges használat során kell fizetnie.

Az Azure-beli integrációs modul biztosítja a natív számítást az adatok felhőalapú adattárak közötti biztonságos, megbízható és nagy teljesítményű módon való mozgatásához. Beállíthatja, hogy hány adatintegrációs egységet használjon a másolási tevékenységhez, és az Azure IR számítási mérete ennek megfelelően rugalmasan felskálázható anélkül, hogy explicit módon módosítania kellene az Azure Integration Runtime méretét.

A tevékenységküldés egy egyszerű művelet, amely a tevékenységet a cél számítási szolgáltatáshoz irányítja, így ehhez a forgatókönyvhöz nem kell vertikálisan felskálázni a számítási méretet.

Az Azure integrációs modul létrehozásáról és konfigurálásáról további információt az Azure Integration Runtime létrehozása és konfigurálása című témakörben talál.

Megjegyzés

Az Azure Integration Runtime Adatfolyam futtatókörnyezethez kapcsolódó tulajdonságokkal rendelkezik, amelyek meghatározzák az adatfolyamok futtatásához használandó mögöttes számítási infrastruktúrát.

Önállóan üzemeltetett integrációs modul

Egy saját üzemeltetésű IR a következőkre képes:

  • Másolási tevékenység futtatása felhőalapú adattárak és egy magánhálózaton lévő adattár között.
  • A következő transzformációs tevékenységek továbbítása a helyszíni vagy Azure-beli virtuális hálózat számítási kapacitásaihoz:
    • Azure Function tevékenység
    • Egyéni tevékenység (Azure Batchben fut)
    • Data Lake Analytics U-SQL-tevékenység
    • Metaadatok beolvasási tevékenysége
    • HDInsight Hive-tevékenység (BYOC-Bring Your Own Cluster)
    • HDInsight Pig-tevékenység (BYOC)
    • HDInsight MapReduce-tevékenység (BYOC)
    • HDInsight Spark-tevékenység (BYOC)
    • HDInsight Streaming-tevékenység (BYOC)
    • Keresési tevékenység
    • Machine Learning Studio (klasszikus) Batch-végrehajtási tevékenység
    • Machine Learning Studio (klasszikus) erőforrás-frissítési tevékenység
    • Machine Learning pipeline végrehajtási tevékenység
    • Tárolt eljárási tevékenység
    • Érvényesítési tevékenység
    • Webes tevékenység

Megjegyzés

Saját üzemeltetésű integrációs modullal támogathatja a saját illesztőprogramot igénylő adattárakat, például az SAP Hana, a MySQL stb. További információ: támogatott adattárak.

Megjegyzés

A Java Runtime Environment (JRE) a saját üzemeltetésű integrációs modul függősége. Győződjön meg arról, hogy a JRE telepítve van ugyanazon a gazdagépen.

Saját üzemeltetésű integrációs modul hálózati környezete

Ha olyan magánhálózati környezetben szeretné biztonságosan végrehajtani az adatintegrációt, amely nem rendelkezik közvetlen látóvonallal a nyilvános felhőkörnyezetből, telepítheti a saját üzemeltetésű integrációs modult a helyszíni környezetben tűzfal mögött vagy egy virtuális magánhálózaton belül. A helyi integrációs modul csak kimenő HTTP-alapú kapcsolatokat hoz létre az internettel.

Saját üzemeltetésű IR számítási erőforrás és skálázás

Telepítsen egy saját üzemeltetésű integrációs modult egy helyszíni gépre vagy egy magánhálózaton belüli virtuális gépre. A saját üzemeltetésű integrációs modul jelenleg csak Windows operációs rendszeren támogatott. A magas rendelkezésre állás és a méretezhetőség érdekében felskálázhatja az önállóan működtetett integrációs környezetet, ha a logikai példányt több helyszíni géppel aktív-aktív módban kapcsolja össze. További információt a saját üzemeltetésű integrációs modul létrehozásáról és konfigurálásáról szóló cikkben talál.

Azure-SSIS integrációs futásidejű környezet

A meglévő SSIS munkaterhelés átemeléséhez létrehozhat egy Azure-SSIS integrációs modult az SSIS-csomagok natív végrehajtásához.

Azure-SSIS IR hálózati környezete

Az Azure-SSIS integrációs futtatási környezet nyilvános hálózaton vagy magánhálózaton is kiépíthető. A helyszíni adathozzáférést az Azure-SSIS IR virtuális hálózathoz való csatlakoztatása támogatja, amely csatlakozik a helyszíni hálózathoz.

Azure-SSIS integrációs futtatókörnyezet számítási erőforrásai és skálázása

Az Azure-SSIS IR egy teljes körűen felügyelt fürt dedikált Azure-beli virtuális gépekből, amely az SSIS-csomagok futtatására szolgál. Saját Azure SQL Database-adatbázist vagy felügyelt SQL-példányt is használhat az SSIS-projektek/csomagok katalógusához (SSISDB). A számítási teljesítmény vertikális felskálázásához adjon meg egy csomópontméretet, és skálázza fel horizontálisan a fürt csomópontszámának megadásával. Az Azure-SSIS integrációs modul futtatásának költségeit a követelményeknek megfelelően leállíthatja és elindíthatja.

További információ: Az Azure-SSIS integrációs modul létrehozása és konfigurálása. A létrehozás után a meglévő SSIS-csomagokat minimális módosításokkal telepítheti és kezelheti a már ismert eszközökkel, mint például az SQL Server Data Tools (SSDT) és az SQL Server Management Studio (SSMS), ahogy azt a helyszíni SSIS esetében is megtehetné.

Az Azure-SSIS futtatókörnyezetről az alábbi cikkekben talál további információt:

  • Oktatóanyag: SSIS-csomagok üzembe helyezése az Azure-ban. Ez a cikk részletes útmutatást nyújt egy Azure-SSIS integrációs modul létrehozásához, és egy Azure SQL Database használatával üzemelteti az SSIS-katalógust.
  • Útmutató: Azure-SSIS integrációs modul létrehozása. Ez a cikk kiterjeszti az oktatóanyagot, és útmutatást nyújt a felügyelt SQL-példány használatáról és az integrációs modul virtuális hálózathoz való csatlakoztatásáról.
  • Azure-SSIS IR monitorozása. Ez a cikk bemutatja, hogyan kérdezhet le információkat az Azure-SSIS integrációs modulról, és ismerteti az állapotokat a visszaadott információkban.
  • Azure-SSIS IR kezelése. Ez a cikk bemutatja, hogyan lehet leállítani, elindítani vagy eltávolítani egy Azure-SSIS integrációs modult. Azt is bemutathatja, hogyan skálázhatja fel horizontálisan az Azure-SSIS integrációs modult úgy, hogy további csomópontokat ad hozzá.
  • Azure-SSIS integrációs futtatókörnyezet csatlakoztatása virtuális hálózathoz. Ez a cikk egy Azure-SSIS integrációs modul Azure virtuális hálózathoz való csatlakoztatásával kapcsolatos elméleti információkat tartalmaz. Emellett lépéseket is tartalmaz, hogy az Azure Portal használatával konfiguráljon egy virtuális hálózatot, és csatlakozzon hozzá egy Azure-SSIS integrációs modulhoz.

Az integrációs futtatókörnyezet helye

Kapcsolat a gyári hely és az integrációs modul helye között

A Data Factory vagy a Synapse-munkaterület egy példányának létrehozásakor meg kell adnia a helyét. A példány metaadatait itt tárolja a rendszer, és innen indítja el a folyamat aktiválását. A metaadatok csak a kiválasztott régióban vannak tárolva, és nem más régiókban vannak tárolva.

Eközben a folyamatok hozzáférhetnek más Azure-régiók adattáraihoz és számítási szolgáltatásaihoz, hogy adatokat helyezzenek át az adattárak között, vagy számítási szolgáltatások használatával dolgozzák fel az adatokat. Ez a viselkedés az adatok megfelelősége, a hatékonyság és a hálózati kimeneti forgalmának alacsonyabb költségei érdekében a globálisan elérhető integrációs modulon keresztül valósul meg.

Az integrációs modul helye határozza meg a háttérbeli számítás helyét, valamint azt, hogy hol történik az adatáthelyezés, a tevékenységküldés és az SSIS-csomag végrehajtása. Az Integrációs futtatókörnyezet helye eltérhet annak a Data Factorynek a helyétől, amelyhez tartozik.

Azure IR helye

Beállíthatja egy Azure IR helyrégióját, amely esetben a tevékenység végrehajtása vagy elküldése a kiválasztott régióban történik.

Az alapértelmezett beállítás az Azure IR automatikus feloldása a nyilvános hálózaton. Ezzel a beállítással:

  • Másolási tevékenység esetén a rendszer megpróbálja automatikusan észlelni a fogadó adattár helyét, majd használja az IR-t ugyanabban a régióban, ha van ilyen, vagy a legközelebbit ugyanabban a földrajzi helyen, ha nem elérhető; ha a fogadó adattár régiója nem észlelhető, a rendszer a példány régiójában található IR-t használja.

    Például egy Data Factory vagy Synapse-munkaterület jött létre az USA keleti régiójában,

    • Amikor adatokat másol az USA nyugati régiójában található Azure Blobba, ha a blob az USA nyugati régiójában található, a másolási tevékenység az USA nyugati régiójában található integrációs modulon lesz végrehajtva; ha a régióészlelés sikertelen, a másolási tevékenység az USA keleti régiójában az integrációs modulon lesz végrehajtva.
    • Amikor adatokat másol a Salesforce-ba, amely esetében a régió nem észlelhető, a másolási tevékenység az USA keleti régiójában található integrációs modulon lesz végrehajtva.

    Tipp.

    Ha szigorú adatmegfelelőségi követelményekkel rendelkezik, és meg kell győződnie arról, hogy az adatok nem hagynak el egy adott földrajzi helyet, explicit módon létrehozhat egy Azure IR-t egy adott régióban, és a ConnectVia tulajdonság használatával erre az integrációs modulra irányíthatja a társított szolgáltatást. Ha például az Egyesült Királyság déli régiójában lévő blobból szeretne adatokat átmásolni egy Azure Synapse-munkaterületre az Egyesült Királyság déli régiójában, és meg szeretné győződni arról, hogy az adatok nem hagyják el az Egyesült Királyságot, hozzon létre egy Azure IR-t az Egyesült Királyság déli régiójában, és csatolja mindkét társított szolgáltatást ehhez az integrációs modulhoz.

  • A Keresés/GetMetadata/Delete tevékenység-végrehajtása (folyamattevékenységek), az átalakítási tevékenységek feldolgozása (külső tevékenységek) és a szerkesztési műveletek (például tesztkapcsolat, mappalisták és táblázatlisták tallózása, valamint adatböngészés) esetében a Data Factoryvel vagy a Synapse-munkaterülettel azonos régióban található integrációs futtatókörnyezetet (IR) használja a rendszer.

  • Az Adatfolyam esetében a Data Factory vagy a Synapse Workspace régióban lévő integrációs modul kerül használatra.

    Tipp.

    Ajánlott eljárás annak biztosítása, hogy az adatfolyamok a megfelelő adattárakkal azonos régióban fussanak, ha lehetséges. Ezt az Azure IR automatikus megoldásával érheti el (ha az adattár helye megegyezik a Data Factory vagy a Synapse-munkaterület helyével), vagy létrehozhat egy új Azure IR-példányt az adattárakkal azonos régióban, majd végrehajthatja rajta az adatfolyamokat.

Ha engedélyezi a felügyelt virtuális hálózatot automatikus feloldással az Azure IR számára, akkor a Data Factory vagy a Synapse Workspace régióban található integrációs modul kerül használatra.

Megfigyelheti, hogy mely IR hely lép érvénybe a tevékenység végrehajtása során a csővezeték-tevékenység figyelési nézetében a Data Factory Studióban vagy a Synapse Studióban, illetve a tevékenységfigyelési hasznos adatok nézetben.

A helyileg telepített IR helye

A saját üzemeltetésű integrációs modul logikailag regisztrálva van a Data Factoryben vagy a Synapse-munkaterületen, és a funkciók támogatásához használt számítást Ön biztosítja. Ezért nincs explicit helymeghatározási tulajdonság a saját üzemeltetésű IR-hez.

Ha adatmozgásra használja, a saját üzemeltetésű integrációs modul kinyeri az adatokat a forrásból, és a célhelyre írja azokat.

Az Azure-SSIS integrációs futtatókörnyezet helye

Megjegyzés

Az Azure-SSIS integrációs futtatókörnyezetek jelenleg nem támogatottak a Synapse-folyamatokban.

Az Azure-SSIS IR számára a megfelelő hely kiválasztása létfontosságú az ETL folyamatokban a magas teljesítmény eléréséhez.

  • Az Azure-SSIS integrációs modul helyének nem kell megegyeznie a Data Factory helyével, de meg kell egyeznie a saját Azure SQL Database vagy felügyelt SQL-példány helyével, ahol az SSISDB található. Így az Azure-SSIS integrációs modul egyszerűen elérheti az SSISDB-t anélkül, hogy túlzott forgalmat bonyolítanak a különböző helyek között.
  • Ha nem rendelkezik meglévő SQL Database-adatbázissal vagy felügyelt SQL-példánysal, de helyszíni adatforrásokkal/célhelyekkel rendelkezik, hozzon létre egy új Azure SQL Database-adatbázist vagy felügyelt SQL-példányt a helyszíni hálózathoz csatlakoztatott virtuális hálózat ugyanazon helyén. Így létrehozhatja az Azure-SSIS integrációs modult az új Azure SQL Database vagy a felügyelt SQL-példány használatával, és csatlakozhat a virtuális hálózathoz. Minden ugyanazon a helyen található, minimalizálva az adatáthelyezést és a kapcsolódó költségeket, miközben maximalizálja a teljesítményt.
  • Ha a meglévő Azure SQL Database vagy a felügyelt SQL-példány helye nem azonos a helyszíni hálózathoz csatlakoztatott virtuális hálózat helyével, először hozza létre az Azure-SSIS integrációs modult egy meglévő Azure SQL Database vagy felügyelt SQL-példány használatával, és csatlakozzon egy másik virtuális hálózathoz ugyanazon a helyen. Ezután konfiguráljon egy virtuális hálózatot a különböző helyek közötti virtuális hálózati kapcsolathoz.

Az alábbi ábra a Data Factory és az integrációs futtatókörnyezetek helybeállításait mutatja be:

A Data Factory integrációs futtatókörnyezet helyeit mutatja.

Az infravörös (IR) modul kiválasztása

Ha egy tevékenység egynél több integrációs futásidejű környezethez van társítva, az egyiket választja ki ezek közül. A saját üzemeltetésű integrációs modul elsőbbséget élvez az Azure Data Factory vagy a Synapse Workspace-példányok Azure-integrációs moduljaival szemben, felügyelt virtuális hálózatot használva. Ez utóbbi elsőbbséget élvez a globális Azure integrációs környezettel szemben.

Egy másolási művelet például arra szolgál, hogy adatokat másoljon a forrásból a célhelyre. A globális Azure-integrációs futtatókörnyezet a forráshoz társított szolgáltatáshoz van társítva, és egy Azure Data Factory által felügyelt virtuális hálózat azure-integrációs modulja társítva van a fogadó társított szolgáltatásával, majd az eredmény az, hogy a forrás- és fogadó társított szolgáltatások az Azure-integrációs modult használják az Azure Data Factory által felügyelt virtuális hálózaton. Ha azonban egy saját üzemeltetésű integrációs modul a forrás társított szolgáltatásához van társítva, akkor a forrás- és fogadóalapú társított szolgáltatás is a saját üzemeltetésű integrációs modult használja.

Copy tevékenység

A Copy tevékenységhez szükséges, hogy mind a forráshoz, mind a fogadóhoz társított szolgáltatások meghatározzák az adatfolyam irányát. A rendszer az alábbi logikával határozza meg, melyik integrációsmodell-példányt használja a másolás végrehajtásához:

  • Másolás két felhőbeli adatforrás között: ha a forráshoz és a fogadóhoz társított szolgáltatások is az Azure IR-t használják, akkor a rendszer a regionális Azure IR-t használja, ha meg lett adva, vagy ha az Automatikus integrációs modul (alapértelmezett) beállítást választotta az Integrációs modul helyének szakaszában leírtak szerint.
  • Másolás egy felhőbeli adatforrás és egy magánhálózat adatforrása között: ha a forrás vagy fogadó társított szolgáltatás egy saját üzemeltetésű integrációs modulra mutat, a másolási tevékenység a saját üzemeltetésű integrációs modulon lesz végrehajtva.
  • Adatforrások másolása egy magánhálózaton belül: mind a forrás-, mind a fogadó összekapcsolt szolgáltatásnak az integrációs futtatókörnyezet ugyanarra a példányára kell mutatnia, és ezt a futtatókörnyezetet használják a másolási művelet végrehajtására.

Keresési és metaadat-beolvasási tevékenység

A keresési és metaadat-beolvasási tevékenységet a rendszer az adattár társított szolgáltatásához rendelt integrációs modulon hajtja végre.

Külső átalakítási tevékenység

A külső számítási motort használó minden külső átalakítási tevékenység rendelkezik egy cél számítási kapcsolatszolgáltatással, amely egy integrációs futtatókörnyezetre mutat. Ez az IR példány határozza meg azt a helyet, ahonnan a külső, kézzel kódolt átalakítási tevékenységet indítják.

Adatfolyam tevékenység

Adatfolyam tevékenységek a társított Azure-integrációs futtatókörnyezetben lesznek végrehajtva. Az Azure IR adatfolyam-tulajdonságai határozzák meg a felhasznált Spark-számítást, és a szolgáltatás teljes mértékben felügyeli.

Integrációs futtatókörnyezet a CI/CD-ben

Az integrációs futtatókörnyezetek nem változnak gyakran, és minden szakaszban hasonlóak a CI/CD folyamat során. A Data Factory megköveteli, hogy a CI/CD minden szakaszában ugyanazzal a névvel és típussal rendelkező integrációs modult használjon. Ha minden fázisban meg szeretné osztani az integrációs futtatókörnyezeteket, fontolja meg egy dedikált gyár használatát csak a megosztott integrációs futtatókörnyezetek használatához. Ezt a megosztott gyárat ezután az összes környezetben használhatja csatolt integrációs modultípusként.

Kapcsolódó tartalom

Tekintse meg az alábbi cikkeket:

  • Last updated on