Integratie-runtime in Azure Data Factory

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

Tip

Data Factory in Microsoft Fabric is de volgende generatie van Azure Data Factory, met een eenvoudigere architectuur, ingebouwde AI en nieuwe functies. Als u nieuw bent met gegevensintegratie, begin dan met Fabric Data Factory. Bestaande ADF-workloads kunnen upgraden naar Fabric om toegang te krijgen tot nieuwe mogelijkheden voor gegevenswetenschap, realtime analyses en rapportage.

De integratieruntime (IR) is de rekeninfrastructuur die wordt gebruikt door Azure Data Factory en Azure Synapse pijplijnen om de volgende data-integratiemogelijkheden te bieden over verschillende netwerkomgevingen:

  • Gegevensstroom: Voer een Gegevensstroom uit in een beheerde Azure-rekenomgeving.
  • Gegevensverplaatsing: Gegevens kopiëren tussen gegevensarchieven in een openbaar of particulier netwerk (voor zowel on-premises als virtuele particuliere netwerken). De service biedt ondersteuning voor ingebouwde connectors, indelingsconversie, kolomtoewijzing en effectieve en schaalbare gegevensoverdracht.
  • Activiteitsverzending: verzend en bewaak transformatieactiviteiten die worden uitgevoerd op verschillende rekenservices, zoals Azure Databricks, Azure HDInsight, ML Studio (klassiek), Azure SQL Database, SQL Server en meer.
  • SSIS-pakketuitvoering: systeemeigen SSIS-pakketten (SQL Server Integration Services) uitvoeren in een beheerde Azure-rekenomgeving.

In Data Factory- en Synapse-pijplijnen definieert een activiteit de actie die moet worden uitgevoerd. Een gekoppelde service definieert een doelgegevensarchief of een rekenservice. Een integratieruntime biedt de brug tussen activiteiten en gekoppelde services. De gekoppelde service of activiteit verwijst naar en biedt de rekenomgeving waarin de activiteit rechtstreeks wordt uitgevoerd of verzonden. Met deze koppeling kan de activiteit worden uitgevoerd in de dichtstbijzijnde mogelijke regio naar het doelgegevensarchief of de rekenservice om de prestaties te maximaliseren en tegelijkertijd flexibiliteit te bieden om te voldoen aan beveiligings- en nalevingsvereisten.

Integratieruntimes kunnen rechtstreeks worden gemaakt in de Azure Data Factory en Azure Synapse UI via de beheerhub, en vanuit activiteiten, gegevenssets of gegevensstromen die ernaar verwijzen.

Integration Runtime-typen

Data Factory biedt drie soorten integratieruntime (IR), en je moet het type kiezen dat het beste aansluit bij jouw dataintegratiemogelijkheden en netwerkomgevingsvereisten. De drie typen IR zijn:

  • Azure
  • Zelfgehost
  • Azure-SSIS

Notitie

Synapse pijplijnen ondersteunen momenteel alleen Azure- of zelfgehoste integratie runtimes.

De volgende tabel beschrijft de mogelijkheden en de netwerkondersteuning voor de drie typen Integration Runtime:

IR-type Ondersteuning voor openbare netwerken Ondersteuning voor Private Link
Azure Gegevensstroom
Gegevensverplaatsing
Verzending van de activiteit		 Gegevensstroom
Gegevensverplaatsing
Verzending van de activiteit
Zelfgehost Gegevensverplaatsing
Verzending van de activiteit		 Gegevensverplaatsing
Verzending van de activiteit
Azure-SSIS Uitvoering van SSIS-pakket Uitvoering van SSIS-pakket

Notitie

Uitgaande regels variëren afhankelijk van de service voor Azure IR. In Synapse hebben werkruimtes opties om uitgaand verkeer van het beheerde virtuele netwerk te beperken wanneer je Azure IR gebruikt. In Data Factory worden alle poorten geopend voor uitgaande communicatie wanneer je Azure IR gebruikt. Azure-SSIS IR kan worden geïntegreerd met uw virtuele netwerk om uitgaande communicatiebesturingselementen te bieden.

Azure-integratieruntime

Een Azure Integration Runtime kan het volgende doen:

  • Gegevensstromen uitvoeren in Azure
  • Kopieeractiviteiten uitvoeren tussen cloudgegevensarchieven
  • Verzend de volgende transformatieactiviteiten in een openbaar netwerk:
    • .NET aangepaste activiteit
    • Azure Function-activiteit
    • Databricks Notebook/Jar/Python-activiteit
    • Metagegevens ophalen-activiteit
    • HDInsight Hive-activiteit
    • HDInsight Pig-activiteit
    • HDInsight MapReduce-activiteit
    • HDInsight Spark-activiteit
    • HDInsight Streaming-activiteit
    • Opzoekactiviteit
    • Machine Learning Studio (klassiek) Batch Execution-activiteit
    • Machine Learning Studio (klassiek) Resource-activiteit bijwerken
    • Activiteit voor opgeslagen procedures
    • Validatieactiviteit
    • Webactiviteit

Azure IR-netwerkomgeving

Azure Integration Runtime ondersteunt verbinding met datastores en computeservices met publiek toegankelijke eindpunten. Wanneer je Managed Virtual Network inschakelt, ondersteunt Azure Integration Runtime het verbinden met datastores via Private Link in een privénetwerkomgeving. In Synapse hebben werkruimten opties om uitgaand verkeer van het beheerde virtuele netwerk met IR te beperken. In Data Factory worden alle poorten geopend voor uitgaande communicatie. De Azure-SSIS IR kan worden geïntegreerd met uw virtuele netwerk om uitgaande communicatiebesturingselementen te bieden.

Azure IR-rekenresource en -schalen

Azure Integration Runtime biedt een volledig beheerde, serverloze rekenresource in Azure. U hoeft zich geen zorgen te maken over het inrichten van infrastructuur, software-installatie, patches of het schalen van capaciteit. Daarnaast betaal je alleen voor wat je gebruikt.

Azure Integration Runtime biedt de systeemeigen rekenkracht om gegevens te verplaatsen tussen gegevensarchieven in de cloud op een veilige, betrouwbare en krachtige manier. Je kunt instellen hoeveel data-integratie-eenheden je gebruikt tijdens de kopieeractiviteit, en de rekenkracht van de Azure IR wordt elastisch opgeschaald zonder dat je expliciet de grootte van de Azure-integratieruntime hoeft aan te passen.

Activity dispatch is een lichtgewicht operatie om de activiteit naar de doel-computeservice te routeren, dus het is niet nodig om de compute size voor dit scenario op te schalen.

Zie Azure Integration Runtime maken en configureren voor meer informatie over het maken en configureren van een Azure IR.

Notitie

Azure integratieruntime heeft eigenschappen die verband houden met Gegevensstroom runtime, die de onderliggende rekeninfrastructuur definieert die wordt gebruikt om de datastromen uit te voeren.

Zelf-gehoste Integration Runtime

Een zelf-gehoste IR is in staat tot:

  • Kopieeractiviteit uitvoeren tussen een cloud-datastore en een datastore in een privénetwerk.
  • Voer de volgende transformatieactiviteiten uit op rekenbronnen in on-premises omgevingen of het Azure Virtual Network.
    • Azure Function-activiteit
    • Aangepaste activiteit (wordt uitgevoerd op Azure Batch)
    • Metagegevens ophalen-activiteit
    • HDInsight Hive-activiteit (BYOC - Bring Your Own Cluster)
    • HDInsight Pig-activiteit (BYOC)
    • HDInsight MapReduce-activiteit (BYOC)
    • HDInsight Spark-activiteit (BYOC)
    • HDInsight Streaming-activiteit (BYOC)
    • Opzoekactiviteit
    • Machine Learning Studio (klassiek) Batch Execution-activiteit
    • Machine Learning Studio (klassiek) Resource-activiteit bijwerken
    • Machine Learning-pijplijnactiviteit uitvoeren
    • Activiteit voor opgeslagen procedures
    • Validatieactiviteit
    • Webactiviteit

Notitie

Gebruik zelf-gehoste integratieruntime om datastores te ondersteunen die een bring-your-own driver vereisen, zoals SAP HANA en MySQL. Voor meer informatie, zie ondersteunde datastores.

Notitie

De Java Runtime Environment (JRE) is een afhankelijkheid van de zelfgehoste IR. Zorg ervoor dat de JRE op dezelfde host is geïnstalleerd.

Zelf-hostende IR-netwerkomgeving

Als u gegevensintegratie veilig wilt uitvoeren in een privénetwerkomgeving die geen directe line-of-sight heeft van de openbare cloudomgeving, kunt u een zelf-hostende IR installeren in uw on-premises omgeving achter een firewall of in een virtueel particulier netwerk. De zelf-gehoste integratieruntime maakt alleen uitgaande verbindingen op basis van HTTP met internet.

Zelf-gehoste IR-rekenkracht en schaalbaarheid

Installeer een zelf-hostende IR op een on-premises machine of een virtuele machine in een particulier netwerk. Momenteel wordt de zelf-hostende IR alleen ondersteund op een Windows-besturingssysteem. Voor hoge beschikbaarheid en schaalbaarheid kunt u de zelf-hostende IR uitbreiden door het logische exemplaar te koppelen aan meerdere on-premises computers in de modus actief-actief. Zie het artikel over het maken en configureren van een zelf-gehoste IR voor meer informatie.

Azure-SSIS Integration Runtime

Als u de bestaande SSIS-werkbelasting wilt opheffen of verplaatsen, kunt u een Azure-SSIS IR maken voor het uitvoeren van systeemeigen SSIS-pakketten.

Azure-SSIS IR-netwerkomgeving

De Azure-SSIS IR kan worden ingericht in een openbaar netwerk of een particulier netwerk. On-premises gegevenstoegang wordt ondersteund door Azure-SSIS IR te koppelen aan een virtueel netwerk dat is verbonden met uw on-premises netwerk.

Azure-SSIS-IR-rekenfaciliteit en schaalopties

De Azure-SSIS IR is een volledig beheerd cluster van Virtuele Azure-machines die zijn toegewezen om uw SSIS-pakketten uit te voeren. U kunt uw eigen Azure SQL Database of SQL Managed Instance gebruiken voor de catalogus met SSIS-projecten/pakketten (SSISDB). U kunt de rekenkracht vergroten door de grootte van het knooppunt op te geven en uitbreiden door het aantal knooppunten in het cluster aan te geven. Je kunt de kosten van het draaien van je Azure-SSIS integratieruntime beheren door deze te stoppen en te starten zoals je dat vereist.

Zie De Azure-SSIS IR maken en configureren voor meer informatie. Zodra u deze hebt gemaakt, kunt u uw bestaande SSIS-pakketten implementeren en beheren met weinig tot geen wijzigingen met behulp van vertrouwde hulpprogramma's zoals SQL Server Data Tools (SSDT) en SQL Server Management Studio (SSMS), net zoals bij het gebruik van SSIS on-premises.

Zie de volgende artikelen voor meer informatie over de Azure-SSIS-runtime:

  • Zelfstudie: SSIS-pakketten implementeren in Azure. In dit artikel vindt u stapsgewijze instructies voor het maken van een Azure-SSIS IR en het gebruik van een Azure SQL Database voor het hosten van de SSIS-catalogus.
  • Procedure: Een Azure SSIS Integration Runtime maken. Dit artikel breidt de zelfstudie uit en bevat instructies voor het gebruik van SQL Managed Instance en het toevoegen van de IR aan een virtueel netwerk.
  • Een Azure-SSIS IR monitoren. In dit artikel leest u hoe u informatie over een Azure-SSIS IR ophaalt en beschrijvingen geeft van statussen in de geretourneerde informatie.
  • Een Azure-SSIS IR beheren. In dit artikel leest u hoe u een Azure-SSIS IR stopt, start of verwijdert. Er wordt ook uitgelegd hoe u een Azure-SSIS IR kunt uitschalen door meer knooppunten toe te voegen aan de IR.
  • Een Azure-SSIS-IR toevoegen aan een virtueel netwerk. Dit artikel bevat algemene informatie over het toevoegen van een Azure-SSIS IR aan een virtueel netwerk van Azure. Het biedt ook stappen voor het gebruik van Azure Portal om een virtueel netwerk te configureren en een Azure-SSIS IR eraan toe te voegen.

Locatie van Integration Runtime

Relatie tussen fabriekslocatie en IR-locatie

Wanneer je een instantie van Data Factory of een Synapse-werkruimte aanmaakt, moet je de locatie ervan specificeren. De metagegevens voor het exemplaar worden hier opgeslagen en het activeren van de pijplijn wordt hier gestart. Metagegevens worden alleen opgeslagen in de gekozen regio en worden niet opgeslagen in andere regio's.

Ondertussen heeft een pijplijn toegang tot gegevensarchieven en rekenservices in andere Azure-regio's om gegevens te verplaatsen tussen gegevensarchieven of gegevens te verwerken met behulp van rekenservices. Dit gedrag wordt gerealiseerd via de IR die algemeen beschikbaar is om de gegevensnaleving, efficiëntie en verminderde kosten voor uitgaand netwerkverkeer te realiseren.

De IR-locatie definieert de locatie van zijn back-end compute, en waar de gegevensbeweging, activiteitsdispatching en SSIS-pakketuitvoering worden uitgevoerd. De IR-locatie kan afwijken van de locatie van de Data Factory waartoe deze behoort.

Locatie van Azure IR

U kunt de locatieregio van een Azure IR instellen. In dat geval vindt de uitvoering of verzending van de activiteit plaats in de geselecteerde regio.

De standaardinstelling is om de Azure IR in het openbare netwerk automatisch te herstellen. Met deze optie:

  • Voor de kopieeractiviteit wordt er een maximale inspanning geleverd om automatisch de locatie van uw doeldatastore te detecteren en vervolgens de IR in dezelfde regio te gebruiken, indien beschikbaar, of anders de dichtstbijzijnde in dezelfde geografie; als de regio van het doeldatastore niet kan worden gedetecteerd, wordt de IR in de regio van het exemplaar gebruikt.

    Bijvoorbeeld, er werd een Data Factory- of Synapse-werkruimte gemaakt in East US,

    • Wanneer u gegevens kopieert naar een Azure Blob in VS - west, als de blob wordt gedetecteerd in de regio VS - west, wordt de kopieeractiviteit uitgevoerd op de IR in VS - west; als de regiodetectie mislukt, wordt de kopieeractiviteit uitgevoerd op de IR in VS - oost.
    • Wanneer u gegevens kopieert naar Salesforce, waarvoor de regio niet kan worden gedetecteerd, wordt de kopieeractiviteit uitgevoerd op de IR in VS - oost.

    Tip

    Als je strikte eisen aan gegevenscompliance hebt en ervoor wilt zorgen dat data een bepaald gebied niet verlaat, kun je expliciet een Azure IR aanmaken in een bepaalde regio en de gekoppelde dienst naar deze IR sturen via de ConnectVia-eigenschap. Als je bijvoorbeeld data wilt kopiëren van een blob in UK South naar een Azure Synapse-werkruimte in UK South en wilt garanderen dat data het VK niet verlaat, maak dan een Azure IR aan in UK South en koppel beide gekoppelde diensten aan deze IR.

  • Voor het uitvoeren van Lookup/GetMetadata/Delete-activiteiten (Pipeline-activiteiten), het dispatchen van transformatieactiviteiten (externe activiteiten) en het authoring-operaties (testverbinding, doorzoeken van mappenlijsten en tabellijsten, en previewgegevens) wordt de IR in hetzelfde gebied als de Data Factory- of Synapse-werkruimte gebruikt.

  • Voor Gegevensstroom wordt de IR in de Data Factory- of Synapse-werkruimteregio gebruikt.

    Tip

    Een best practice is om ervoor te zorgen dat gegevensstromen worden uitgevoerd in dezelfde regio als uw bijbehorende gegevensarchieven, indien mogelijk. Je kunt dit doen met autoresolve voor de Azure IR (als de locatie van de datawinkel hetzelfde is als die van de Data Factory of Synapse werkruimte), of door een nieuwe Azure IR-instantie aan te maken in dezelfde regio als je datastores en vervolgens de datastromen daarop uit te voeren.

Als je Managed Virtual Network met autoresolve inschakelt voor de Azure IR, wordt de IR in de Data Factory- of Synapse-werkruimteregio gebruikt.

U kunt controleren welke IR-locatie wordt gebruikt tijdens de uitvoering van de activiteit in de bewakingsweergave van pijplijnactiviteiten in Data Factory Studio of Synapse Studio, of in de bewakingspayload.

Locatie van zelfgehoste IR

De zelfgehoste IR is logisch geregistreerd bij de Data Factory- of Synapse-werkruimte, en je levert de rekenkracht die gebruikt wordt om de functionaliteiten te ondersteunen. Daarom is er geen expliciete locatie-eigenschap voor zelf-hostende IR.

Wanneer de zelf-gehoste IR wordt gebruikt om gegevensverplaatsing uit te voeren, haalt deze gegevens uit de bron en schrijft deze naar de bestemming.

Locatie Azure-SSIS IR

Notitie

Azure-SSIS Integration Runtimes worden momenteel niet ondersteund in Synapse-pijplijnen.

Het selecteren van de juiste locatie voor uw Azure-SSIS IR is essentieel voor het bereiken van hoge prestaties in uw ETL-werkstromen (extract-transform-load).

  • De locatie van uw Azure-SSIS IR hoeft niet hetzelfde te zijn als de locatie van uw Data Factory, maar moet hetzelfde zijn als de locatie van uw eigen Azure SQL Database of SQL Managed Instance waar SSISDB zich bevindt. Op deze manier kan je Azure-SSIS integratieruntime gemakkelijk toegang krijgen tot de SSISDB zonder overmatig verkeer tussen verschillende locaties.
  • Als u geen bestaande SQL Database of SQL Managed Instance hebt, maar on-premises gegevensbronnen/bestemmingen hebt, moet u een nieuwe Azure SQL Database of SQL Managed Instance maken op dezelfde locatie als een virtueel netwerk dat is verbonden met uw on-premises netwerk. Op deze manier kunt u uw Azure-SSIS IR maken met behulp van de nieuwe Azure SQL Database of SQL Managed Instance en dat virtuele netwerk koppelen. Alles bevindt zich op dezelfde locatie, waardoor gegevensverplaatsing en bijbehorende kosten worden geminimaliseerd, terwijl de prestaties worden gemaximaliseerd.
  • Als de locatie van je bestaande Azure SQL Database of SQL Managed Instance niet dezelfde is als de locatie van een virtueel netwerk dat verbonden is met je on-premises netwerk, maak dan eerst je Azure-SSIS IR aan met een bestaande Azure SQL Database of SQL Managed Instance en sluit je aan bij een ander virtueel netwerk op dezelfde locatie. Configureer vervolgens een virtueel netwerk naar een virtuele netwerkverbinding tussen de verschillende locaties.

Het volgende diagram toont de locatie-instellingen voor Data Factory en de integratieruntimes ervan.

Diagram dat de locatie-instellingen voor Data Factory en de integratieruntimes toont.

Bepalen welke IR u moet gebruiken

Als een activiteit wordt gekoppeld aan meer dan één type Integration Runtime, wordt deze omgezet in een van deze. De zelfgehoste integratieruntime gaat voor de Azure-integratieruntime in Azure Data Factory- of Synapse-werkruimteinstanties die een beheerd virtueel netwerk gebruiken. En de laatste heeft voorrang op de globale Azure Integration Runtime.

Er wordt bijvoorbeeld één kopieeractiviteit gebruikt om gegevens van de bron naar de sink te kopiëren. De globale Azure Integration Runtime is gekoppeld aan de gekoppelde service voor de bron, en een Azure Integration Runtime in een beheerd virtueel netwerk van Azure Data Factory is gekoppeld aan de gekoppelde service voor de sink. Het resultaat is dat zowel de gekoppelde bron- als de gekoppelde sinkservices de Azure Integration Runtime in het beheerde virtuele netwerk van Azure Data Factory gebruiken. Maar als een zelf-hostende Integration Runtime is gekoppeld aan de gekoppelde service voor de bron, gebruiken zowel de bron- als sink-gekoppelde service de zelf-hostende Integration Runtime.

Kopieeractiviteit

Voor de Copy-activiteit zijn gekoppelde bron- en sinkservices vereist om de richting van de gegevensstroom te definiëren. De volgende logica wordt gebruikt om te bepalen welk exemplaar van Integration Runtime wordt gebruikt voor het uitvoeren van de kopieeractiviteit:

  • Kopiëren tussen twee cloudgegevensbronnen: als zowel gekoppelde bron- als sinkservices Gebruikmaken van Azure IR, wordt de regionale Azure IR gebruikt als deze is opgegeven of wordt de locatie van de Azure IR automatisch bepaald als de optie voor automatisch opnieuw verlaten IR (standaard) is gekozen, zoals beschreven in de sectie Integration Runtime-locatie .
  • Kopiëren tussen een cloudgegevensbron en een gegevensbron in een privénetwerk: als de gekoppelde bron- of sinkservice verwijst naar een zelf-hostende IR, wordt de kopieeractiviteit uitgevoerd op de zelf-hostende IR.
  • Kopiëren tussen twee gegevensbronnen in een particulier netwerk: zowel de gekoppelde bron- als sinkservice moet verwijzen naar hetzelfde exemplaar van de integratieruntime en die IR wordt gebruikt om de kopieeractiviteit uit te voeren.

Lookup- en GetMetadata-activiteit

De activiteiten Lookup en GetMetadata worden uitgevoerd op de integratieruntime die is geassocieerd met de service die aan de gegevensopslag is gekoppeld.

Externe transformatieactiviteit

Elke externe transformatie-activiteit die een externe compute-engine gebruikt, heeft een doel-compute gekoppelde service, die wijst op een integratieruntime. Dit IR-exemplaar bepaalt de locatie vanaf waar die externe met de hand gecodeerde transformatieactiviteit wordt uitgevoerd.

Gegevensstroom activiteit

Gegevensstroom activiteiten worden uitgevoerd op de bijbehorende Azure Integration Runtime. De dataflow-eigenschappen in je Azure IR bepalen de gebruikte Spark-compute en worden volledig beheerd door de service.

Integratieruntime in CI/CD

Integratieruntimes veranderen niet vaak en zijn vergelijkbaar in alle fasen in uw CI/CD. Voor Data Factory moet u dezelfde naam en hetzelfde type integratie-runtime hebben in alle fasen van CI/CD. Als u integratieruntimes in alle fasen wilt delen, kunt u overwegen om een specifieke fabriek te gebruiken met als doel alleen de gedeelde integratieruntimes te bevatten. U kunt vervolgens deze gedeelde voorziening in al uw omgevingen gebruiken als een gekoppelde Integration Runtime.

Gerelateerde inhoud

Zie de volgende artikelen:

  • Last updated on