Beveiligingsoverwegingen voor gegevensverplaatsing in Azure Data Factory
VAN TOEPASSING OP:
Azure Data Factory Azure Synapse Analytics
Tip
Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .
In dit artikel wordt de basisbeveiligingsinfrastructuur beschreven die services voor gegevensverplaatsing in Azure Data Factory gebruiken om uw gegevens te beveiligen. Data Factory-beheerbronnen zijn gebaseerd op de Azure-beveiligingsinfrastructuur en maken gebruik van alle mogelijke beveiligingsmaatregelen die door Azure worden aangeboden.
In een Data Factory-oplossing maakt u een of meer gegevenspijplijnen. Een pijplijn is een logische groep activiteiten die samen een taak uitvoeren. Deze pijplijnen bevinden zich in de regio waar de data factory is gemaakt.
Hoewel Data Factory slechts in enkele regio's beschikbaar is, is de service voor gegevensverplaatsing wereldwijd beschikbaar om gegevenscompatibiliteit, efficiëntie en lagere kosten voor uitgaand netwerk te garanderen.
Azure Data Factory, waaronder Azure Integration Runtime en zelf-hostende Integration Runtime, slaat geen tijdelijke gegevens, cachegegevens of logboeken op, met uitzondering van gekoppelde servicereferenties voor cloudgegevensarchieven, die worden versleuteld met behulp van certificaten. Met Data Factory maakt u gegevensgestuurde werkstromen om het verplaatsen van gegevens tussen ondersteunde gegevensarchieven en de verwerking van gegevens te organiseren met behulp van rekenservices in andere regio's of in een on-premises omgeving. U kunt werkstromen ook bewaken en beheren met behulp van SDK's en Azure Monitor.
Data Factory is gecertificeerd voor:
| CSA STAR-certificering |
|---|
| ISO 20000-1:2011 |
| ISO 22301:2012 |
| ISO 27001:2013 |
| ISO 27017:2015 |
| ISO 27018:2014 |
| ISO 9001:2015 |
| SOC 1, 2, 3 |
| HIPAA BAA |
| HITRUST |
Als u geïnteresseerd bent in Azure-naleving en hoe Azure zijn eigen infrastructuur beveiligt, gaat u naar het Vertrouwenscentrum van Microsoft. Voor de meest recente lijst met alle Azure Compliance-aanbiedingen controleert u - https://aka.ms/AzureCompliance.
In dit artikel bekijken we beveiligingsoverwegingen in de volgende twee scenario's voor gegevensverplaatsing:
- Cloudscenario: In dit scenario zijn zowel uw bron als uw bestemming openbaar toegankelijk via internet. Dit zijn onder andere beheerde cloudopslagservices zoals Azure Storage, Azure Synapse Analytics, Azure SQL Database, Azure Data Lake Store, Amazon S3, Amazon Redshift, SaaS-services zoals Salesforce en webprotocollen zoals FTP en OData. Zoek een volledige lijst met ondersteunde gegevensbronnen in ondersteunde gegevensarchieven en -indelingen.
- Hybride scenario: In dit scenario bevindt uw bron of bestemming zich achter een firewall of in een on-premises bedrijfsnetwerk. Of het gegevensarchief bevindt zich in een particulier netwerk of virtueel netwerk (meestal de bron) en is niet openbaar toegankelijk. Databaseservers die worden gehost op virtuele machines vallen ook onder dit scenario.
Notitie
Het wordt aanbevolen de Azure Az PowerShell-module te gebruiken om te communiceren met Azure. Zie Azure PowerShell installeren om aan de slag te gaan. Raadpleeg Azure PowerShell migreren van AzureRM naar Az om te leren hoe u naar de Azure PowerShell-module migreert.
Cloudscenario's
Referenties voor gegevensarchief beveiligen
- Sla versleutelde referenties op in een door Azure Data Factory beheerd archief. Data Factory helpt uw referenties voor het gegevensarchief te beveiligen door ze te versleutelen met certificaten die worden beheerd door Microsoft. Deze certificaten worden elke twee jaar geroteerd (inclusief certificaatvernieuwing en de migratie van referenties). Zie het overzicht van Azure Storage-beveiliging voor meer informatie over Azure Storage-beveiliging.
- Sla referenties op in Azure Key Vault. U kunt ook de referenties van het gegevensarchief opslaan in Azure Key Vault. Data Factory haalt de referentie op tijdens de uitvoering van een activiteit. Zie Referenties opslaan in Azure Key Vault voor meer informatie.
Door de opslag van toepassingsgeheimen te centraliseren in Azure Key Vault kunt u de verdeling ervan bepalen. Key Vault vermindert de kans dat geheimen per ongeluk worden gelekt aanzienlijk. In plaats van de verbindingsreeks op te slaan in de code van de app, kunt u deze veilig bewaren in Key Vault. Met behulp van URI's hebben uw toepassingen veilig toegang tot de benodigde gegevens. Met deze URI's kunnen de toepassingen specifieke versies van een geheim ophalen. U hoeft geen aangepaste code te schrijven om de geheime gegevens te beveiligen die zijn opgeslagen in Key Vault.
Gegevensversleuteling tijdens overdracht
Als het cloudgegevensarchief HTTPS of TLS ondersteunt, worden alle gegevensoverdrachten tussen services voor gegevensverplaatsing in Data Factory en een cloudgegevensarchief via https of TLS van het beveiligde kanaal gebruikt.
Notitie
Alle verbindingen met Azure SQL Database en Azure Synapse Analytics vereisen versleuteling (SSL/TLS) terwijl gegevens worden overgedragen naar en van de database. Wanneer u een pijplijn ontwerpt met behulp van JSON, voegt u de versleutelingseigenschap toe en stelt u deze in op waar in de verbindingsreeks. Voor Azure Storage kunt u HTTPS gebruiken in de verbindingsreeks.
Notitie
Volg een van de onderstaande opties om versleuteling in te schakelen tijdens het verplaatsen van gegevens van Oracle:
- Ga in Oracle Server naar Oracle Advanced Security (OAS) en configureer de versleutelingsinstellingen, die ondersteuning biedt voor Triple-DES Encryption (3DES) en Advanced Encryption Standard (AES), vindt u hier voor meer informatie. ADF onderhandelt automatisch over de versleutelingsmethode voor het gebruik van de methode die u in OAS configureert bij het tot stand brengen van verbinding met Oracle.
- In ADF kunt u EncryptionMethod=1 toevoegen in de verbindingsreeks (in de gekoppelde service). Hiermee wordt SSL/TLS gebruikt als versleutelingsmethode. Als u dit wilt gebruiken, moet u niet-SSL-versleutelingsinstellingen uitschakelen in OAS aan de serverzijde van Oracle om versleutelingsconflicten te voorkomen.
Notitie
TLS-versie die wordt gebruikt, is 1.2.
Versleuteling van inactieve gegevens
Sommige gegevensarchieven ondersteunen versleuteling van data-at-rest. U wordt aangeraden het mechanisme voor gegevensversleuteling in te schakelen voor deze gegevensarchieven.
Azure Synapse Analytics
Transparent Data Encryption (TDE) in Azure Synapse Analytics helpt u te beschermen tegen de bedreiging van schadelijke activiteiten door realtime versleuteling en ontsleuteling van uw data-at-rest uit te voeren. Dit gedrag is transparant voor de client. Zie Een database beveiligen in Azure Synapse Analytics voor meer informatie.
Azure SQL-database
Azure SQL Database biedt ook ondersteuning voor TDE (Transparent Data Encryption), waarmee u zich kunt beschermen tegen de bedreiging van schadelijke activiteiten door realtime versleuteling en ontsleuteling van de gegevens uit te voeren, zonder dat er wijzigingen in de toepassing nodig zijn. Dit gedrag is transparant voor de client. Zie Transparante gegevensversleuteling voor SQL Database en Data Warehouse voor meer informatie.
Azure Data Lake Store
Azure Data Lake Store biedt ook versleuteling voor gegevens die zijn opgeslagen in het account. Wanneer deze functie is ingeschakeld, versleutelt Data Lake Store automatisch gegevens voordat ze worden bewaard en ontsleuteld voordat ze worden opgehaald, zodat deze transparant is voor de client die toegang heeft tot de gegevens. Zie Beveiliging in Azure Data Lake Store voor meer informatie.
Azure Blob Storage en Azure Table Storage
Azure Blob Storage en Azure Table Storage ondersteunen Storage Service Encryption (SSE), waarmee uw gegevens automatisch worden versleuteld voordat ze worden opgeslagen en ontsleuteld voordat ze worden opgehaald. Zie Azure Storage Service Encryption voor data-at-rest.
Amazon S3
Amazon S3 ondersteunt zowel client- als serverversleuteling van data-at-rest. Zie Gegevens beveiligen met behulp van versleuteling voor meer informatie.
Amazon Redshift
Amazon Redshift ondersteunt clusterversleuteling voor data-at-rest. Zie Amazon Redshift Database Encryption voor meer informatie.
Salesforce
Salesforce ondersteunt Shield Platform Encryption waarmee versleuteling van alle bestanden, bijlagen en aangepaste velden mogelijk is. Zie Informatie over de OAuth-verificatiestroom van de webserver voor meer informatie.
Hybride scenario's
Voor hybride scenario's moet zelf-hostende Integration Runtime worden geïnstalleerd in een on-premises netwerk, in een virtueel netwerk (Azure) of in een virtuele privécloud (Amazon). De zelf-hostende Integration Runtime moet toegang hebben tot de lokale gegevensarchieven. Zie Voor meer informatie over zelf-hostende Integration Runtime het maken en configureren van zelf-hostende Integration Runtime.
Het opdrachtkanaal maakt communicatie mogelijk tussen services voor gegevensverplaatsing in Data Factory en zelf-hostende Integration Runtime. De communicatie bevat informatie met betrekking tot de activiteit. Het gegevenskanaal wordt gebruikt voor het overdragen van gegevens tussen on-premises gegevensarchieven en cloudgegevensarchieven.
Referenties voor on-premises gegevensarchief
De referenties kunnen worden opgeslagen in data factory of worden verwezen door data factory tijdens de runtime vanuit Azure Key Vault. Als u referenties opslaat in data factory, wordt deze altijd versleuteld opgeslagen in de zelf-hostende Integration Runtime.
Sla referenties lokaal op. Als u de cmdlet Set-AzDataFactoryV2LinkedService rechtstreeks gebruikt met de inline verbindingsreeks s en referenties in de JSON, wordt de gekoppelde service versleuteld en opgeslagen in zelf-hostende Integration Runtime. In dit geval stromen de referenties via de Azure-back-endservice, die uiterst veilig is, naar de zelf-hostende integratiecomputer waar deze eindelijk wordt versleuteld en opgeslagen. De zelf-hostende Integration Runtime maakt gebruik van Windows DPAPI om de gevoelige gegevens en referentiegegevens te versleutelen.
Sla referenties op in Azure Key Vault. U kunt ook de referenties van het gegevensarchief opslaan in Azure Key Vault. Data Factory haalt de referentie op tijdens de uitvoering van een activiteit. Zie Referenties opslaan in Azure Key Vault voor meer informatie.
Sla referenties lokaal op zonder de referenties via de Azure-back-end door te sturen naar de zelf-hostende Integration Runtime. Als u referenties lokaal wilt versleutelen en opslaan in de zelf-hostende Integration Runtime zonder dat u de referenties hoeft door te sturen via de back-end van data factory, volgt u de stappen in Referenties versleutelen voor on-premises gegevensarchieven in Azure Data Factory. Alle connectors ondersteunen deze optie. De zelf-hostende Integration Runtime maakt gebruik van Windows DPAPI om de gevoelige gegevens en referentiegegevens te versleutelen.
Gebruik de cmdlet New-AzDataFactoryV2LinkedServiceEncryptedCredential om gekoppelde servicereferenties en gevoelige details in de gekoppelde service te versleutelen. Vervolgens kunt u de geretourneerde JSON (met het element EncryptedCredential in de verbindingsreeks) gebruiken om een gekoppelde service te maken met behulp van de cmdlet Set-AzDataFactoryV2LinkedService.
Poorten die worden gebruikt bij het versleutelen van de gekoppelde service op zelf-hostende Integration Runtime
Wanneer externe toegang vanaf intranet is ingeschakeld, gebruikt PowerShell standaard poort 8060 op de computer met zelf-hostende Integration Runtime voor beveiligde communicatie. Indien nodig kan deze poort worden gewijzigd van Integration Runtime Configuration Manager op het tabblad Instellingen:
Versleuteling 'in transit'
Alle gegevensoverdrachten zijn via beveiligd kanaal HTTPS en TLS via TCP om man-in-the-middle-aanvallen te voorkomen tijdens communicatie met Azure-services.
U kunt ook IPSec VPN of Azure ExpressRoute gebruiken om het communicatiekanaal tussen uw on-premises netwerk en Azure verder te beveiligen.
Azure Virtual Network is een logische weergave van uw netwerk in de cloud. U kunt een on-premises netwerk verbinden met uw virtuele netwerk door IPSec VPN (site-naar-site) of ExpressRoute (privépeering) in te stellen.
De volgende tabel bevat een overzicht van de aanbevelingen voor de configuratie van de netwerk- en zelf-hostende Integration Runtime op basis van verschillende combinaties van bron- en doellocaties voor hybride gegevensverplaatsing.
| Bron | Doel | Netwerkconfiguratie | Installatie van integratieruntime |
|---|---|---|---|
| On-premises | Virtuele machines en cloudservices die zijn geïmplementeerd in virtuele netwerken | IPSec VPN (punt-naar-site of site-naar-site) | De zelf-hostende Integration Runtime moet worden geïnstalleerd op een virtuele Azure-machine in het virtuele netwerk. |
| On-premises | Virtuele machines en cloudservices die zijn geïmplementeerd in virtuele netwerken | ExpressRoute (persoonlijke peering) | De zelf-hostende Integration Runtime moet worden geïnstalleerd op een virtuele Azure-machine in het virtuele netwerk. |
| On-premises | Op Azure gebaseerde services met een openbaar eindpunt | ExpressRoute (Microsoft-peering) | De zelf-hostende Integration Runtime kan on-premises of op een virtuele Azure-machine worden geïnstalleerd. |
In de volgende afbeeldingen ziet u het gebruik van zelf-hostende Integration Runtime voor het verplaatsen van gegevens tussen een on-premises database en Azure-services met behulp van ExpressRoute en IPSec VPN (met Azure Virtual Network):
ExpressRoute
IPSec VPN
Firewallconfiguraties en acceptatielijst instellen voor IP-adressen
Notitie
Mogelijk moet u poorten beheren of een acceptatielijst instellen voor domeinen op het niveau van de bedrijfsfirewall, zoals vereist voor de respectieve gegevensbronnen. In deze tabel worden alleen Azure SQL Database, Azure Synapse Analytics en Azure Data Lake Store gebruikt als voorbeelden.
Notitie
Zie dit artikel voor meer informatie over strategieën voor gegevenstoegang via Azure Data Factory.
Firewallvereisten voor on-premises/particulier netwerk
In een onderneming wordt een bedrijfsfirewall uitgevoerd op de centrale router van de organisatie. Windows Firewall wordt uitgevoerd als een daemon op de lokale computer waarop de zelf-hostende Integration Runtime is geïnstalleerd.
De volgende tabel bevat uitgaande poort- en domeinvereisten voor bedrijfsfirewalls:
| Domeinnamen | Uitgaande poorten | Beschrijving |
|---|---|---|
*.servicebus.windows.net |
443 | Vereist door de zelf-hostende integration runtime voor interactief ontwerpen. |
{datafactory}.{region}.datafactory.azure.netof *.frontend.clouddatahub.net |
443 | Vereist door de zelf-hostende Integration Runtime om verbinding te maken met de Data Factory-service. Voor nieuwe Data Factory's kunt u de FQDN vinden in uw zelf-hostende Integration Runtime-sleutel, in de indeling {datafactory}.{regio}.datafactory.azure.net. Gebruik voor een oude Data factory, als u de FQDN niet ziet in uw zelf-hostende Integration-sleutel, in plaats daarvan *.frontend.clouddatahub.net. |
download.microsoft.com |
443 | Vereist door de zelf-hostende Integration Runtime voor het downloaden van de updates. Als u automatische updates heb uitgeschakeld, kunt u het configureren van dit domein overslaan. |
*.core.windows.net |
443 | Wordt gebruikt door de zelf-hostende Integration Runtime om verbinding te maken met het Azure-opslagaccount wanneer u de functie voor gefaseerd kopiëren gebruikt. |
*.database.windows.net |
1433 | Alleen vereist bij het kopiëren van of naar Azure SQL Database of Azure Synapse Analytics, en anders optioneel. Gebruik de functie voor gefaseerd kopiëren om gegevens te kopiëren naar SQL Database of Azure Synapse Analytics zonder poort 1433 te openen. |
*.azuredatalakestore.netlogin.microsoftonline.com/<tenant>/oauth2/token |
443 | Alleen vereist als u kopieert van of naar Azure Data Lake Store, en anders optioneel. |
Notitie
Mogelijk moet u poorten beheren of een acceptatielijst instellen voor domeinen op het niveau van de bedrijfsfirewall, zoals vereist voor de respectieve gegevensbronnen. In deze tabel worden alleen Azure SQL Database, Azure Synapse Analytics en Azure Data Lake Store gebruikt als voorbeelden.
De volgende tabel bevat vereisten voor binnenkomende poorten voor Windows Firewall:
| Poorten voor inkomend verkeer | Beschrijving |
|---|---|
| 8060 (TCP) | Vereist door de PowerShell-versleutelings-cmdlet, zoals beschreven in Referenties versleutelen voor on-premises gegevensarchieven in Azure Data Factory, en door de referentiebeheertoepassing om veilig referenties in te stellen voor on-premises gegevensarchieven in de zelf-hostende Integration Runtime. |
IP-configuraties en acceptatielijst instellen in gegevensarchieven
Voor sommige gegevensarchieven in de cloud is ook vereist dat u het IP-adres van de computer die toegang heeft tot het archief toestaat. Zorg ervoor dat het IP-adres van de zelf-hostende Integration Runtime-machine is toegestaan of geconfigureerd in de firewall.
Voor de volgende cloudgegevensarchieven moet u het IP-adres van de zelf-hostende Integration Runtime-machine toestaan. Voor sommige van deze gegevensarchieven is standaard geen acceptatielijst vereist.
Veelgestelde vragen
Kan de zelf-hostende Integration Runtime worden gedeeld in verschillende data factory's?
Ja. Hier vindt u meer informatie.
Wat zijn de poortvereisten voor de zelf-hostende Integration Runtime?
De zelf-hostende Integration Runtime maakt HTTP-verbindingen voor toegang tot internet. De uitgaande poorten 443 moeten worden geopend voor de zelf-hostende Integration Runtime om deze verbinding te maken. Open binnenkomende poort 8060 alleen op computerniveau (niet op het niveau van de bedrijfsfirewall) voor de referentiebeheertoepassing. Als Azure SQL Database of Azure Synapse Analytics wordt gebruikt als de bron of het doel, moet u ook poort 1433 openen. Zie de firewallconfiguraties en de acceptatielijst voor de sectie IP-adressen voor meer informatie.
Gerelateerde inhoud
Zie de handleiding voor prestaties en afstemming van kopieeractiviteiten in Azure Data Factory voor meer informatie over de prestaties van de kopieeractiviteit.