Důležité informace o zabezpečení přesunu dat ve službě Azure Data Factory

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tento článek popisuje základní infrastrukturu zabezpečení, kterou služby pro přesun dat v Azure Data Factory používat k zabezpečení vašich dat. Prostředky pro správu služby Data Factory jsou postavené na infrastruktuře zabezpečení Azure a využívají všechna možná bezpečnostní opatření, která Azure nabízí.

V řešení Data Factory vytváříte jeden nebo více datových kanálů. Kanál je logické seskupení aktivit, které společně provádějí úlohu. Kanály se nacházejí v oblasti, kde byla vytvořena datová továrna.

Přestože je služba Data Factory dostupná jenom v několika oblastech, je služba pro přesun dat dostupná globálně , aby se zajistilo dodržování předpisů pro data, efektivita a nižší náklady na výchozí přenos dat ze sítě.

Azure Data Factory, včetně Azure Integration Runtime a místního Integration Runtime, neukládají žádná dočasná data, data mezipaměti ani protokoly s výjimkou přihlašovacích údajů propojené služby pro cloudová úložiště dat, která jsou šifrovaná pomocí certifikátů. Se službou Data Factory můžete vytvářet pracovní postupy řízené daty pro orchestraci přesunu dat mezi podporovanými úložišti dat a zpracování dat pomocí výpočetních služeb v jiných oblastech nebo v místním prostředí. K monitorování a správě pracovních postupů také můžete použít sady SDK a Azure Monitor.

Služba Data Factory je certifikovaná podle těchto norem:

Certifikace CSA STAR
ISO 20000-1:2011
ISO 22301:2012
ISO 27001:2013
ISO 27017:2015
ISO 27018:2014
ISO 9001:2015
SOC 1, 2, 3
HIPAA BAA
HITRUST

Pokud vás zajímá dodržování předpisů v Azure a způsob, jakým Azure zabezpečuje svou vlastní infrastrukturu, navštivte Centrum zabezpečení Microsoftu. Nejnovější seznam všech nabídek azure pro dodržování předpisů najdete v https://aka.ms/AzureCompliancetématu .

V tomto článku se podíváme na aspekty zabezpečení v následujících dvou scénářích přesunu dat:

  • Cloudový scénář: V tomto scénáři je váš zdroj i cíl veřejně přístupné přes internet. Patří mezi ně služby spravovaného cloudového úložiště, jako je Azure Storage, Azure Synapse Analytics, Azure SQL Database, Azure Data Lake Store, Amazon S3, Amazon Redshift, služby SaaS, jako je Salesforce, a webové protokoly, jako jsou FTP a OData. Úplný seznam podporovaných zdrojů dat najdete v tématu Podporovaná úložiště a formáty dat.
  • Hybridní scénář: V tomto scénáři je zdroj nebo cíl za bránou firewall nebo uvnitř místní podnikové sítě. Nebo je úložiště dat v privátní síti nebo virtuální síti (nejčastěji zdroj) a není veřejně přístupné. Do tohoto scénáře spadají také databázové servery hostované na virtuálních počítačích.

Poznámka

K interakci s Azure doporučujeme použít modul Azure Az PowerShell. Začněte tím, že si projděte téma Instalace Azure PowerShell. Informace o tom, jak migrovat na modul Az PowerShell, najdete v tématu Migrace Azure PowerShellu z AzureRM na Az.

Cloudové scénáře

Zabezpečení přihlašovacích údajů úložiště dat

  • Ukládejte šifrované přihlašovací údaje do spravovaného úložiště Azure Data Factory. Data Factory pomáhá chránit přihlašovací údaje úložiště dat tím, že je šifruje pomocí certifikátů spravovaných Microsoftem. Tyto certifikáty se obměňují každé dva roky (což zahrnuje obnovení certifikátu a migraci přihlašovacích údajů). Další informace o zabezpečení služby Azure Storage najdete v tématu Přehled zabezpečení služby Azure Storage.
  • Uložte přihlašovací údaje v Azure Key Vault. Přihlašovací údaje úložiště dat můžete také uložit v Azure Key Vault. Data Factory načte přihlašovací údaje během provádění aktivity. Další informace najdete v tématu Ukládání přihlašovacích údajů v Azure Key Vault.

Centralizace ukládání tajných klíčů aplikací ve službě Azure Key Vault umožňuje řídit jejich distribuci. Key Vault výrazně snižuje riziko nechtěného úniku tajných klíčů. Místo uložení připojovacího řetězce do kódu aplikace ho můžete bezpečně uložit do Key Vault. Vaše aplikace mají zabezpečený přístup k potřebným informacím pomocí identifikátorů URI. Tyto identifikátory URI umožňují aplikacím načíst konkrétní verze tajného kódu. Není nutné psát vlastní kód pro ochranu tajných informací uložených v Key Vault.

Šifrování přenášených dat

Pokud cloudové úložiště dat podporuje protokol HTTPS nebo TLS, všechny přenosy dat mezi službami pro přesun dat ve službě Data Factory a cloudovým úložištěm dat probíhají prostřednictvím zabezpečeného kanálu HTTPS nebo TLS.

Poznámka

Všechna připojení ke službě Azure SQL Database a Azure Synapse Analytics vyžadují šifrování (SSL/TLS) při přenosu dat do databáze a z databáze. Při vytváření kanálu pomocí JSON přidejte vlastnost šifrování a nastavte ji v připojovacím řetězci na true . Pro Azure Storage můžete v připojovacím řetězci použít HTTPS .

Poznámka

Pokud chcete při přesouvání dat z Oracle povolit šifrování při přenosu, postupujte podle jedné z následujících možností:

  1. Na serveru Oracle přejděte na Oracle Advanced Security (OAS) a nakonfigurujte nastavení šifrování, které podporuje šifrování 3DES (Triple-DES Encryption Standard) a Advanced Encryption Standard (AES). Podrobnosti najdete tady . ADF automaticky vyjednává metodu šifrování, aby používala metodu šifrování, kterou nakonfigurujete v OAS při navazování připojení k Oracle.
  2. V ADF můžete do připojovacího řetězce (v propojené službě) přidat EncryptionMethod=1. Jako metodu šifrování se použije PROTOKOL SSL/TLS. Abyste se vyhnuli konfliktu šifrování, musíte v OAS na straně serveru Oracle zakázat nastavení šifrování bez SSL.

Poznámka

Použitá verze protokolu TLS je 1.2.

Šifrování v klidovém stavu

Některá úložiště dat podporují šifrování neaktivních uložených dat. Doporučujeme pro tato úložiště dat povolit mechanismus šifrování dat.

Azure Synapse Analytics

Transparentní šifrování dat (TDE) ve službě Azure Synapse Analytics pomáhá chránit před hrozbou škodlivých aktivit tím, že provádí šifrování a dešifrování neaktivních uložených dat v reálném čase. Toto chování je pro klienta transparentní. Další informace najdete v tématu Zabezpečení databáze v Azure Synapse Analytics.

Databáze Azure SQL

Azure SQL Database také podporuje transparentní šifrování dat, které pomáhá chránit před hrozbou škodlivých aktivit tím, že provádí šifrování a dešifrování dat v reálném čase, aniž by bylo nutné měnit aplikaci. Toto chování je pro klienta transparentní. Další informace najdete v tématu Transparentní šifrování dat pro SQL Database a Data Warehouse.

Azure Data Lake Store

Azure Data Lake Store také poskytuje šifrování dat uložených v účtu. Pokud je tato možnost povolená, Data Lake Store automaticky šifruje data před uložením a dešifruje před načtením, aby byla transparentní pro klienta, který k datům přistupuje. Další informace najdete v tématu Zabezpečení v Azure Data Lake Store.

Azure Blob Storage a Azure Table Storage

Azure Blob Storage a Azure Table Storage podporují šifrování služby Storage (SSE), které automaticky šifruje data před uložením do úložiště a dešifruje před načtením. Další informace najdete v tématu Šifrování služby Azure Storage pro neaktivní uložená data.

Amazon S3

Amazon S3 podporuje šifrování neaktivních uložených dat klientem i serverem. Další informace najdete v tématu Ochrana dat pomocí šifrování.

Amazon Redshift

Amazon Redshift podporuje šifrování clusteru pro neaktivní uložená data. Další informace najdete v tématu Šifrování databáze Amazon Redshift.

Salesforce

Salesforce podporuje šifrování platformy Shield, které umožňuje šifrování všech souborů, příloh a vlastních polí. Další informace najdete v tématu Principy toku ověřování OAuth webového serveru.

Hybridní scénáře

Hybridní scénáře vyžadují, aby bylo místní prostředí Integration Runtime nainstalované v místní síti, uvnitř virtuální sítě (Azure) nebo ve virtuálním privátním cloudu (Amazon). Místní prostředí Integration Runtime musí mít přístup k místním úložištům dat. Další informace o místním prostředí Integration Runtime najdete v tématu Vytvoření a konfigurace místního prostředí Integration Runtime.

Místní kanály prostředí Integration Runtime

Kanál příkazů umožňuje komunikaci mezi službami pro přesun dat ve službě Data Factory a místním prostředím Integration Runtime. Komunikace obsahuje informace související s aktivitou. Datový kanál se používá k přenosu dat mezi místními úložišti dat a cloudovými úložišti dat.

Přihlašovací údaje k místnímu úložišti dat

Přihlašovací údaje můžou být uložené v rámci datové továrny nebo na tyto přihlašovací údaje můžete odkazovat během běhu z Azure Key Vault. Pokud se přihlašovací údaje ukládají v rámci datové továrny, jsou vždy zašifrované v místním prostředí Integration Runtime.

  • Uložte přihlašovací údaje místně. Pokud přímo použijete rutinu Set-AzDataFactoryV2LinkedService s připojovacími řetězci a přihlašovacími údaji vloženými ve formátu JSON, propojená služba se zašifruje a uloží v místním prostředí Integration Runtime. V tomto případě přihlašovací údaje procházejí přes back-endovou službu Azure, která je extrémně zabezpečená, do místního počítače s integrací, kde jsou nakonec zašifrované a uložené. Místní prostředí Integration Runtime používá rozhraní Windows DPAPI k šifrování citlivých dat a informací o přihlašovacích údajích.

  • Uložte přihlašovací údaje v Azure Key Vault. Přihlašovací údaje úložiště dat můžete také uložit v Azure Key Vault. Data Factory načte přihlašovací údaje během provádění aktivity. Další informace najdete v tématu Ukládání přihlašovacích údajů v Azure Key Vault.

  • Přihlašovací údaje můžete ukládat místně, aniž by se přihlašovací údaje předávaly přes back-end Azure do místního prostředí Integration Runtime. Pokud chcete šifrovat a ukládat přihlašovací údaje místně v místním prostředí Integration Runtime bez nutnosti toku přihlašovacích údajů přes back-end datové továrny, postupujte podle kroků v tématu Šifrování přihlašovacích údajů pro místní úložiště dat v Azure Data Factory. Tuto možnost podporují všechny konektory. Místní prostředí Integration Runtime používá rozhraní Windows DPAPI k šifrování citlivých dat a informací o přihlašovacích údajích.

  • Pomocí rutiny New-AzDataFactoryV2LinkedServiceEncryptedCredential zašifrujte přihlašovací údaje propojené služby a citlivé podrobnosti v propojené službě. Pak můžete pomocí vráceného kódu JSON (s elementem EncryptedCredential v připojovacím řetězci) vytvořit propojenou službu pomocí rutiny Set-AzDataFactoryV2LinkedService .

Porty používané při šifrování propojené služby v místním prostředí Integration Runtime

Pokud je povolený vzdálený přístup z intranetu, PowerShell ve výchozím nastavení používá port 8060 na počítači s místním prostředím Integration Runtime pro zabezpečenou komunikaci. V případě potřeby je možné tento port změnit z Integration Runtime Configuration Manager na kartě Nastavení:

Integration Runtime Configuration Manager na kartě Nastavení

Port HTTPS pro bránu

Šifrování během přenosu

Všechny přenosy dat probíhají přes zabezpečené kanály HTTPS a TLS přes PROTOKOL TCP, aby se zabránilo útokům man-in-the-middle během komunikace se službami Azure.

K dalšímu zabezpečení komunikačního kanálu mezi místní sítí a Azure můžete také použít IPSec VPN nebo Azure ExpressRoute .

Azure Virtual Network je logická reprezentace vaší sítě v cloudu. Místní síť můžete k virtuální síti připojit nastavením IPSec VPN (site-to-site) nebo ExpressRoute (privátní partnerský vztah).

Následující tabulka shrnuje doporučení pro konfiguraci sítě a místního prostředí Integration Runtime na základě různých kombinací zdrojových a cílových umístění pro hybridní přesun dat.

Zdroj Cíl Konfigurace sítě Instalace prostředí Integration Runtime
Místní Virtuální počítače a cloudové služby nasazené ve virtuálních sítích IPSec VPN (point-to-site nebo site-to-site) Místní prostředí Integration Runtime by mělo být nainstalované na virtuálním počítači Azure ve virtuální síti.
Místní Virtuální počítače a cloudové služby nasazené ve virtuálních sítích ExpressRoute (privátní partnerský vztah) Místní prostředí Integration Runtime by mělo být nainstalované na virtuálním počítači Azure ve virtuální síti.
Místní Služby založené na Azure, které mají veřejný koncový bod ExpressRoute (partnerský vztah Microsoftu) Místní prostředí Integration Runtime je možné nainstalovat místně nebo na virtuální počítač Azure.

Následující obrázky ukazují použití místního prostředí Integration Runtime k přesunu dat mezi místní databází a službami Azure pomocí ExpressRoute a IPSec VPN (s Azure Virtual Network):

Express Route

Použití ExpressRoute s bránou

IPSec VPN

IPSec VPN s bránou

Konfigurace brány firewall a nastavení seznamu povolených pro IP adresy

Poznámka

Možná budete muset spravovat porty nebo nastavit seznam povolených pro domény na úrovni podnikové brány firewall podle požadavků příslušných zdrojů dat. Tato tabulka používá jako příklady pouze Azure SQL Database, Azure Synapse Analytics a Azure Data Lake Store.

Poznámka

Podrobnosti o strategiích přístupu k datům prostřednictvím Azure Data Factory najdete v tomto článku.

Požadavky na bránu firewall pro místní nebo privátní síť

V podniku běží podniková brána firewall na centrálním směrovači organizace. Brána Windows Firewall běží jako démon na místním počítači, na kterém je nainstalované místní prostředí Integration Runtime.

Následující tabulka obsahuje požadavky na odchozí port a doménu pro podnikové brány firewall:

Názvy domén Odchozí porty Description
*.servicebus.windows.net 443 Vyžaduje místní prostředí Integration Runtime pro interaktivní vytváření.
{datafactory}.{region}.datafactory.azure.net
nebo *.frontend.clouddatahub.net
443 Vyžaduje místní prostředí Integration Runtime pro připojení ke službě Data Factory.
V případě nově vytvořené služby Data Factory vyhledejte plně kvalifikovaný název domény z klíče Integration Runtime v místním prostředí, který je ve formátu {datafactory}.{ region}.datafactory.azure.net. Pokud pro starou datovou továrnu nevidíte plně kvalifikovaný název domény v klíči integrace v místním prostředí, použijte místo toho *.frontend.clouddatahub.net.
download.microsoft.com 443 Vyžaduje místní prostředí Integration Runtime pro stahování aktualizací. Pokud jste zakázali automatické aktualizace, můžete konfiguraci této domény přeskočit.
*.core.windows.net 443 Používá se v místním prostředí Integration Runtime k připojení k účtu úložiště Azure při použití funkce fázovaného kopírování .
*.database.windows.net 1433 Vyžaduje se pouze při kopírování z nebo do Azure SQL Database nebo Azure Synapse Analytics a v opačném případě volitelné. Pomocí funkce fázovaného kopírování můžete kopírovat data do SQL Database nebo Azure Synapse Analytics bez otevření portu 1433.
*.azuredatalakestore.net
login.microsoftonline.com/<tenant>/oauth2/token
443 Vyžaduje se pouze při kopírování z nebo do Azure Data Lake Store a v opačném případě volitelné.

Poznámka

Možná budete muset spravovat porty nebo nastavit seznam povolených pro domény na úrovni podnikové brány firewall podle požadavků příslušných zdrojů dat. Tato tabulka používá jako příklady pouze Azure SQL Database, Azure Synapse Analytics a Azure Data Lake Store.

Následující tabulka obsahuje požadavky na příchozí porty pro bránu Windows Firewall:

Příchozí porty Description
8060 (TCP) Vyžaduje se rutina šifrování PowerShellu, jak je popsáno v tématu Šifrování přihlašovacích údajů pro místní úložiště dat v Azure Data Factory, a bezpečné nastavení přihlašovacích údajů pro místní úložiště dat v místním prostředí Integration Runtime.

Požadavky na port brány

Konfigurace IP adres a nastavení seznamu povolených v úložištích dat

Některá úložiště dat v cloudu také vyžadují, abyste povolili IP adresu počítače, který přistupuje k úložišti. Ujistěte se, že je v bráně firewall povolená nebo nakonfigurovaná IP adresa místního prostředí Integration Runtime.

Následující cloudová úložiště dat vyžadují, abyste povolili IP adresu místního počítače prostředí Integration Runtime. Některá z těchto úložišť dat nemusí ve výchozím nastavení vyžadovat seznam povolených dat.

Nejčastější dotazy

Je možné místní prostředí Integration Runtime sdílet mezi různými datovými továrnami?

Ano. Další podrobnosti najdete tady.

Jaké jsou požadavky na porty pro fungování místního prostředí Integration Runtime?

Místní prostředí Integration Runtime vytváří připojení založená na protokolu HTTP pro přístup k internetu. Odchozí porty 443 musí být otevřené pro místní prostředí Integration Runtime, aby se toto připojení našlo. Otevřený příchozí port 8060 pouze na úrovni počítače (ne na úrovni podnikové brány firewall) pro aplikaci správce přihlašovacích údajů. Pokud se jako zdroj nebo cíl používá Azure SQL Database nebo Azure Synapse Analytics, musíte otevřít také port 1433. Další informace najdete v části Konfigurace brány firewall a nastavení seznamu povolených pro IP adresy .

Další kroky

Informace o výkonu aktivity kopírování Azure Data Factory najdete v průvodci laděním a výkonem aktivity kopírování.