Důležité informace o zabezpečení přesunu dat ve službě Azure Data Factory

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tento článek popisuje základní infrastrukturu zabezpečení, kterou služby pro přesun dat v Azure Data Factory používat k zabezpečení vašich dat. Prostředky pro správu služby Data Factory jsou založené na infrastruktuře zabezpečení Azure a používají všechna možná bezpečnostní opatření, která Azure nabízí.

V řešení Data Factory vytváříte jeden nebo více datových kanálů. Kanál je logické seskupení aktivit, které společně provádějí úlohu. Kanály se nacházejí v oblasti, kde byla vytvořena datová továrna.

I když je služba Data Factory dostupná jenom v několika oblastech, je služba pro přesun dat dostupná globálně , aby se zajistilo dodržování předpisů, efektivita a snížení nákladů na výchozí přenos dat ze sítě.

Azure Data Factory včetně Azure Integration Runtime a místního Integration Runtime neukládají žádná dočasná data, data mezipaměti ani protokoly s výjimkou přihlašovacích údajů propojené služby pro cloudová úložiště dat, která jsou šifrovaná pomocí certifikátů. Ve službě Data Factory vytvoříte pracovní postupy řízené daty, které orchestrují přesun dat mezi podporovanými úložišti dat a zpracování dat pomocí výpočetních služeb v jiných oblastech nebo v místním prostředí. K monitorování a správě pracovních postupů také můžete použít sady SDK a Azure Monitor.

Služba Data Factory je certifikovaná podle těchto norem:

Certifikace CSA STAR
ISO 20000-1:2011
ISO 22301:2012
ISO 27001:2013
ISO 27017:2015
ISO 27018:2014
ISO 9001:2015
SOC 1, 2, 3
HIPAA BAA
HITRUST

Pokud vás zajímá dodržování předpisů v Azure a to, jak Azure zabezpečuje vlastní infrastrukturu, navštivte centrum zabezpečení Microsoft. Nejnovější seznam všech nabídek azure pro dodržování předpisů najdete v tématu https://aka.ms/AzureCompliance.

V tomto článku si projdeme aspekty zabezpečení v následujících dvou scénářích přesunu dat:

  • Cloudový scénář: V tomto scénáři jsou zdroj i cíl veřejně přístupné přes internet. Patří mezi ně služby spravovaného cloudového úložiště, jako jsou Azure Storage, Azure Synapse Analytics, Azure SQL Database, Azure Data Lake Store, Amazon S3, Amazon Redshift, služby SaaS, jako je Salesforce, a webové protokoly, jako jsou FTP a OData. Úplný seznam podporovaných zdrojů dat najdete v tématu Podporovaná úložiště dat a formáty.
  • Hybridní scénář: V tomto scénáři se zdroj nebo cíl nachází za bránou firewall nebo v místní podnikové síti. Nebo se úložiště dat nachází v privátní nebo virtuální síti (nejčastěji zdroj) a není veřejně přístupné. Do tohoto scénáře spadají také databázové servery hostované na virtuálních počítačích.

Poznámka

K interakci s Azure doporučujeme použít modul Azure Az PowerShell. Začněte tím, že si projdete téma Instalace Azure PowerShell. Informace o tom, jak migrovat na modul Az PowerShell, najdete v tématu Migrace Azure PowerShellu z AzureRM na Az.

Cloudové scénáře

Zabezpečení přihlašovacích údajů úložiště dat

  • Uložte šifrované přihlašovací údaje do spravovaného úložiště Azure Data Factory. Data Factory pomáhá chránit přihlašovací údaje úložiště dat tím, že je šifruje pomocí certifikátů spravovaných Microsoft. Tyto certifikáty se obměňují každé dva roky (což zahrnuje obnovení certifikátu a migraci přihlašovacích údajů). Další informace o zabezpečení služby Azure Storage najdete v tématu Přehled zabezpečení služby Azure Storage.
  • Uložte přihlašovací údaje v Azure Key Vault. Přihlašovací údaje úložiště dat můžete také uložit v Azure Key Vault. Data Factory načte přihlašovací údaje během provádění aktivity. Další informace najdete v tématu Ukládání přihlašovacích údajů v Azure Key Vault.

Šifrování přenášených dat

Pokud cloudové úložiště dat podporuje protokol HTTPS nebo TLS, všechny přenosy dat mezi službami pro přesun dat ve službě Data Factory a cloudovém úložišti dat probíhají přes zabezpečený kanál HTTPS nebo TLS.

Poznámka

Všechna připojení ke službě Azure SQL Database a Azure Synapse Analytics vyžadují šifrování (SSL/TLS) při přenosu dat do a z databáze. Při vytváření kanálu pomocí JSON přidejte vlastnost šifrování a nastavte ji v připojovacím řetězci na true . Pro Azure Storage můžete v připojovacím řetězci použít HTTPS .

Poznámka

Pokud chcete povolit šifrování při přenosu při přesouvání dat z Oracle, postupujte podle jedné z následujících možností:

  1. Na serveru Oracle přejděte na Oracle Advanced Security (OAS) a nakonfigurujte nastavení šifrování, které podporuje šifrování Triple-DES (3DES) a Advanced Encryption Standard (AES). Podrobnosti najdete tady . ADF automaticky vyjedná metodu šifrování, která použije metodu, kterou nakonfigurujete v OAS při navazování připojení k Oracle.
  2. V ADF můžete do připojovacího řetězce (v propojené službě) přidat EncryptionMethod=1. Tím se jako metoda šifrování použije PROTOKOL SSL/TLS. Abyste se vyhnuli konfliktům šifrování, musíte v OAS na straně serveru Oracle zakázat nastavení šifrování bez ssl.

Poznámka

Používá se verze protokolu TLS 1.2.

Šifrování v klidovém stavu

Některá úložiště dat podporují šifrování neaktivních uložených dat. Doporučujeme povolit mechanismus šifrování dat pro tato úložiště dat.

Azure Synapse Analytics

Transparentní šifrování dat (TDE) v Azure Synapse Analytics pomáhá chránit před hrozbou škodlivých aktivit tím, že provádí šifrování a dešifrování neaktivních uložených dat v reálném čase. Toto chování je pro klienta transparentní. Další informace najdete v tématu Zabezpečení databáze v Azure Synapse Analytics.

Databáze Azure SQL

Azure SQL Database také podporuje transparentní šifrování dat (TDE), které pomáhá chránit před hrozbou škodlivých aktivit tím, že provádí šifrování a dešifrování dat v reálném čase, aniž by bylo nutné provádět změny v aplikaci. Toto chování je pro klienta transparentní. Další informace najdete v tématu Transparentní šifrování dat pro SQL Database a Data Warehouse.

Azure Data Lake Store

Azure Data Lake Store také poskytuje šifrování dat uložených v účtu. Pokud je tato možnost povolená, Data Lake Store automaticky šifruje data před uložením a dešifruje před načtením, aby byla transparentní pro klienta, který k datům přistupuje. Další informace najdete v tématu Zabezpečení ve službě Azure Data Lake Store.

Azure Blob Storage a Azure Table Storage

Azure Blob Storage a Azure Table Storage podporují šifrování služby Storage (SSE), které automaticky šifruje data před uložením do úložiště a dešifruje před načtením. Další informace najdete v tématu Šifrování služby Azure Storage pro neaktivní uložená data.

Amazon S3

Amazon S3 podporuje šifrování neaktivních uložených dat klientem i serverem. Další informace najdete v tématu Ochrana dat pomocí šifrování.

Amazon Redshift

Amazon Redshift podporuje šifrování clusteru pro neaktivní uložená data. Další informace najdete v tématu Šifrování databáze Amazon Redshift.

Salesforce

Salesforce podporuje šifrování platformy Shield, které umožňuje šifrování všech souborů, příloh a vlastních polí. Další informace najdete v tématu Principy toku ověřování OAuth webového serveru.

Hybridní scénáře

Hybridní scénáře vyžadují instalaci místního prostředí Integration Runtime v místní síti, ve virtuální síti (Azure) nebo ve virtuálním privátním cloudu (Amazon). Místní prostředí Integration Runtime musí mít přístup k místním úložištům dat. Další informace o místním prostředí Integration Runtime najdete v tématu Vytvoření a konfigurace místního prostředí Integration Runtime.

Místní kanály prostředí Integration Runtime

Kanál příkazů umožňuje komunikaci mezi službami pro přesun dat ve službě Data Factory a místním prostředím Integration Runtime. Komunikace obsahuje informace související s aktivitou. Datový kanál se používá k přenosu dat mezi místními úložišti dat a cloudovými úložišti dat.

Přihlašovací údaje k místnímu úložišti dat

Přihlašovací údaje můžou být uložené v rámci datové továrny nebo na to může datová továrna odkazovat během modulu runtime z Azure Key Vault. Pokud se přihlašovací údaje ukládají do datové továrny, ukládají se vždy zašifrované v místním prostředí Integration Runtime.

  • Uložte přihlašovací údaje místně. Pokud přímo použijete rutinu Set-AzDataFactoryV2LinkedService s připojovacími řetězci a přihlašovacími údaji vloženými do kódu JSON, propojená služba se zašifruje a uloží v místním prostředí Integration Runtime. V tomto případě přihlašovací údaje procházejí přes back-endovou službu Azure, která je velmi zabezpečená, do místního počítače pro integraci, kde se nakonec zašifrují a uloží. Místní prostředí Integration Runtime používá rozhraní Windows DPAPI k šifrování citlivých dat a informací o přihlašovacích údajích.

  • Uložte přihlašovací údaje v Azure Key Vault. Přihlašovací údaje úložiště dat můžete také uložit v Azure Key Vault. Data Factory načte přihlašovací údaje během provádění aktivity. Další informace najdete v tématu Ukládání přihlašovacích údajů v Azure Key Vault.

  • Ukládejte přihlašovací údaje místně, aniž by se přihlašovací údaje předávaly přes back-end Azure do místního prostředí Integration Runtime. Pokud chcete šifrovat a ukládat přihlašovací údaje místně v místním prostředí Integration Runtime, aniž byste museli předávat přihlašovací údaje přes back-end datové továrny, postupujte podle kroků v tématu Šifrování přihlašovacích údajů pro místní úložiště dat v Azure Data Factory. Tuto možnost podporují všechny konektory. Místní prostředí Integration Runtime používá rozhraní Windows DPAPI k šifrování citlivých dat a informací o přihlašovacích údajích.

  • Pomocí rutiny New-AzDataFactoryV2LinkedServiceEncryptedCredential zašifrujte přihlašovací údaje propojené služby a citlivé podrobnosti v propojené službě. Vrácený kód JSON (s elementem EncryptedCredential v připojovacím řetězci) pak můžete použít k vytvoření propojené služby pomocí rutiny Set-AzDataFactoryV2LinkedService .

Porty používané při šifrování propojené služby v místním prostředí Integration Runtime

Pokud je povolený vzdálený přístup z intranetu, PowerShell ve výchozím nastavení používá port 8060 na počítači s místním prostředím Integration Runtime pro zabezpečenou komunikaci. V případě potřeby můžete tento port změnit z Integration Runtime Configuration Manager na kartě Nastavení:

karta Nastavení Integration Runtime Configuration Manager

Port HTTPS pro bránu

Šifrování během přenosu

Všechny přenosy dat probíhají přes zabezpečený kanál HTTPS a TLS přes protokol TCP, aby se zabránilo útokům man-in-the-middle během komunikace se službami Azure.

K dalšímu zabezpečení komunikačního kanálu mezi místní sítí a Azure můžete použít také IPSec VPN nebo Azure ExpressRoute .

Azure Virtual Network je logická reprezentace vaší sítě v cloudu. Místní síť můžete připojit k virtuální síti tak, že nastavíte IPSec VPN (site-to-site) nebo ExpressRoute (privátní partnerský vztah).

Následující tabulka shrnuje doporučení pro konfiguraci sítě a místního prostředí Integration Runtime na základě různých kombinací zdrojových a cílových umístění pro hybridní přesun dat.

Zdroj Cíl Konfigurace sítě Instalace prostředí Integration Runtime
Lokálně Virtuální počítače a cloudové služby nasazené ve virtuálních sítích IPSec VPN (point-to-site nebo site-to-site) Místní prostředí Integration Runtime by mělo být nainstalované na virtuálním počítači Azure ve virtuální síti.
Lokálně Virtuální počítače a cloudové služby nasazené ve virtuálních sítích ExpressRoute (privátní partnerský vztah) Místní prostředí Integration Runtime by mělo být nainstalované na virtuálním počítači Azure ve virtuální síti.
Lokálně Služby založené na Azure, které mají veřejný koncový bod ExpressRoute (partnerský vztah Microsoft) Místní prostředí Integration Runtime je možné nainstalovat místně nebo na virtuální počítač Azure.

Následující obrázky znázorňují použití místního prostředí Integration Runtime k přesunu dat mezi místní databází a službami Azure pomocí ExpressRoute a IPSec VPN (s Azure Virtual Network):

Express Route

Použití ExpressRoute s bránou

IPSec VPN

IPSec VPN s bránou

Konfigurace brány firewall a nastavení seznamu povolených pro IP adresy

Poznámka

Možná budete muset spravovat porty nebo nastavit seznam povolených pro domény na úrovni podnikové brány firewall, jak to vyžadují příslušné zdroje dat. V této tabulce se jako příklady používají jenom Azure SQL Database, Azure Synapse Analytics a Azure Data Lake Store.

Poznámka

Podrobnosti o strategiích přístupu k datům prostřednictvím Azure Data Factory najdete v tomto článku.

Požadavky na bránu firewall pro místní nebo privátní síť

V podniku běží podniková brána firewall na centrálním směrovači organizace. Brána Windows Firewall běží jako proces démon na místním počítači, na kterém je nainstalované místní prostředí Integration Runtime.

Následující tabulka obsahuje požadavky na odchozí porty a domény pro podnikové brány firewall:

Názvy domén Odchozí porty Description
*.servicebus.windows.net 443 Vyžaduje místní prostředí Integration Runtime pro interaktivní vytváření obsahu.
{datafactory}.{region}.datafactory.azure.net
nebo *.frontend.clouddatahub.net
443 Vyžaduje místní prostředí Integration Runtime pro připojení ke službě Data Factory.
V případě nově vytvořené služby Data Factory vyhledejte plně kvalifikovaný název domény z klíče Integration Runtime v místním prostředí, který je ve formátu {datafactory}.{ region}.datafactory.azure.net. Pokud u staré služby Data Factory nevidíte plně kvalifikovaný název domény v klíči integrace v místním prostředí, použijte místo toho *.frontend.clouddatahub.net.
download.microsoft.com 443 Vyžaduje se pro stahování aktualizací místním prostředím Integration Runtime. Pokud jste zakázali automatické aktualizace, můžete konfiguraci této domény přeskočit.
*.core.windows.net 443 Používá se v místním prostředí Integration Runtime k připojení k účtu úložiště Azure při použití funkce fázovaného kopírování .
*.database.windows.net 1433 Vyžaduje se pouze při kopírování z nebo do Azure SQL Database nebo Azure Synapse Analytics a v opačném případě volitelné. Pomocí funkce fázovaného kopírování můžete kopírovat data do SQL Database nebo Azure Synapse Analytics bez otevření portu 1433.
*.azuredatalakestore.net
login.microsoftonline.com/<tenant>/oauth2/token
443 Vyžaduje se pouze při kopírování z nebo do Azure Data Lake Store a v opačném případě volitelné.

Poznámka

Možná budete muset spravovat porty nebo nastavit seznam povolených pro domény na úrovni podnikové brány firewall, jak to vyžadují příslušné zdroje dat. V této tabulce se jako příklady používají jenom Azure SQL Database, Azure Synapse Analytics a Azure Data Lake Store.

Následující tabulka obsahuje požadavky na příchozí porty pro bránu Windows Firewall:

Příchozí porty Description
8060 (TCP) Vyžaduje se rutinou šifrování PowerShellu, jak je popsáno v tématu Šifrování přihlašovacích údajů pro místní úložiště dat v Azure Data Factory, a aplikace správce přihlašovacích údajů k bezpečnému nastavení přihlašovacích údajů pro místní úložiště dat v místním prostředí Integration Runtime.

Požadavky na porty brány

Konfigurace IP adres a nastavení seznamu povolených adres v úložištích dat

Některá úložiště dat v cloudu také vyžadují, abyste povolili IP adresu počítače, který k úložišti přistupuje. Ujistěte se, že je v bráně firewall správně povolená nebo nakonfigurovaná IP adresa místního počítače prostředí Integration Runtime.

Následující cloudová úložiště dat vyžadují, abyste povolili IP adresu počítače místního prostředí Integration Runtime. Některá z těchto úložišť dat nemusí ve výchozím nastavení seznam povolených vyžadovat.

Nejčastější dotazy

Je možné místní prostředí Integration Runtime sdílet mezi různými datovými továrnami?

Ano. Další podrobnosti najdete tady.

Jaké jsou požadavky na porty pro fungování místního prostředí Integration Runtime?

Místní prostředí Integration Runtime vytváří připojení založená na protokolu HTTP pro přístup k internetu. Odchozí porty 443 musí být otevřené pro místní prostředí Integration Runtime, aby se toto připojení našlo. Otevřený příchozí port 8060 pouze na úrovni počítače (ne na úrovni podnikové brány firewall) pro aplikaci správce přihlašovacích údajů. Pokud se jako zdroj nebo cíl používá Azure SQL Database nebo Azure Synapse Analytics, musíte otevřít také port 1433. Další informace najdete v části Konfigurace brány firewall a nastavení seznamu povolených pro IP adresy .

Další kroky

Informace o výkonu aktivity kopírování Azure Data Factory najdete v průvodci laděním a výkonem aktivity kopírování.