Důležité informace o zabezpečení přesunu dat ve službě Azure Data Factory
PLATÍ PRO:
Azure Data Factory Azure Synapse Analytics
Tip
Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.
Tento článek popisuje základní infrastrukturu zabezpečení, kterou služby přesunu dat ve službě Azure Data Factory používají k zabezpečení vašich dat. Prostředky pro správu služby Data Factory jsou založené na infrastruktuře zabezpečení Azure a využívají všechna možná bezpečnostní opatření, která nabízí Azure.
V řešení Data Factory vytváříte jeden nebo více datových kanálů. Kanál je logické seskupení aktivit, které společně provádějí úlohu. Kanály se nacházejí v oblasti, kde byla vytvořena datová továrna.
I když je služba Data Factory dostupná jenom v několika oblastech, je služba pro přesun dat dostupná globálně , aby se zajistilo dodržování předpisů, efektivita a snížení nákladů na výchozí přenos dat v síti.
Azure Data Factory včetně prostředí Azure Integration Runtime a místního prostředí Integration Runtime neukládá žádná dočasná data, data mezipaměti ani protokoly s výjimkou přihlašovacích údajů propojených služeb pro cloudová úložiště dat, která jsou šifrovaná pomocí certifikátů. Pomocí služby Data Factory vytvoříte pracovní postupy řízené daty pro orchestraci přesunu dat mezi podporovanými úložišti dat a zpracováním dat pomocí výpočetních služeb v jiných oblastech nebo v místním prostředí. K monitorování a správě pracovních postupů také můžete použít sady SDK a Azure Monitor.
Služba Data Factory je certifikovaná podle těchto norem:
| Certifikace CSA STAR |
|---|
| ISO 20000-1:2011 |
| ISO 22301:2012 |
| ISO 27001:2013 |
| ISO 27017:2015 |
| ISO 27018:2014 |
| ISO 9001:2015 |
| SOC 1, 2, 3 |
| HIPAA BAA |
| HITRUST |
Pokud vás zajímá dodržování předpisů Azure a jak Azure zabezpečuje vlastní infrastrukturu, navštivte Centrum zabezpečení Microsoftu. Nejnovější seznam všech nabídek dodržování předpisů Azure – https://aka.ms/AzureCompliance.
V tomto článku se podíváme na aspekty zabezpečení v následujících dvou scénářích přesunu dat:
- Scénář cloudu: V tomto scénáři jsou váš zdroj i cíl veřejně přístupné přes internet. Patří sem spravované služby cloudového úložiště, jako jsou Azure Storage, Azure Synapse Analytics, Azure SQL Database, Azure Data Lake Store, Amazon S3, Amazon Redshift, služby SaaS, jako jsou Salesforce a webové protokoly, jako jsou FTP a OData. Úplný seznam podporovaných zdrojů dat najdete v podporovaných úložištích a formátech dat.
- Hybridní scénář: V tomto scénáři je váš zdroj nebo cíl za bránou firewall nebo uvnitř místní podnikové sítě. Úložiště dat je také v privátní síti nebo virtuální síti (nejčastěji zdroj) a není veřejně přístupné. Do tohoto scénáře spadají také databázové servery hostované na virtuálních počítačích.
Poznámka:
Při práci s Azure doporučujeme používat modul Azure Az PowerShellu. Začněte tím, že si projdete téma Instalace Azure PowerShellu. Informace o tom, jak migrovat na modul Az PowerShell, najdete v tématu Migrace Azure PowerShellu z AzureRM na Az.
Scénáře cloudu
Zabezpečení přihlašovacích údajů úložiště dat
- Uložení šifrovaných přihlašovacích údajů ve spravovaném úložišti Azure Data Factory Data Factory pomáhá chránit přihlašovací údaje úložiště dat tím, že je šifruje pomocí certifikátů spravovaných Microsoftem. Tyto certifikáty se obměňují každých dva roky (včetně obnovení certifikátu a migrace přihlašovacích údajů). Další informace o zabezpečení azure Storage najdete v přehledu zabezpečení služby Azure Storage.
- Ukládání přihlašovacích údajů ve službě Azure Key Vault Přihlašovací údaje úložiště dat můžete také uložit do služby Azure Key Vault. Služba Data Factory načte přihlašovací údaje během provádění aktivity. Další informace najdete v tématu Ukládání přihlašovacích údajů v Azure Key Vault.
Centralizace ukládání tajných klíčů aplikací ve službě Azure Key Vault umožňuje řídit jejich distribuci. Key Vault výrazně snižuje riziko nechtěného úniku tajných klíčů. Místo uložení připojovací řetězec do kódu aplikace ji můžete bezpečně uložit ve službě Key Vault. Vaše aplikace můžou bezpečně přistupovat k potřebným informacím pomocí identifikátorů URI. Tyto identifikátory URI umožňují aplikacím načíst konkrétní verze tajného kódu. Není nutné psát vlastní kód pro ochranu jakýchkoli tajných informací uložených ve službě Key Vault.
Šifrování dat během přenosu
Pokud cloudové úložiště dat podporuje protokol HTTPS nebo TLS, všechny přenosy dat mezi službami pro přesun dat ve službě Data Factory a cloudovým úložištěm dat jsou prostřednictvím zabezpečeného kanálu HTTPS nebo TLS.
Poznámka:
Všechna připojení ke službě Azure SQL Database a Azure Synapse Analytics vyžadují šifrování (SSL/TLS) při přenosu dat do a z databáze. Při vytváření kanálu pomocí json přidejte vlastnost šifrování a nastavte ji na true v připojovací řetězec. Pro Azure Storage můžete v připojovací řetězec použít HTTPS.
Poznámka:
Pokud chcete při přesouvání dat z Oracle povolit šifrování, postupujte podle jedné z následujících možností:
- Na serveru Oracle přejděte na Oracle Advanced Security (OAS) a nakonfigurujte nastavení šifrování, které podporuje šifrování typu Triple-DES (3DES) a Advanced Encryption Standard (AES), najdete tady podrobnosti. ADF automaticky vyjedná metodu šifrování, která použije metodu, kterou nakonfigurujete v OAS při navazování připojení k Oracle.
- V ADF můžete přidat EncryptionMethod=1 v připojovací řetězec (v propojené službě). Tím se jako metoda šifrování použije protokol SSL/TLS. Pokud to chcete použít, musíte zakázat nastavení šifrování jiného typu než SSL v OAS na straně serveru Oracle, abyste se vyhnuli konfliktu šifrování.
Poznámka:
Použitá verze protokolu TLS je 1.2.
Šifrování dat v klidovém stavu
Některá úložiště dat podporují šifrování neaktivních uložených dat. Doporučujeme povolit mechanismus šifrování dat pro tato úložiště dat.
Azure Synapse Analytics
transparentní šifrování dat (TDE) ve službě Azure Synapse Analytics pomáhá chránit před hrozbou škodlivé aktivity tím, že provádí šifrování a dešifrování neaktivních uložených dat v reálném čase. Toto chování je pro klienta transparentní. Další informace najdete v tématu Zabezpečení databáze ve službě Azure Synapse Analytics.
Azure SQL Database
Azure SQL Database také podporuje transparentní šifrování dat(TDE), které pomáhá chránit před hrozbou škodlivé aktivity tím, že provádí šifrování a dešifrování dat v reálném čase, aniž by vyžadovalo změny aplikace. Toto chování je pro klienta transparentní. Další informace najdete v tématu Transparentní šifrování dat pro SLUŽBU SQL Database a Data Warehouse.
Azure Data Lake Store
Azure Data Lake Store také poskytuje šifrování dat uložených v účtu. Pokud je tato možnost povolená, Služba Data Lake Store před uložením a dešifrováním před načtením automaticky šifruje data, aby byla transparentní pro klienta, který k datům přistupuje. Další informace najdete v tématu Zabezpečení ve službě Azure Data Lake Store.
Azure Blob Storage a Azure Table Storage
Azure Blob Storage a Azure Table Storage podporují šifrování služby Storage (SSE), které před načtením automaticky šifruje vaše data před uložením a dešifrováním. Další informace najdete v tématu Šifrování služby Azure Storage pro neaktivní uložená data.
Amazon S3
Amazon S3 podporuje šifrování neaktivních uložených dat klienta i serveru. Další informace naleznete v tématu Ochrana dat pomocí šifrování.
Amazon Redshift
Amazon Redshift podporuje šifrování neaktivních uložených dat v clusteru. Další informace naleznete v tématu Amazon Redshift Database Encryption.
Salesforce
Salesforce podporuje šifrování štítové platformy, které umožňuje šifrování všech souborů, příloh a vlastních polí. Další informace najdete v tématu Principy toku ověřování OAuth webového serveru.
Hybridní scénáře
Hybridní scénáře vyžadují, aby se místní prostředí Integration Runtime nainstalovalo v místní síti, uvnitř virtuální sítě (Azure) nebo ve virtuálním privátním cloudu (Amazon). Místní prostředí Integration Runtime musí mít přístup k místním úložištům dat. Další informace o místním prostředí Integration Runtime najdete v tématu Vytvoření a konfigurace místního prostředí Integration Runtime.
Kanál příkazů umožňuje komunikaci mezi službami přesunu dat ve službě Data Factory a místním prostředím Integration Runtime. Komunikace obsahuje informace související s aktivitou. Datový kanál slouží k přenosu dat mezi místními úložišti dat a cloudovými úložišti dat.
Přihlašovací údaje místního úložiště dat
Přihlašovací údaje mohou být uloženy v datové továrně nebo na které odkazuje datová továrna během modulu runtime ze služby Azure Key Vault. Pokud ukládáte přihlašovací údaje v rámci datové továrny, vždy se uloží zašifrovaný v místním prostředí Integration Runtime.
Uložte přihlašovací údaje místně. Pokud přímo použijete rutinu Set-AzDataFactoryV2LinkedService s připojovací řetězec a přihlašovacími údaji v kódu JSON, propojená služba se zašifruje a uloží v místním prostředí Integration Runtime. V takovém případě přihlašovací údaje procházejí back-endovou službou Azure, což je extrémně zabezpečené, do místního počítače integrace, kde je nakonec zašifrovaný a uložený. Místní prostředí Integration Runtime používá rozhraní Windows DPAPI k šifrování citlivých dat a informací o přihlašovacích údajích.
Ukládání přihlašovacích údajů ve službě Azure Key Vault Přihlašovací údaje úložiště dat můžete také uložit do služby Azure Key Vault. Služba Data Factory načte přihlašovací údaje během provádění aktivity. Další informace najdete v tématu Ukládání přihlašovacích údajů v Azure Key Vault.
Přihlašovací údaje můžete ukládat místně bez toku přihlašovacích údajů prostřednictvím back-endu Azure do místního prostředí Integration Runtime. Pokud chcete šifrovat a ukládat přihlašovací údaje místně v místním prostředí Integration Runtime bez nutnosti toku přihlašovacích údajů prostřednictvím back-endu datové továrny, postupujte podle pokynů v tématu Šifrování přihlašovacích údajů pro místní úložiště dat ve službě Azure Data Factory. Tuto možnost podporují všechny konektory. Místní prostředí Integration Runtime používá rozhraní Windows DPAPI k šifrování citlivých dat a informací o přihlašovacích údajích.
Pomocí rutiny New-AzDataFactoryV2LinkedServiceEncryptedCredential zašifrujte přihlašovací údaje propojené služby a citlivé podrobnosti v propojené službě. Pak můžete pomocí vráceného kódu JSON (s elementem EncryptedCredential v připojovací řetězec) vytvořit propojenou službu pomocí rutiny Set-AzDataFactoryV2LinkedService.
Porty používané při šifrování propojené služby v místním prostředí Integration Runtime
Pokud je ve výchozím nastavení povolený vzdálený přístup z intranetu, PowerShell pro zabezpečenou komunikaci používá na počítači port 8060 s místním prostředím Integration Runtime. V případě potřeby lze tento port změnit z Configuration Manageru prostředí Integration Runtime na kartě Nastavení:
Šifrování během přenosu
Všechny přenosy dat jsou prostřednictvím zabezpečeného kanálu HTTPS a TLS přes protokol TCP, aby se zabránilo útokům typu man-in-the-middle během komunikace se službami Azure.
K dalšímu zabezpečení komunikačního kanálu mezi vaší místní sítí a Azure můžete použít ipSec VPN nebo Azure ExpressRoute .
Azure Virtual Network je logická reprezentace vaší sítě v cloudu. Místní síť můžete připojit k virtuální síti nastavením sítě IPSec VPN (site-to-site) nebo ExpressRoute (privátní partnerský vztah).
Následující tabulka shrnuje doporučení konfigurace prostředí Integration Runtime v síti a místním prostředí na základě různých kombinací zdrojových a cílových umístění pro hybridní přesun dat.
| Zdroj | Cíl | Konfigurace sítě | Instalace prostředí Integration Runtime |
|---|---|---|---|
| Místní | Virtuální počítače a cloudové služby nasazené ve virtuálních sítích | IPSec VPN (point-to-site nebo site-to-site) | Místní prostředí Integration Runtime by se mělo nainstalovat na virtuální počítač Azure ve virtuální síti. |
| Místní | Virtuální počítače a cloudové služby nasazené ve virtuálních sítích | ExpressRoute (privátní partnerský vztah) | Místní prostředí Integration Runtime by se mělo nainstalovat na virtuální počítač Azure ve virtuální síti. |
| Místní | Služby založené na Azure, které mají veřejný koncový bod | ExpressRoute (partnerský vztah Microsoftu) | Místní prostředí Integration Runtime je možné nainstalovat místně nebo na virtuální počítač Azure. |
Následující obrázky ukazují použití místního prostředí Integration Runtime k přesouvání dat mezi místní databází a službami Azure pomocí ExpressRoute a IPSec VPN (s Azure Virtual Network):
Express Route
IPSec VPN
Konfigurace brány firewall a nastavení seznamu povolených ip adres
Poznámka:
Možná budete muset spravovat porty nebo nastavit seznam povolených domén na úrovni podnikové brány firewall podle požadavků příslušných zdrojů dat. Tato tabulka jako příklady používá pouze Azure SQL Database, Azure Synapse Analytics a Azure Data Lake Store.
Poznámka:
Podrobnosti o strategiích přístupu k datům prostřednictvím služby Azure Data Factory najdete v tomto článku.
Požadavky na bránu firewall pro místní nebo privátní síť
Podniková brána firewall běží na centrálním směrovači organizace. Brána Windows Firewall běží na místním počítači, ve kterém je nainstalovaný místní prostředí Integration Runtime, jako démon.
Následující tabulka obsahuje požadavky na odchozí port a doménu pro podnikové brány firewall:
| Názvy domén | Odchozí porty | Popis |
|---|---|---|
*.servicebus.windows.net |
443 | Vyžaduje místní prostředí Integration Runtime pro interaktivní vytváření. |
{datafactory}.{region}.datafactory.azure.netnebo *.frontend.clouddatahub.net |
443 | Vyžaduje místní prostředí Integration Runtime pro připojení ke službě Data Factory. Pro novou vytvořenou službu Data Factory vyhledejte plně kvalifikovaný název domény z klíče místního prostředí Integration Runtime, který je ve formátu {datafactory}. {region}.datafactory.azure.net. Pokud v původní službě Data Factory nevidíte plně kvalifikovaný název domény v místním integračním klíči, použijte místo toho *.frontend.clouddatahub.net. |
download.microsoft.com |
443 | Ke stažení aktualizací vyžaduje místní prostředí Integration Runtime. Pokud jste zakázali automatickou aktualizaci, můžete přeskočit konfiguraci této domény. |
*.core.windows.net |
443 | Prostředí Integration Runtime v místním prostředí se používá k připojení k účtu úložiště Azure při použití funkce fázované kopie . |
*.database.windows.net |
1433 | Vyžaduje se pouze v případě, že kopírujete z azure SQL Database nebo Azure Synapse Analytics nebo do azure Synapse Analytics a v opačném případě je volitelné. Pomocí funkce fázovaného kopírování můžete kopírovat data do SLUŽBY SQL Database nebo Azure Synapse Analytics bez otevření portu 1433. |
*.azuredatalakestore.netlogin.microsoftonline.com/<tenant>/oauth2/token |
443 | Povinné pouze v případě, že kopírujete z Azure Data Lake Store nebo do Azure Data Lake Store a v opačném případě je volitelné. |
Poznámka:
Možná budete muset spravovat porty nebo nastavit seznam povolených domén na úrovni podnikové brány firewall podle požadavků příslušných zdrojů dat. Tato tabulka jako příklady používá pouze Azure SQL Database, Azure Synapse Analytics a Azure Data Lake Store.
Následující tabulka obsahuje požadavky na příchozí porty pro bránu Windows Firewall:
| Příchozí porty | Popis |
|---|---|
| 8060 (TCP) | Vyžaduje se šifrovací rutina PowerShellu, jak je popsáno v části Šifrování přihlašovacích údajů pro místní úložiště dat ve službě Azure Data Factory, a aplikace správce přihlašovacích údajů k bezpečnému nastavení přihlašovacích údajů pro místní úložiště dat v místním prostředí Integration Runtime. |
Konfigurace IP adres a nastavení seznamu povolených v úložištích dat
Některá úložiště dat v cloudu také vyžadují, abyste povolili IP adresu počítače, který přistupuje k úložišti. Ujistěte se, že je v bráně firewall povolená nebo nakonfigurovaná IP adresa počítače místního prostředí Integration Runtime.
Následující cloudová úložiště dat vyžadují, abyste povolili IP adresu počítače s místním prostředím Integration Runtime. Některá z těchto úložišť dat nemusí ve výchozím nastavení vyžadovat seznam povolených.
Nejčastější dotazy
Je možné místní prostředí Integration Runtime sdílet napříč různými datovými továrnami?
Ano. Další podrobnosti najdete tady.
Jaké jsou požadavky na port pro fungování místního prostředí Integration Runtime?
Místní prostředí Integration Runtime vytváří připojení založená na protokolu HTTP pro přístup k internetu. Aby se toto připojení provedlo, musí být pro místní prostředí Integration Runtime otevřené odchozí porty 443. Otevřete příchozí port 8060 pouze na úrovni počítače (ne na úrovni podnikové brány firewall) pro aplikaci správce přihlašovacích údajů. Pokud se azure SQL Database nebo Azure Synapse Analytics používá jako zdroj nebo cíl, musíte otevřít i port 1433. Další informace najdete v části Konfigurace brány firewall a seznam povolených nastavení PRO IP adresy .
Související obsah
Informace o výkonu aktivity kopírování ve službě Azure Data Factory najdete v průvodci laděním a výkonem aktivity kopírování.