Azure Data Factory’de veri taşıma işlemlerinde güvenlikle ilgili dikkat edilmesi gerekenler

ŞUNLAR IÇIN GEÇERLIDIR: Azure Synapse Analytics Azure Data Factory

Bu makalede, Azure Data Factory'daki veri taşıma hizmetlerinin verilerinizin güvenliğini sağlamaya yardımcı olmak için kullandığı temel güvenlik altyapısı açıklanmaktadır. Data Factory yönetim kaynakları Azure güvenlik altyapısı üzerine kurulmuştur ve Azure tarafından sunulan tüm olası güvenlik önlemlerini kullanır.

Bir Data Factory çözümünde bir veya daha fazla işlem hattı oluşturursunuz. İşlem hattı, bir görevi gerçekleştiren etkinliklerden oluşan mantıksal gruptur. Bu işlem hatları, veri fabrikasının oluşturulduğu bölgede yer alır.

Data Factory yalnızca birkaç bölgede kullanılabilse de veri taşıma hizmeti, veri uyumluluğu, verimlilik ve düşük ağ çıkış maliyetleri sağlamak için küresel olarak kullanılabilir .

Azure Integration Runtime ve Şirket içinde barındırılan Integration Runtime dahil Azure Data Factory, bulut veri depoları için bağlı hizmet kimlik bilgileri dışında, sertifikalar kullanılarak şifrelenen geçici veriler, önbellek verileri veya günlükler depolamaz. Data Factory ile, desteklenen veri depoları arasında veri hareketini ve diğer bölgelerdeki veya şirket içi ortamdaki işlem hizmetlerini kullanarak verilerin işlenmesini düzenleyen veri temelli iş akışları oluşturursunuz. Ayrıca SDK'ları ve Azure İzleyici'yi kullanarak iş akışlarını izleyebilir ve yönetebilirsiniz.

Data Factory aşağıdakiler için onaylanmıştır:

CSA STAR Sertifikasyonu
ISO 20000-1:2011
ISO 22301:2012
ISO 27001:2013
ISO 27017:2015
ISO 27018:2014
ISO 9001:2015
SOC 1, 2, 3
HIPAA BAA
HITRUST

Azure uyumluluğu ve Azure'ın kendi altyapısını nasıl güvence altına aldığıyla ilgileniyorsanız Microsoft Güven Merkezi'ni ziyaret edin. Tüm Azure Uyumluluk tekliflerinin en son listesi için - https://aka.ms/AzureComplianceseçeneğini işaretleyin.

Bu makalede, aşağıdaki iki veri taşıma senaryosunda güvenlikle ilgili dikkat edilmesi gerekenler gözden geçirilmelidir:

  • Bulut senaryosu: Bu senaryoda hem kaynağınıza hem de hedefinize İnternet üzerinden genel erişim sağlanır. Bunlar Azure Depolama, Azure Synapse Analytics, Azure SQL Veritabanı, Azure Data Lake Store, Amazon S3, Amazon Redshift, Salesforce gibi SaaS hizmetleri ve FTP ve OData gibi web protokolleri gibi yönetilen bulut depolama hizmetlerini içerir. Desteklenen veri depoları ve biçimlerinde desteklenen veri kaynaklarının tam listesini bulun.
  • Karma senaryo: Bu senaryoda, kaynağınız veya hedefiniz bir güvenlik duvarının arkasında veya şirket içi kurumsal ağın içindedir. Ya da veri deposu özel bir ağda veya sanal ağdadır (çoğu zaman kaynaktır) ve genel olarak erişilebilir değildir. Sanal makinelerde barındırılan veritabanı sunucuları da bu senaryo kapsamındadır.

Not

Azure ile etkileşime geçmek için Azure Az PowerShell modülünü kullanmanızı öneririz. Başlamak için bkz. Azure PowerShell yükleme. Az PowerShell modülüne nasıl geçeceğinizi öğrenmek için bkz. Azure PowerShell’i AzureRM’den Az’ye geçirme.

Bulut senaryoları

Veri deposu kimlik bilgilerinin güvenliğini sağlama

  • Şifrelenmiş kimlik bilgilerini Azure Data Factory yönetilen bir depoda depolayın. Data Factory, veri deposu kimlik bilgilerinizi Microsoft tarafından yönetilen sertifikalarla şifreleyerek korumaya yardımcı olur. Bu sertifikalar iki yılda bir döndürülür (sertifika yenileme ve kimlik bilgilerinin geçişini içerir). Azure Depolama güvenliği hakkında daha fazla bilgi için bkz. Azure Depolama güvenliğine genel bakış.
  • Kimlik bilgilerini Azure Key Vault'de depolayın. Veri deposunun kimlik bilgilerini Azure Key Vault'da da depolayabilirsiniz. Data Factory, bir etkinliğin yürütülmesi sırasında kimlik bilgilerini alır. Daha fazla bilgi için bkz. Azure Key Vault'ta kimlik bilgilerini depolama.

Aktarım sırasında veri şifreleme

Bulut veri deposu HTTPS veya TLS'yi destekliyorsa, Data Factory'deki veri taşıma hizmetleri ile bulut veri deposu arasındaki tüm veri aktarımları güvenli kanal HTTPS veya TLS üzerinden gerçekleşir.

Not

Azure SQL Veritabanı ve Azure Synapse Analytics'e yönelik tüm bağlantılar, veriler veritabanına aktarılırken ve veritabanından aktarılırken şifreleme (SSL/TLS) gerektirir. JSON kullanarak işlem hattı yazarken, şifreleme özelliğini ekleyin ve bağlantı dizesinde true olarak ayarlayın. Azure Depolama için bağlantı dizesinde HTTPS kullanabilirsiniz.

Not

Oracle'dan veri taşırken aktarım sırasında şifrelemeyi etkinleştirmek için aşağıdaki seçeneklerden birini izleyin:

  1. Oracle sunucusunda Oracle Advanced Security'ye (OAS) gidin ve Üçlü DES Şifrelemesi (3DES) ve Gelişmiş Şifreleme Standardı'nı (AES) destekleyen şifreleme ayarlarını yapılandırın. Ayrıntılar için buraya bakın. ADF, Oracle ile bağlantı kurarken OAS'de yapılandırdığınız şifreleme yöntemini kullanmak için otomatik olarak anlaşma sağlar.
  2. ADF'de, bağlantı dizesine (Bağlı Hizmet'te) EncryptionMethod=1 ekleyebilirsiniz. Bu işlem şifreleme yöntemi olarak SSL/TLS kullanır. Bunu kullanmak için şifreleme çakışmasını önlemek için Oracle sunucu tarafında OAS'de SSL olmayan şifreleme ayarlarını devre dışı bırakmanız gerekir.

Not

Kullanılan TLS sürümü 1.2'dir.

Bekleme sırasında veri şifrelemesi

Bazı veri depoları bekleyen verilerin şifrelenmesini destekler. Bu veri depoları için veri şifreleme mekanizmasını etkinleştirmenizi öneririz.

Azure Synapse Analytics

Azure Synapse Analytics'teki Saydam Veri Şifrelemesi (TDE), bekleyen verilerinizin gerçek zamanlı şifrelemesini ve şifresini çözmeyi gerçekleştirerek kötü amaçlı etkinlik tehdidine karşı korumaya yardımcı olur. Bu davranış istemci için saydamdır. Daha fazla bilgi için bkz. Azure Synapse Analytics'te veritabanının güvenliğini sağlama.

Azure SQL Veritabanı

Azure SQL Veritabanı ayrıca, uygulamada değişiklik yapılmasına gerek kalmadan verilerin gerçek zamanlı şifrelemesini ve şifresini çözmeyi gerçekleştirerek kötü amaçlı etkinlik tehdidine karşı korumaya yardımcı olan saydam veri şifrelemesini (TDE) destekler. Bu davranış istemci için saydamdır. Daha fazla bilgi için bkz. SQL Veritabanı ve Data Warehouse için saydam veri şifrelemesi.

Azure Data Lake Store

Azure Data Lake Store, hesapta depolanan veriler için de şifreleme sağlar. Etkinleştirildiğinde, Data Lake Store verileri kalıcı hale getirmeden önce otomatik olarak şifreler ve alınmadan önce şifrelerini çözer ve verilere erişen istemci için saydam hale getirir. Daha fazla bilgi için bkz. Azure Data Lake Store'da güvenlik.

Azure Blob depolama ve Azure Tablo depolama

Azure Blob depolama ve Azure Tablo depolama, depolamaya devam etmeden önce verilerinizi otomatik olarak şifreleyen ve alma öncesinde şifrelerini çözen Depolama Hizmeti Şifrelemesi'ni (SSE) destekler. Daha fazla bilgi için bkz. Bekleyen Veriler için Azure Depolama Hizmeti Şifrelemesi.

Amazon S3

Amazon S3 bekleyen verilerin hem istemci hem de sunucu şifrelemesini destekler. Daha fazla bilgi için bkz. Şifreleme Kullanarak Verileri Koruma.

Amazon Redshift

Amazon Redshift bekleyen veriler için küme şifrelemesini destekler. Daha fazla bilgi için bkz. Amazon Redshift Veritabanı Şifrelemesi.

Salesforce

Salesforce, tüm dosyaların, eklerin ve özel alanların şifrelenmesini sağlayan Shield Platform Şifrelemesini destekler. Daha fazla bilgi için bkz. Web Sunucusu OAuth Kimlik Doğrulama Akışını Anlama.

Karma senaryolar

Karma senaryolar şirket içinde barındırılan tümleştirme çalışma zamanının şirket içi bir ağa, bir sanal ağa (Azure) veya bir sanal özel buluta (Amazon) yüklenmesini gerektirir. Şirket içi barındırılan tümleştirme çalışma zamanının yerel veri depolarına erişebilmesi gerekir. Şirket içi barındırılan tümleştirme çalışma zamanı hakkında daha fazla bilgi için bkz. Şirket içi barındırılan tümleştirme çalışma zamanı oluşturma ve yapılandırma.

şirket içi barındırılan tümleştirme çalışma zamanı kanalları

Komut kanalı, Data Factory'deki veri taşıma hizmetleri ile şirket içinde barındırılan tümleştirme çalışma zamanı arasında iletişime olanak tanır. İletişim, etkinlikle ilgili bilgileri içerir. Veri kanalı, şirket içi veri depoları ile bulut veri depoları arasında veri aktarmak için kullanılır.

Şirket içi veri deposu kimlik bilgileri

Kimlik bilgileri, Azure Key Vault çalışma zamanı sırasında veri fabrikasında depolanabilir veya veri fabrikası tarafından başvurulabilir. Veri fabrikasında kimlik bilgileri depolanıyorsa, her zaman şirket içinde barındırılan tümleştirme çalışma zamanında şifrelenmiş olarak depolanır.

  • Kimlik bilgilerini yerel olarak depolayın. Bağlantı dizeleri ve kimlik bilgileri JSON'da satır içi olarak Set-AzDataFactoryV2LinkedService cmdlet'ini doğrudan kullanırsanız, bağlı hizmet şifrelenir ve şirket içinde barındırılan tümleştirme çalışma zamanında depolanır. Bu durumda kimlik bilgileri, son derece güvenli olan Azure arka uç hizmetinden, son olarak şifrelenip depolandığı şirket içinde barındırılan tümleştirme makinesine akar. Şirket içinde barındırılan tümleştirme çalışma zamanı, hassas verileri ve kimlik bilgileri bilgilerini şifrelemek için Windows DPAPI kullanır.

  • Kimlik bilgilerini Azure Key Vault'da depolayın. Veri deposunun kimlik bilgilerini Azure Key Vault'da da depolayabilirsiniz. Data Factory, etkinliğin yürütülmesi sırasında kimlik bilgilerini alır. Daha fazla bilgi için bkz. Azure Key Vault'ta kimlik bilgilerini depolama.

  • Kimlik bilgilerini Azure arka ucu üzerinden şirket içinde barındırılan tümleştirme çalışma zamanına akmadan yerel olarak depolayın. Kimlik bilgilerini veri fabrikası arka ucu üzerinden akışa almak zorunda kalmadan şirket içinde barındırılan tümleştirme çalışma zamanında yerel olarak şifrelemek ve depolamak istiyorsanız, Azure Data Factory'da şirket içi veri depoları için kimlik bilgilerini şifreleme bölümündeki adımları izleyin. Tüm bağlayıcılar bu seçeneği destekler. Şirket içinde barındırılan tümleştirme çalışma zamanı, hassas verileri ve kimlik bilgileri bilgilerini şifrelemek için Windows DPAPI kullanır.

  • Bağlı hizmet kimlik bilgilerini ve bağlı hizmetteki hassas ayrıntıları şifrelemek için New-AzDataFactoryV2LinkedServiceEncryptedCredential cmdlet'ini kullanın. Ardından Döndürülen JSON'u (bağlantı dizesindeki EncryptedCredential öğesiyle) kullanarak Set-AzDataFactoryV2LinkedService cmdlet'ini kullanarak bağlı bir hizmet oluşturabilirsiniz.

Şirket içinde barındırılan tümleştirme çalışma zamanında bağlı hizmeti şifrelerken kullanılan bağlantı noktaları

Varsayılan olarak, intranetten uzaktan erişim etkinleştirildiğinde PowerShell güvenli iletişim için şirket içinde barındırılan tümleştirme çalışma zamanına sahip makinede 8060 numaralı bağlantı noktasını kullanır. Gerekirse, bu bağlantı noktası Ayarlar sekmesindeki Integration Runtime Configuration Manager değiştirilebilir:

Integration Runtime Configuration Manager Ayarlar sekmesi

Ağ geçidi için HTTPS bağlantı noktası

Aktarım sırasında şifreleme

Tüm veri aktarımları, Azure hizmetleriyle iletişim sırasında ortadaki adam saldırılarını önlemek için TCP üzerinden güvenli kanal HTTPS ve TLS üzerinden gerçekleştirilir.

Şirket içi ağınızla Azure arasındaki iletişim kanalının güvenliğini daha da sağlamak için IPSec VPN veya Azure ExpressRoute'u da kullanabilirsiniz.

Azure Sanal Ağ, ağınızın bulutta mantıksal bir gösterimidir. IPSec VPN (siteden siteye) veya ExpressRoute (özel eşleme) ayarlayarak bir şirket içi ağı sanal ağınıza bağlayabilirsiniz.

Aşağıdaki tabloda, karma veri taşıma için farklı kaynak ve hedef konum birleşimlerine dayalı ağ ve şirket içinde barındırılan tümleştirme çalışma zamanı yapılandırma önerileri özetlenmektedir.

Kaynak Hedef Ağ yapılandırması Tümleştirme çalışma zamanı kurulumu
Şirket içi Sanal ağlara dağıtılan sanal makineler ve bulut hizmetleri IPSec VPN (noktadan siteye veya siteden siteye) Şirket içinde barındırılan tümleştirme çalışma zamanı, sanal ağdaki bir Azure sanal makinesine yüklenmelidir.
Şirket içi Sanal ağlara dağıtılan sanal makineler ve bulut hizmetleri ExpressRoute (özel eşleme) Şirket içinde barındırılan tümleştirme çalışma zamanı, sanal ağdaki bir Azure sanal makinesine yüklenmelidir.
Şirket içi Genel uç noktası olan Azure tabanlı hizmetler ExpressRoute (Microsoft eşlemesi) Şirket içinde barındırılan tümleştirme çalışma zamanı şirket içinde veya bir Azure sanal makinesine yüklenebilir.

Aşağıdaki görüntülerde, ExpressRoute ve IPSec VPN (Azure Sanal Ağ ile) kullanarak şirket içi veritabanı ile Azure hizmetleri arasında veri taşımak için şirket içinde barındırılan tümleştirme çalışma zamanının kullanımı gösterilmektedir:

Express Route

ExpressRoute'u ağ geçidiyle kullanma

IPSec VPN

Ağ geçidi ile IPSec VPN

IP adresleri için güvenlik duvarı yapılandırmaları ve izin listesi ayarlama

Not

İlgili veri kaynaklarının gerektirdiği şekilde şirket güvenlik duvarı düzeyinde etki alanları için bağlantı noktalarını yönetmeniz veya izin verme listesi ayarlamanız gerekebilir. Bu tabloda örnek olarak yalnızca Azure SQL Veritabanı, Azure Synapse Analytics ve Azure Data Lake Store kullanılır.

Not

Azure Data Factory aracılığıyla veri erişim stratejileri hakkında ayrıntılı bilgi için bu makaleye bakın.

Şirket içi/özel ağ için güvenlik duvarı gereksinimleri

Bir kuruluşta, kurumsal güvenlik duvarı kuruluşun merkezi yönlendiricisinde çalışır. Windows Güvenlik Duvarı, şirket içinde barındırılan tümleştirme çalışma zamanının yüklü olduğu yerel makinede bir daemon olarak çalışır.

Aşağıdaki tabloda, şirket güvenlik duvarları için giden bağlantı noktası ve etki alanı gereksinimleri sağlanır:

Etki alanı adları Giden bağlantı noktaları Description
*.servicebus.windows.net 443 Etkileşimli yazma için şirket içinde barındırılan tümleştirme çalışma zamanı tarafından gereklidir.
{datafactory}.{region}.datafactory.azure.net
veya *.frontend.clouddatahub.net
443 Data Factory hizmetine bağlanmak için şirket içinde barındırılan tümleştirme çalışma zamanı tarafından gereklidir.
Yeni oluşturulan Data Factory için lütfen {datafactory} biçimindeki Şirket içinde barındırılan Integration Runtime anahtarınızdan FQDN'yi bulun.{ region}.datafactory.azure.net. Eski Data factory için şirket içinde barındırılan Tümleştirme anahtarınızda FQDN'yi görmüyorsanız lütfen bunun yerine *.frontend.clouddatahub.net kullanın.
download.microsoft.com 443 Güncelleştirmeleri indirmek için şirket içinde barındırılan tümleştirme çalışma zamanı tarafından gereklidir. Otomatik güncelleştirmeyi devre dışı bırakmışsanız, bu etki alanını yapılandırmayı atlayabilirsiniz.
*.core.windows.net 443 Aşamalı kopyalama özelliğini kullandığınızda Azure depolama hesabına bağlanmak için şirket içinde barındırılan tümleştirme çalışma zamanı tarafından kullanılır.
*.database.windows.net 1433 Yalnızca Azure SQL Veritabanından veya Azure Synapse Analytics'ten kopyaladığınızda ve aksi takdirde isteğe bağlı olarak gereklidir. 1433 numaralı bağlantı noktasını açmadan verileri SQL Veritabanı veya Azure Synapse Analytics'e kopyalamak için aşamalı kopyalama özelliğini kullanın.
*.azuredatalakestore.net
login.microsoftonline.com/<tenant>/oauth2/token
443 Yalnızca Azure Data Lake Store'dan veya Azure Data Lake Store'a kopyaladığınızda ve aksi takdirde isteğe bağlı olarak gereklidir.

Not

İlgili veri kaynaklarının gerektirdiği şekilde şirket güvenlik duvarı düzeyinde etki alanları için bağlantı noktalarını yönetmeniz veya izin verme listesi ayarlamanız gerekebilir. Bu tabloda örnek olarak yalnızca Azure SQL Veritabanı, Azure Synapse Analytics ve Azure Data Lake Store kullanılır.

Aşağıdaki tablo, Windows Güvenlik Duvarı için gelen bağlantı noktası gereksinimlerini sağlar:

Gelen bağlantı noktaları Description
8060 (TCP) Azure Data Factory'da şirket içi veri depoları için kimlik bilgilerini şifreleme bölümünde açıklandığı gibi PowerShell şifreleme cmdlet'i ve şirket içinde barındırılan tümleştirme çalışma zamanında şirket içi veri depoları için kimlik bilgilerini güvenli bir şekilde ayarlamak için kimlik bilgisi yöneticisi uygulaması tarafından gereklidir.

Ağ geçidi bağlantı noktası gereksinimleri

Veri depolarında IP yapılandırmaları ve izin listesi ayarlama

Buluttaki bazı veri depoları, depoya erişen makinenin IP adresine izin vermenizi de gerektirir. Şirket içinde barındırılan tümleştirme çalışma zamanı makinesinin IP adresine güvenlik duvarında uygun şekilde izin verildiğinden veya yapılandırıldığından emin olun.

Aşağıdaki bulut veri depoları, şirket içinde barındırılan tümleştirme çalışma zamanı makinesinin IP adresine izin vermenizi gerektirir. Bu veri depolarından bazıları varsayılan olarak izin listesi gerektirmeyebilir.

Sık sorulan sorular

Şirket içinde barındırılan tümleştirme çalışma zamanı farklı veri fabrikaları arasında paylaşılabilir mi?

Evet. Burada daha fazla ayrıntı bulabilirsiniz.

Şirket içi barındırılan tümleştirme çalışma zamanının çalışması için bağlantı noktası gereksinimleri nelerdir?

Şirket içi barındırılan tümleştirme çalışma zamanı, İnternet'e erişmek için HTTP tabanlı bağlantılar oluşturur. Bu bağlantının yapılabilmesi için şirket içi barındırılan tümleştirme çalışma zamanı için 443 giden bağlantı noktalarının açılması gerekir. Kimlik bilgisi yöneticisi uygulaması için gelen bağlantı noktası 8060'ı yalnızca makine düzeyinde (kurumsal güvenlik duvarı düzeyinde değil) açın. Kaynak veya hedef olarak Azure SQL Veritabanı veya Azure Synapse Analytics kullanılıyorsa 1433 numaralı bağlantı noktasını da açmanız gerekir. Daha fazla bilgi için Güvenlik duvarı yapılandırmaları ve IP adresleri için izin listesi ayarlama bölümüne bakın.

Sonraki adımlar

Kopyalama Etkinliği performansı Azure Data Factory hakkında bilgi için bkz. Kopyalama Etkinliği performansı ve ayarlama kılavuzu.