Doku Spark Güvenliği

Kontrollü bir çalışma ortamı oluşturun, veri çıkışını yönetin ve güvenli gizli bilgi erişimi sağlarken en az ayrıcalıklı erişim uygulayın.

Yönetilen Özel Uç Nokta (MPE)

Senaryo: Fabric Spark'ta hassas verilerle çalışan bir veri mühendisi olarak görev yapıyorsunuz. Güvenlik ekibinizin, gelişmiş güvenlik için tüm kodları ağdan yalıtılmış bir ortamda çalıştırması gerekir.

  • Yönetilen Sanal Ağı (VNet) etkinleştirin. Yönetilen sanal ağları etkinleştirmek için genel belgelere bakın. Microsoft Fabric, her Fabric çalışma alanı için yönetilen sanal ağlar (VNet) oluşturur ve yönetir. Doku Spark iş yükleri için ağ yalıtımı sağlar. Bu, Microsoft Fabric'in işlem kümelerini çalışma alanı başına ayrılmış bir ağa dağıttığı ve paylaşılan sanal ağdan kaldırdığı anlamına gelir.

  • Üretimde Spark Not Defterlerinin güvenli bir şekilde yürütülmesi için yönetilen sanal ağları kullanın.

  • Yönetilen Özel Uç Nokta (MPE) oluşturduğunuzda, varsayılan olarak çalışma alanı düzeyinde oluşturulur.

  • Kiracı düzeyinde Özel Bağlantı'yı (PL) etkinleştirdiğinizde, sistem kiracıdaki tüm çalışma alanları için yönetilen sanal ağları etkinleştirir. PL ayarını etkinleştirdikten sonra, ilk Spark işini (Not Defteri veya Spark İş Tanımları) çalıştırdığınızda sistem çalışma alanı için bir yönetilen sanal ağ oluşturur. Sistem ayrıca Tabloya Yükle veya tablo bakım işlemi (İyileştirme veya Vakum) gibi bir Lakehouse işlemi gerçekleştirdiğinizde de sanal ağı oluşturur.

Uyarı

Yönetilen sanal ağları etkinleştirdiğinizde, paylaşılan bir ağda çalıştıkları için başlangıç havuzları kullanılamaz duruma gelir.

Çalışma Alanı Giden Erişim Koruması (WS OAP)

Senaryo: Birinin Spark not defterlerini kullanarak üretim verilerini yanlışlıkla yetkisiz hedeflere yazabileceğinden endişe duyuyorsunuz ve bunu denetlemek istiyorsunuz.

Çalışma Alanı Giden Erişim Koruması'nı (WS OAP) etkinleştirin. Bu, Spark'tan giden İnternet bağlantısının yalnızca yönetilen özel uç noktalar aracılığıyla onaylanan hedeflere gitmesi sağlar. 

  • Ortak Kitaplıkları Engelleme: Bu, ortak kitaplıkların (PyPi, Maven vb.) yüklenmesini de engeller. Bu nedenle, kitaplıklarınızı JAR veya Wheel dosyaları olarak paketlemeniz, ve özel kitaplıkları ortama veya kaynak dosyalarına yüklemeniz ve Notebooks içinde pip install komutuyla yüklemeniz gerekir. Bunu kaynaklara ekleyip satır içi %pip komutuyla yüklerseniz, ortamın yayımlama süresinin daha kısa olması dikkate değer. Bu, hızlı geliştirme ve test için kullanışlıdır. Paketleri çeşitli Not Defterlerinde yeniden kullanmak için ortamda yayımlama önerilir. Başka bir yöntem de özel deponuza bağlanmaktır. Daha fazla ayrıntı için lütfen veri mühendisliği iş yükleri için çalışma alanının dışa veri çıkışı erişim koruması belgelerine başvurun
Senaryo: Geliştirme ortamlarında WS OAP'yi etkinleştirmeniz gerekir mi?

Geliştirme sürecini etkilediğinden geliştirme veya daha düşük çalışma alanlarında WS OAP'yi açmamayı göz önünde bulundurun. Not Defteri veya Spark İş Tanımları (SJD) ortak kitaplıklarla test edildikten sonra, aynı Not Defterini özel kitaplıklarla test edin. Doğru kod incelemelerinden sonra daha yüksek ortamlara dağıtın ve WS OAP'yi açın. Geliştirme ortamını bile korumak istiyorsanız WS OAP'yi etkinleştirebilirsiniz, ancak geliştirme sürecini engelleyebilir. WS OAP'yi etkinleştirdiğinizde başlangıç havuzları kullanılamaz.

Not Defteri'nden Azure Key Vault'a (AKV) erişme

Senaryo: Veri mühendisisiniz ve Spark Notebooks'un güvenli kimlik bilgilerini kullanarak birden çok veri kaynağına bağlanmak istiyorsunuz.

Kimlik bilgilerini Azure Key Vault'ta (AKV) güvenli bir şekilde depolayın. Tüm gizli bilgileri depolamak için tek bir anahtar kasası kullanmayın. Bunun yerine, mümkünse projelere/etki alanlarına göre birden çok anahtar kasası kullanın.

Not Defteri'nden Azure Key Vault'a (AKV) erişme

  • Ağ: Yalnızca bilinen ağlardan erişime izin vermek için AKV'nizi güvenlik duvarı kurallarıyla korumanızı öneririz. Ancak, güvenlik duvarı kurallarınızda Fabric Spark'ın IP adreslerine izin verirsiniz. Fabric Spark Not Defterleri'nden korumalı AKV'lere güvenli bir bağlantı sağlamak için AKV'ye yönetilen bir özel uç nokta oluşturmanızı öneririz. Bir AKV en fazla 64 özel uç noktayı (Azure aboneliği ve hizmet sınırları, kotalar ve kısıtlamalar) destekleyebilir. 

  • Kimlik doğrulama: Sistem, işleri/Not Defterlerini gönderen kullanıcının bağlamında Fabric Spark Not Defterlerini ve SJD'leri yürütür. AKV'ye erişmek için gönderen kullanıcının gizli diziyi ("Key Vault Gizli Dizi Sorumlusu") almak için yeterli erişimi olmalıdır. AKV'nin en iyi yöntemlerine bakın: Uygulamalara Azure RBAC kullanarak Azure anahtar kasasına erişim izni verme.

    • Notebook/SJD çalıştıran kullanıcının kimlik bilgilerini kullanarak AKV'ye erişmek için notebookutils (eski adıyla mssparkutils) kullanabilirsiniz:

    notebookutils.credentials.getSecret('<AKV URL>', 'Secret Name')

  • Üretim ortamında, üretim ortamındaki AKV'lere kullanıcı erişimi sağlamanızı önermiyoruz. Bunun yerine Key Vault'unuza (KV) erişmek için hizmet hesaplarını kullanın. Hizmet hesabını kullanarak not defterlerini/işleri gönderin. 

  • Bazı durumlarda, işi gönderen hizmet hesabının AKV'den gizli verileri okuma erişimi vardır. 

  • Bazı durumlarda, bu hizmet hesabı genellikle AKV'den gizli anahtarları okumaya erişimi olmayan bir DevOps hesabıdır. Böyle durumlarda, kimlik bilgisi oluşturucusu farklı bir Hizmet Asıl Adı (SPN) kullanarak AKV'ye erişmeye yardımcı olur.

Örnek Scala kod parçacığı şu şekildedir: 

val clientSecretCredential: ClientSecretCredential = new ClientSecretCredentialBuilder()
  .clientId("<client id here>")
  .clientSecret("<client secret here>")
  .tenantId("<tenant id here>")
  .build()

val secretClient: SecretClient = new SecretClientBuilder()
  .vaultUrl("<vault url here>")
  .credential(clientSecretCredential)
  .buildClient()

val secretName = "<your value>"
val retrievedSecret = secretClient.getSecret(secretName)
println(s"Retrieved secret: ${retrievedSecret.getValue}")

Uyarı

Kodunuzda gizli dizileri veya parolaları düz metin olarak sabit kodlamayın. Gizli bilgilerinizi depolamak ve almak için güvenli bir kasa (örneğin Azure Key Vault) kullanmaya her zaman dikkat edin.

İlgili içerik

  • Last updated on