Zabezpečení Fabric Spark

Vytvoření řízeného spouštěcího prostředí, řízení výchozího přenosu dat a vynucení nejnižších oprávnění při povolování zabezpečeného přístupu k tajným kódům

Spravovaný privátní koncový bod (MPE)

Scénář: Jste datový inženýr, který pracuje s citlivými daty v Fabric Sparku. Váš bezpečnostní tým musí spouštět všechny kódy v izolovaném síťovém prostředí pro lepší zabezpečení.

  • Povolení spravované virtuální sítě Informace o povolení spravovaných virtuálních sítí najdete ve veřejné dokumentaci. Fabric vytváří a spravuje spravované virtuální sítě (VNets) pro každý pracovní prostor Fabric. Poskytují síťovou izolaci pro pracovní zátěže Fabric Spark, což znamená, že Fabric nasazuje výpočetní clustery v samostatné síti pro každý pracovní prostor a odstraňuje je od sdílené virtuální sítě.

  • V produkci se používají spravované VNets pro bezpečné spouštění Spark notebooků.

  • Když vytvoříte spravovaný privátní koncový bod (MPE), vytvoří se ve výchozím nastavení na úrovni pracovního prostoru.

  • Když povolíte službu Private Link (PL) na úrovni tenanta, systém povolí spravované virtuální sítě pro všechny pracovní prostory v tenantovi. Po zapnutí nastavení PL systém vytvoří spravovanou virtuální síť pro pracovní prostor, když spustíte první Spark job (definice notebooku nebo Spark jobů). Systém také vytváří virtuální síť při provádění operace lakehouse, například při operaci Load to Table nebo údržbě stolu (optimalizace nebo vysavaní).

Poznámka:

Když povolíte spravované sítě VNet, počáteční pooly přestanou být dostupné, protože běží ve sdílené síti.

Ochrana odchozího přístupu pracovního prostoru (WS OAP)

Scénář: Máte obavy, že někdo může omylem zapisovat produkční data do neautorizovaných cílů pomocí Sparkových notebooků, a chtěli byste mít nad tím kontrolu.

Povolte ochranu odchozího přístupu pracovního prostoru (WS OAP). Tím se zajistí, že odchozí připojení k internetu ze Sparku přejde jenom do schválených cílů prostřednictvím spravovaných privátních koncových bodů. 

  • Blokování veřejných knihoven: Tím se také zablokuje instalace veřejných knihoven (z PyPi, Maven atd.). Proto je potřeba zabalit knihovny jako soubory JAR nebo Wheel a nahrát vlastní knihovny do prostředí nebo do prostředků a nainstalovat je příkazem % pip install v poznámkových blocích. Je třeba poznamenat, že pokud ho přidáte do seznamu prostředků a nainstalujete pomocí inline příkazu %pip install, zkrátí se doba publikování prostředí. To je užitečné pro rychlý vývoj a testování. Pokud chcete balíčky používat opakovaně v různých poznámkových blocích, doporučujeme je publikovat do prostředí. Další metodou je připojení k privátnímu úložišti. Další podrobnosti najdete v dokumentaci k ochraně odchozího přístupu pracovního prostoru pro úlohy přípravy dat.
Scénář: Měli byste povolit WS OAP ve vývojových prostředích?

Zvažte nezapínání WS OAP ve vývojových nebo nižších pracovních prostorech, protože má vliv na proces vývoje. Jakmile jsou definice jobů notebooku nebo Spark testovány s veřejnými knihovnami, otestujte stejný notebook s vlastními knihovnami. Po správných kontrolách kódu nasaďte do vyšších prostředí a zapněte WS OAP. Pokud chcete chránit i vývojové prostředí, můžete povolit WS OAP, ale může bránit procesu vývoje. Počáteční fondy nejsou k dispozici, pokud povolíte WS OAP.

Přístup ke službě Azure Key Vault (AKV) z poznámkového bloku

Scénář: Jste datový inženýr a chcete se připojit k více zdrojům dat pomocí zabezpečených přihlašovacích údajů z poznámkových bloků Sparku.

Bezpečně uložte přihlašovací údaje ve službě Azure Key Vault (AKV). Neuchovávejte jeden trezor klíčů pro ukládání všech tajných kódů. Místo toho použijte více trezorů klíčů na základě projektů nebo domén, pokud je to možné.

Přístup ke službě Azure Key Vault (AKV) z poznámkového bloku

  • Síť: Doporučujeme chránit AKV pomocí pravidel brány firewall, aby byl povolen přístup pouze ze známých sítí. V pravidlech brány firewall povolujete IP adresy Fabric Spark. Pokud se chcete bezpečně připojit k chráněným službám Azure Key Vault z poznámkových bloků Spark Fabric, doporučujeme vytvořit spravovaný privátní koncový bod do služby Azure Key Vault. Jedna služba AKV může podporovat maximálně 64 privátních koncových bodů (limity, kvóty a omezení předplatného a služeb Azure). 

  • Autentizace: Systém spouští Fabric Spark poznámkové bloky a SJDs v kontextu uživatele, který odesílá úlohy/notebooky. Pokud chcete získat přístup k AKV, měl by mít odesílající uživatel dostatečný přístup k načtení tajného klíče ("Key Vault Secrets Officer"). Projděte si osvědčené postupy AKV: Udělení oprávnění aplikacím pro přístup k trezoru klíčů Azure pomocí Azure RBAC.

    • Pomocí notebookutils (dříve označované jako mssparkutils) můžete přistupovat ke službě AKV pomocí přihlašovacích údajů uživatele, jenž provozuje poznámkový blok nebo SJD:

    notebookutils.credentials.getSecret('<AKV URL>', 'Secret Name')

  • V produkčním prostředí nedoporučujeme poskytovat uživatelský přístup k AKV. Místo toho použijte účty služeb pro přístup ke službě Key Vault (KV). Pomocí účtu služby odešlete poznámkové bloky nebo úlohy. 

  • V některých případech má účet služby, který odesílá úlohu, přístup ke čtení tajných kódů z AKV. 

  • V některých případech je tento účet služby obvykle účtem DevOps, který nemusí mít přístup ke čtení tajných kódů z AKV. V takových případech je nástroj pro tvorbu přihlašovacích údajů užitečný pro přístup k AKV pomocí jiného hlavního názvu služby (SPN).

Tady je ukázkový fragment kódu Scala: 

val clientSecretCredential: ClientSecretCredential = new ClientSecretCredentialBuilder()
  .clientId("<client id here>")
  .clientSecret("<client secret here>")
  .tenantId("<tenant id here>")
  .build()

val secretClient: SecretClient = new SecretClientBuilder()
  .vaultUrl("<vault url here>")
  .credential(clientSecretCredential)
  .buildClient()

val secretName = "<your value>"
val retrievedSecret = secretClient.getSecret(secretName)
println(s"Retrieved secret: ${retrievedSecret.getValue}")

Poznámka:

Nezakódujte v kódu žádné tajné kódy ani hesla ve formátu prostého textu. K ukládání a načítání tajných kódů vždy používejte zabezpečený trezor (například Azure Key Vault).

Související obsah

  • Last updated on