Muistiinpano
Tämän sivun käyttö edellyttää valtuutusta. Voit yrittää kirjautua sisään tai vaihtaa hakemistoa.
Tämän sivun käyttö edellyttää valtuutusta. Voit yrittää vaihtaa hakemistoa.
Luo hallittu suoritusympäristö, hallitse tietojen lähtemistä ja käytä pienimpiä oikeuksia samalla kun otat käyttöön suojatun salaisen salasanan käytön.
Hallittu yksityinen päätepiste (MPE)
Skenaario: Olet tietoinsinööri, joka käsittelee arkaluonteisia tietoja Fabric Sparkissa. Tietoturvatiimilläsi on vaatimus suorittaa kaikki koodit verkossa eristetyssä ympäristössä turvallisuuden parantamiseksi.
Ota hallittu virtuaaliverkko (VNets) käyttöön. Jos haluat ottaa hallitut virtuaaliverkot käyttöön, katso julkinen dokumentaatio. Fabric luo ja hallinnoi hallittavia virtuaaliverkkoja (VNets) jokaiselle Fabric-työtilalle. Ne tarjoavat verkon eristyksen Fabric Spark -työkuormille, mikä tarkoittaa, että Fabric ottaa laskentaklusterit käyttöön omassa verkossa per työtila, poistaen ne jaetusta virtuaaliverkosta.
Tuotannossa käytetään hallittuja VNettejä Spark-muistikirjojen turvalliseen suoritukseen.
Kun luot hallitun yksityisen päätepisteen (MPE), se luodaan oletusarvoisesti työtilatasolla.
Kun otat Yksityinen linkki (PL) käyttöön vuokraajatasolla, järjestelmä ottaa käyttöön hallitut virtuaaliverkot kaikille vuokraajan työtiloille. Kun otat PL-asetuksen käyttöön, järjestelmä luo hallitun virtuaaliverkon työtilalle, kun suoritat ensimmäisen Spark-työn (muistikirjan tai Spark-työn määritelmät). Järjestelmä luo myös virtuaaliverkon, kun suoritat lakehouse-operaation, kuten Load to Table -toiminnon tai taulun ylläpitotoiminnon (Optimize tai Vacuum).
Note
Kun otat hallitut virtuaalisverkot käyttöön, aloitusvarannit eivät ole käytettävissä, koska ne suoritetaan jaetussa verkossa.
Työtilan lähtevän käytön suojaus (WS OAP)
Skenaario: Olet huolissasi siitä, että joku saattaa vahingossa kirjoittaa tuotantotietoja luvattomiin kohteisiin Spark-muistikirjojen avulla, ja haluat hallita sitä.
Ota käyttöön työtilan lähtevän käytön suojaus (WS OAP). Tämä varmistaa, että lähtevä Internet-yhteys Sparkista menee vain hyväksyttyihin kohteisiin hallittujen yksityisten päätepisteiden kautta.
- Julkisten kirjastojen estäminen: Tämä estää myös julkisten kirjastojen asentamisen (PyPi, Maven jne.). Siksi sinun on pakattava kirjastosi JAR- tai Wheel-tiedostoiksi ja ladattava mukautetut kirjastot ympäristöön tai resursseihin ja asennettava % pip-asennuksella muistikirjojen sisällä. Yksi huomioitava asia on, että jos lisäät sen resursseihin ja asennat upotetulla %pip asennuksella, ympäristön julkaisuaika on lyhyempi. Tämä on hyödyllistä nopean kehityksen ja testauksen kannalta. Jos haluat käyttää paketteja uudelleen eri muistikirjoissa, on suositeltavaa julkaista ympäristöön. Toinen tapa on muodostaa yhteys yksityiseen arkistoosi. Lisätietoja on Workspacen lähtevien käyttöoikeuksien suojaus tietotekniikan työkuormien dokumentaatiossa
Skenaario: Pitäisikö WS OAP ottaa käyttöön kehitysympäristöissä?
Harkitse WS OAP:n ottamista käyttöön kehitys- tai alemmissa työtiloissa, koska se vaikuttaa kehitysprosessiin. Kun notebook- tai Spark-työmäärittelyt (SJD) on testattu julkisilla kirjastoilla, testaa sama muistikirja omilla kirjastoilla. Kun koodi on tarkistettu asianmukaisesti, ota se käyttöön korkeammissa ympäristöissä ja ota sitten WS OAP käyttöön. Jos haluat suojata edes kehitysympäristön, voit ottaa WS OAP:n käyttöön, mutta se voi haitata kehitysprosessia. Aloituspoolit eivät ole käytettävissä, kun otat WS OAP:n käyttöön.
Azure Key Vaultin (AKV) käyttäminen muistikirjasta
Skenaario: Olet tietoinsinööri ja haluat muodostaa yhteyden useisiin tietolähteisiin käyttämällä Spark Notebooksin suojattuja tunnistetietoja.
Tallenna tunnistetiedot turvallisesti Azure Key Vaultiin (AKV). Älä säilytä yhtä avainsäilöä kaikkien salaisuuksien tallentamista varten. Käytä sen sijaan useita avainsäilöjä projektien/toimialueiden perusteella, jos mahdollista.
Azure Key Vaultin (AKV) käyttäminen muistikirjasta
Verkko: Suosittelemme suojaamaan AKV:n palomuurisäännöillä, jotta pääsy voidaan käyttää vain tunnetuista verkoista. Voit kuitenkin sallia Fabric Sparkin IP-osoitteet palomuurisäännöissäsi. Jos haluat muodostaa turvallisen yhteyden suojattuihin AKV:ihin Fabric Spark -muistikirjoista, suosittelemme luomaan hallitun yksityisen päätepisteen AKV:hen. Yksi AKV voi tukea enintään 64 yksityistä päätepistettä (Azure-tilaus- ja palvelurajoitukset, kiintiöt ja rajoitukset).
Todennus: Järjestelmä suorittaa Fabric Spark -muistikirjat ja SJD:t sen käyttäjän kontekstissa, joka lähettää työt/muistikirjat. AKV:n käyttämiseksi lähettävällä käyttäjällä on oltava riittävät käyttöoikeudet salaisuuden noutamiseen ("Key Vault Secrets Officer"). Katso AKV:n parhaat käytännöt: Myönnä sovelluksille oikeus käyttää Azure-avainsäilöä Azure RBAC:n avulla.
- Voit käyttää AKV:tä notebookutilsin (aiemmin mssparkutils) avulla Notebook/SJD:tä suorittavan käyttäjän tunnistetiedoilla:
notebookutils.credentials.getSecret('<AKV URL>', 'Secret Name')Tuotannossa emme suosittele AKV:iden käyttöoikeuksien antamista prod-ympäristössä. Käytä sen sijaan palvelutilejä Key Vaultin (KV) käyttämiseen. Lähetä muistikirjat/työt palvelutilin avulla.
Joissakin tapauksissa työn lähettävällä palvelutilillä on käyttöoikeus lukea AKV:n salaisuuksia.
Joissakin tapauksissa tämä palvelutili on yleensä DevOps-tili, jolla ei ehkä ole pääsyä AKV:n salaisuuksien lukemiseen. Tällaisissa tapauksissa tunnistetietojen muodostin on hyödyllinen AKV:n käyttämisessä käyttämällä eri palvelun päänimeä (SPN).
Tässä on esimerkki Scala-koodinpätkästä:
val clientSecretCredential: ClientSecretCredential = new ClientSecretCredentialBuilder()
.clientId("<client id here>")
.clientSecret("<client secret here>")
.tenantId("<tenant id here>")
.build()
val secretClient: SecretClient = new SecretClientBuilder()
.vaultUrl("<vault url here>")
.credential(clientSecretCredential)
.buildClient()
val secretName = "<your value>"
val retrievedSecret = secretClient.getSecret(secretName)
println(s"Retrieved secret: ${retrievedSecret.getValue}")
Note
Älä koodaa koodissasi salaisuuksia tai salasanoja pelkkänä tekstinä. Käytä aina suojattua varastoa (kuten Azure Key Vaultia) salaisuuksien tallentamiseen ja noutamiseen.