Data Engineering workspace administration -asetukset Microsoft Fabric -ohjelmassa

Koskee:✅ Fabric-data-insinöörit ja datatiede

Kun luot työtilan Fabric-ohjelmassa, siihen liitetty aloituspooli luodaan automaattisesti. Fabric-pelin yksinkertaistetussa kokoonpanossa ei tarvitse valita solmu- tai konekokoja, sillä nämä vaihtoehdot hoidetaan puolestasi kulissien takana. Tämä määritys tarjoaa nopeamman (5–10 sekunnin) Apache Spark -istunnon aloituskokemuksen, jonka avulla käyttäjät voivat aloittaa ja suorittaa Apache Spark -työsi monissa yleisissä skenaarioissa ilman, että heidän tarvitsee huolehtia käsittelytoiminnon määrittämisestä. Kehittyneessä skenaariossa, jossa on tiettyjä käsittelyvaatimuksia, käyttäjät voivat luoda mukautetun Apache Spark -varannon ja muuttaa solmujen kokoa suorituskykytarpeiden mukaan.

Jotta voit tehdä muutoksia työtilan Apache Spark -asetuksiin, sinulla pitäisi olla kyseisen työtilan järjestelmänvalvojan rooli. Lisätietoja on artikkelissa Roolit työtiloissa.

Voit hallita työtilaasi liittyvän varannon Spark-asetuksia seuraavasti:

1. Siirry työtilan työtilan asetuksiin ja laajenna valikko valitsemalla Tietotekniikka/tiede-vaihtoehto :

   

2. Näet vasemmassa valikossa Spark Compute -vaihtoehdon:

   

   Muistiinpano

   Jos vaihdat oletusvarannon aloitusvarannosta mukautetuksi Spark-varannoksi, istunnon aloittaminen voi kestää noin 3 minuuttia.

Pooli

Työtilan oletusvaranto

Voit käyttää automaattisesti luotua aloitusvarantoa tai luoda mukautettuja varantoja työtilalle.

• Aloituspooli: Esiarvostetut reaaliaikaiset altaat luodaan automaattisesti, jotta käyttökokemus on nopeampi. Nämä klusterit ovat keskikokoisia. Aloitusvarannon oletusmääritykset perustuvat ostettuun Fabric-kapasiteettiin. Järjestelmänvalvojat voivat mukauttaa solmujen ja suoritusten enimmäismäärää Spark-kuormituksen skaalausvaatimusten perusteella. Lisätietoja on artikkelissa Aloitusvarannon määrittäminen

• Mukautettu Spark-varanto: Voit määrittää solmujen koon, automaattisen skaalauksen ja suoritustiedostojen dynaamisen jakamisen Spark-työvaatimusten perusteella. Jos haluat luoda mukautetun Spark-varannon, kapasiteetin järjestelmänvalvojan tulee ottaa käyttöön Mukautettujen työtilojen varannot -vaihtoehto Kapasiteetin järjestelmänvalvojan asetusten Spark Compute -osiossa.

Muistiinpano

Mukautettujen työtilavarantojen kapasiteettitason ohjausobjekti on oletusarvoisesti käytössä. Lisätietoja on artikkelissa Fabric-kapasiteettien tietotekniikan ja datatieteen asetusten määrittäminen ja hallinta.

Järjestelmänvalvojat voivat luoda mukautettuja Spark-varantoja käsittelyvaatimusten perusteella valitsemalla Uusi varanto -vaihtoehdon.

Apache Spark for Fabric tukee yksittäisiä klustereita, joiden avulla käyttäjät voivat valita vähintään 1-solmukonfiguraatioksi, jolloin ajuri ja suoritin toimivat yhdessä solmussa. Nämä yksittäiset solmuklusterit tarjoavat palautettavan suuren käytettävyyden solmuvirheiden aikana ja paremman työn luotettavuuden kuormituksille, joissa on pienempiä käsittelyvaatimuksia. Voit myös ottaa automaattisen skaalauksen käyttöön tai poistaa sen käytöstä mukautetuissa Spark-varannoissa. Kun se on otettu käyttöön automaattisen skaalauksen avulla, pooli hankkii uudet solmut käyttäjän määrittämän solmun enimmäisrajan puitteissa ja poistaa ne käytöstä työn suorittamisen jälkeen suorituskyvyn parantamiseksi.

Voit myös valita vaihtoehdon, jossa suoritettavat suoritustiedostot kohdennetaan dynaamisesti, jotta suoritusten optimaalinen määrä varannossa näkyy tietojen määrän perusteella määritetty enimmäisraja, jotta suorituskyky paranee.

Lue lisää Apache Spark -käsittelystä Fabricille.

• Mukauta kohteiden käsittelymäärityksiä: Työtilan järjestelmänvalvojana voit antaa käyttäjien säätää käsittelymäärityksiä (istuntotason ominaisuudet, joihin sisältyvät Kuljettajan/Suoritettavan koodin ydin, Kuljettajan/Suoritettavan kohteen muisti) yksittäisille kohteille, kuten muistikirjoille, Spark-työmäärityksille ympäristön avulla.

Jos työtilan järjestelmänvalvoja on poistanut asetuksen käytöstä, oletusvarantoa ja sen käsittelymäärityksiä käytetään kaikissa työtilan ympäristöissä.

Ympäristö

Ympäristö tarjoaa joustavat määritykset Spark-töiden suorittamiseen (muistikirjat, Spark-työmääritykset). Ympäristössä voit määrittää käsittelyominaisuuksia, valita erilaisia suorituspalveluita ja määrittää kirjastopaketin riippuvuussuhteet kuormitusvaatimustesi mukaan.

Ympäristö-välilehdessä voit määrittää oletusympäristön. Voit valita, mitä Spark-versiota haluat käyttää työtilassa.

Fabric-työtilan järjestelmänvalvojana voit valita ympäristön työtilan oletusympäristöksi.

Voit myös luoda uuden avattavan Ympäristö-valikon kautta.

Jos poistat käytöstä oletusympäristöasetuksen, voit valita Fabric-suorituspalveluversion avattavassa valikossa luetelluista käytettävissä olevista suorituspalveluversioista.

Lue lisää Apache Sparkin suorituspalveluista.

Projektit

Työtilan asetusten avulla järjestelmänvalvojat voivat hallita työtilan kaikkien Spark-töiden työnpääsylogiikkaa.

Oletusarvoisesti kaikki työtilat on otettu käyttöön optimistisen työn sisäänpääsyn myötä. Lue lisää Spark in Fabric -työpaikkahakemuksesta.

Voit ottaa käyttöön aktiivisten Spark-työpaikkojen ytimien varannon maksimiytimet , jos haluat poistaa optimistisen työpaikan sisäänpääsyn käytöstä ja varata maksimiytimet spark-työtehtäviinsä.

Voit myös määrittää Spark-istunnon aikakatkaisun , jos haluat mukauttaa istunnon vanhentumista kaikissa muistikirjojen vuorovaikutteisissa istunnoissa.

Muistiinpano

Vuorovaikutteisten Spark-istuntojen oletus vanhentumisaika on 20 minuuttia.

Aseta maksimityön käyttöikä

Käytä Aseta maksimityön elinikäasetusta suojana estääksesi Spark-töiden kuluttamasta laskentaa määritellyn aikarajan yli. Kun otat tämän asetuksen käyttöön ja määrität keston, Fabric lopettaa automaattisesti kaikki kelvolliset Spark-tehtävät, jotka jatkuvat pidempään kuin määritetty käyttöikä. Työtilan ylläpitäjät voivat käyttää tätä hallintaa seuraaviin tarkoituksiin:

• Pysäytä karkaavan tai jumissa olevat työt ennen kuin ne pitävät kapasiteettia loputtomasti ja estävät muut työkuormat työtilassa.
• Valvo laskennan vaatimustenmukaisuutta ja hallintopolitiikkaa rajoittamalla yksittäisen työn keston keston ajan.

Määrittääksesi sen, ota päälle Aseta maksimityön elinikä, syötä arvo, valitse aikayksikkö kuten tunnit ja valitse sitten Tallenna soveltaaksesi rajoituksen työtilaan.

Mitkä työpaikat ovat vaikutuksen alaisia.

Suurin työikä koskee vain käyttäjän lähettämiä töitä – töitä, jotka käyttäjä aloittaa nimenomaisesti ja jotka toimivat käyttäjän identiteetillä. Näihin tehtäviin kuuluvat esimerkiksi:

• Interaktiiviset ja aikataulutetut muistikirjan suoritukset, mukaan lukien muistikirjan suoritukset, jotka järjestetään putken kautta.
• Sparkin työnmäärittely käynnistyy, olitpa sitten lähettämässä niitä suoraan, aikataulun mukaan tai putkiston kautta.
• Livyn erä- ja vuorovaikutteiset sessiot, mukaan lukien korkeat samanaikaiset sessiot.

Järjestelmäohjatut työt eivät ole tämän asetuksen vaikutuksen alaisina ja jatkavat suoritustaan loppuun asti. Nämä tehtävät käynnistyvät ja hallinnoidaan Fabric puolestasi, kuten:

• Lakehouse-pöydän ylläpitotoiminnot, kuten optimointi ja imurointi.
• Materialisoitu järvinäkymä virkistyy.
• Alustatoiminnot, kuten turvallisuus ja politiikan valvonta.

Tämä ero varmistaa, että taustahuolto ja alustan toiminnot, jotka pitävät datasi ja työtilan terveenä, eivät keskeyty, kun taas käyttäjien työkuormat pysyvät rajoitusten alaisina.

Muistiinpano

Kun työ saavuttaa konfiguroidun maksimieliniän, Fabric peruuttaa sen automaattisesti. Aseta raja, joka antaa riittävästi aikaa pisimpään kestäneiden laillisten käyttäjätehtävien valmistumiselle.

Suuri samanaikaisuus

Korkean samanaikaisuustilan avulla käyttäjät voivat jakaa samat Spark-istunnot Apache Sparkissä Fabric-tietotekniikkaa ja tietojenkäsittelykuormituksia varten. Muistikirjan kaltainen kohde käyttää spark-istuntoa suorittamiseen, ja kun se on käytössä, käyttäjät voivat jakaa yksittäisen Spark-istunnon useille muistikirjoille.

Lue lisätietoja suuresta samanaikaisyydestä Apache Spark for Fabricissa.

Automaattinen lokitus Automaattianalyysipalvelut -malleille ja kokeille

Järjestelmänvalvojat voivat nyt ottaa käyttöön automaattisen lokittelun koneoppimismalleissaan ja kokeissaan. Tämä asetus tallentaa automaattisesti koneoppimismallin syöteparametrien, tulostemittareiden ja tulostekohteiden arvot harjoittamisen aikana. Lue lisätietoja automaattisesta lokista.

Liittyvä sisältö

• Lue lisää Apache Spark Runtimes in Fabricista – Yleiskatsaus, versiointi, useiden suorituksenaikaisten protokollan tuki ja Delta Lake Protocol -protokollan päivittäminen.
• Lue lisää Apache Sparkin julkisesta dokumentaatiosta.
• Etsi vastauksia usein kysyttyihin kysymyksiin: Apache Spark -työtilan hallinta-asetusten usein kysytyt kysymykset.