Jaa


Spark-käsittelymääritykset Fabric-ympäristöissä

Microsoft Fabric Data Engineering- ja Data Science -kokemukset toimivat täysin hallitussa Spark-käsittelyympäristössä. Tämä ympäristö on suunniteltu tarjoamaan vertaansa vailla olevaa nopeutta ja tehokkuutta. Se sisältää aloitusaltaat ja mukautetut altaat.

Fabric-ympäristö sisältää kokoelman kokoonpanoja, kuten Spark-käsittelyominaisuuksia, joiden avulla voit määrittää Spark-istunnon sen jälkeen, kun ne on liitetty muistikirjoihin ja Spark-työtehtäviin. Ympäristössä on joustava tapa mukauttaa käsittelymäärityksiä Spark-töiden suorittamista varten.

Määritä asetukset

Työtilan järjestelmänvalvojana voit ottaa käyttöön tai poistaa käytöstä käsittelyn mukautuksia.

  1. Valitse Työtilan asetukset -ruudussa Tietotekniikka/tiede -osa.

  2. Ota Varanto-välilehdessäkohteiden käsittelymääritysten mukauttaminenkäyttöön.

    Voit myös delegoida jäseniä ja osallistujia, jos haluat muuttaa oletusarvoisia istuntotason käsittelymäärityksiä Fabric-ympäristössä, ottamalla tämän asetuksen käyttöön.

    Näyttökuva, jossa näkyy kohdetason laskennan mukautusvaihtoehto työtilan asetuksissa.

    Jos tämä vaihtoehto poistetaan käytöstä Työtilan asetukset -ruudussa, ympäristön Käsittely-osa on poistettu käytöstä. Työtilan oletusvarannon käsittelymäärityksiä käytetään Spark-töiden suorittamiseen.

Istuntotason käsittelyominaisuuksien mukauttaminen ympäristössä

Käyttäjänä voit valita ympäristön varannon Fabric-työtilassa käytettävissä olevien varantojen luettelosta. Fabric-työtilan järjestelmänvalvoja luo oletusarvon mukaisen aloitusvarannon ja mukautetut varannot.

Näyttökuva, jossa näkyy, mistä poolit valitaan ympäristön Laskenta-osiossa.

Kun olet valinnut varannon Compute -osassa, voit hienosäätää suoritustiedostojen ytimiä ja muistia valitun varannon solmukokojen ja rajojen puitteissa. Lisätietoja Spark-käsittelyko'ista ja niiden ytimien tai muistin asetuksista on artikkelissa Spark-käsittely Fabricissa. Käsittely-osiossa voit määrittää Spark-istuntotason ominaisuudet, jotta voit mukauttaa suoritettavien tiedostotiedostojen muistia ja ytimiä kuormitusvaatimusten perusteella. Ohjausobjektin sovellustason parametrien kautta spark.conf.set määritetyt Spark-ominaisuudet eivät liity ympäristömuuttujiin.

Voit esimerkiksi valita ympäristövarannoksi mukautetun varannon, jossa on suuri solmukoko eli 16 Spark-näennäisydintä.

  1. Käytä Käsittely-osionYmpäristösarja-kohdan avattavaa Spark-kuljettajan ydin -valikkoa valitaksesi työtason vaatimuksen mukaan joko 4, 8 tai 16.

  2. Jos haluat varata muistia ohjaimille ja suoritettaville tiedostoille, valitse Spark-suoritettavan suoritustiedoston muistissa28 g, 56 g tai 112 g. Kaikki ovat suuren solmun muistirajan rajoissa.

    Näyttökuva, josta näkyy, mistä ytimien määrä valitaan ympäristön Laskenta-osiossa.