Mukautettujen Spark-uima-altaiden luominen Microsoft Fabricissa

Tässä artikkelissa kerrotaan, miten voit luoda mukautettuja Apache Spark -varantoja Microsoft Fabricissa analytiikkakuormituksillesi. Apache Spark -poolien avulla voit luoda räätälöityjä laskentaympäristöjä tarpeidesi mukaan, jotta saat optimaalisen suorituskyvyn ja resurssien käytön.

Määritä automaattisen skaalauksen solmujen vähimmäis- ja enimmäismäärä. Järjestelmä saa ja poistaa solmut työsi laskentatarpeiden muuttuessa, joten skaalaus on tehokasta ja suorituskyky paranee. Spark-poolit säätävät suorittajien määrää automaattisesti, joten sinun ei tarvitse määrittää niitä manuaalisesti. Järjestelmä muuttaa suorittajien määrää tietomäärän ja työn laskentatarpeiden perusteella, joten voit keskittyä kuormituksiin suorituskyvyn säätämisen ja resurssien hallinnan sijaan.

Vihje

Kun määrität Spark-pooleja, solmun koko määräytyy kapasiteettiyksiköiden (CU) mukaan, jotka edustavat kullekin solmulle määritettyä laskentakapasiteettia. Lisätietoja solmujen koosta ja CU:sta on tämän oppaan kohdassa Solmun koon asetukset .

Ennakkovaatimukset

Jos haluat luoda mukautetun Spark-poolin, varmista, että sinulla on järjestelmänvalvojan käyttöoikeudet työtilaan. Kapasiteetin järjestelmänvalvoja ottaa käyttöön Mukautetut työtilavarannot -vaihtoehdon Kapasiteetin järjestelmänvalvojan asetustenSpark Compute -osassa. Lisätietoja on artikkelissa Fabric-kapasiteettien Spark-laskenta-asetukset.

Mukautettujen Spark-uima-altaan luominen

Työtilaasi liittyvän Spark-varannon luominen tai hallinta:

1. Siirry työtilaasi ja valitse Työtilan asetukset.

2. Laajenna valikko valitsemalla Tietotekniikka/tiede -vaihtoehto ja valitse sitten Spark-asetukset.

   

3. Valitse Uusi -vaihtoehto. Anna Luo varanto -näytössä nimi Spark-varanto. Valitse myös Node -perhe -, ja valitse Solmun koko käytettävissä olevista koista (Small, Medium, Large, X-Largeja XX-Large) kuormitusten käsittelyvaatimusten mukaan.

   

4. Voit määrittää mukautettujen varantojen solmujen vähimmäismääritykseksi 1. Koska Fabric Spark tarjoaa palautettavan käytettävyyden klustereille, joilla on yksi solmu, sinun ei tarvitse huolehtia työn epäonnistumisesta, istunnon menettämisestä virheiden aikana tai siitä, että maksat käsittelystä pienemmistä Spark-työpaikoista.

5. Voit ottaa automaattisen skaalauksen käyttöön tai poistaa sen käytöstä mukautetuissa Spark-varannoissa. Kun automaattinen skaalaus on käytössä, varanto hankkii dynaamisesti uudet solmut, jotka ylittävät käyttäjän määrittämän solmun enimmäisrajan, ja poistetaan ne sitten käytöstä työn suorittamisen jälkeen. Tämä ominaisuus varmistaa paremman suorituskyvyn säätämällä resursseja työvaatimusten mukaan. Saat muuttaa Fabric-kapasiteetin SKU:n osana ostettujen kapasiteettiyksiköiden sallittujen solmujen kokoa.

   

6. Voit säätää suoritustiedostojen määrää liukusäätimellä. Jokainen suoritettava tiedosto on Spark-prosessi, joka suorittaa tehtäviä ja säilyttää tietoja muistissa. Suoritettavien suoritusten lisääminen voi parantaa rinnakkaisuutta, mutta se myös kasvattaa klusterin kokoa ja käynnistysaikaa. Voit myös halutessasi ottaa käyttöön dynaamisen suoritettavan tiedostovarauksen Spark-varannolle, joka määrittää automaattisesti käyttäjän määrittämän enimmäisrajan sisältämän optimaalisen määrän suoritettavia tiedostoita. Tämä ominaisuus säätää suoritettavan tiedoston määrää tietojen määrän perusteella, mikä parantaa suorituskykyä ja resurssien käyttöä.

Näiden mukautettujen poolien automaattisen keskeytyksen oletuskesto on 2 minuuttia käyttämättömyyden ajan umpeutumisen jälkeen. Kun autopause-kesto saavutetaan, istunto vanhenee ja klustereita ei ole paikannettu. Sinua veloitetaan solmujen määrän ja mukautettujen Spark-varannon käytön keston perusteella.

Muistiinpano

Microsoft Fabricin mukautetut Spark-varannit tukevat tällä hetkellä solmun enimmäisrajaa 200. Kun määrität automaattista skaalausta tai määrität manuaalisia solmumääriä, varmista, että vähimmäis- ja enimmäisarvot pysyvät tämän rajan sisällä. Tämän rajan ylittäminen aiheuttaa vahvistusvirheitä varannon luomisen tai päivityksen aikana.

Solmun kokoasetukset

Kun määrität mukautetun Spark-varannin, voit valita seuraavista solmukokoista:

Solmun koko	vCores	Muisti (Gt)	Kuvaus
Pieni	4	32	Kevyisiin kehitys- ja testaustöihin.
Keskitaso	8	64	Yleisiin työkuormiin ja tyypillisiin toimintoihin.
Suuri	16	128	Paljon muistia vaativiin tehtäviin tai suuriin tietojenkäsittelytöihin.
X-Large	32	256	Vaativimpiin Spark-kuormituksiin, jotka vaativat merkittäviä resursseja.

Aiheeseen liittyvä sisältö

• Lue lisää Apache Spark julkisesta dokumentaatiosta.
• Aloita Spark -työtilan hallinta -asetusten käyttäminen Microsoft Fabric:ssa.