Muistiinpano
Tämän sivun käyttö edellyttää valtuutusta. Voit yrittää kirjautua sisään tai vaihtaa hakemistoa.
Tämän sivun käyttö edellyttää valtuutusta. Voit yrittää vaihtaa hakemistoa.
Apache Spark -neuvoja analysoi Apache Sparkin suorittamia komentoja ja koodia ja näyttää reaaliaikaisia neuvoja muistikirjan suorittamista varten. Apache Spark -neuvojassa on sisäänrakennettuja malleja, jotka auttavat käyttäjiä välttämään yleisiä virheitä. Se tarjoaa suosituksia koodin optimointiin, suorittaa virheanalyysin ja paikantaa virheiden perimmäisen syyn.
Sisäänrakennetut neuvot
Spark Advisor, Impulseen integroitu työkalu, tarjoaa sisäänrakennettuja malleja Apache Spark -sovellusten ongelmien havaitsemiseen ja ratkaisemiseen. Tässä artikkelissa selitetään joitakin työkaluun sisältyviä malleja.
Voit avata Viimeisimmät suoritukset -ruudun tarvitsemiesi neuvojen tyypin mukaan.
Saattaa palauttaa epäjohdonmukaisia tuloksia käytettäessä "randomSplit"-toimintoa
Epäjohdonmukaisia tai epätarkkoja tuloksia saatetaan palauttaa, kun käytetään randomSplit-menetelmää . Käytä Apache Spark (RDD) -välimuistia ennen randomSplit()-menetelmän käyttöä.
Method randomSplit() vastaa sample():n suorittamista datakehyksellesi useita kertoja. Jossa kukin näyte referoi, osioi ja lajittelee tietokehyksesi osioiden sisällä. Tietojen jakautuminen osioiden välillä ja lajittelujärjestys ovat tärkeitä sekä randomSplit():lle että sample():lle. Jos jompikumpi muuttuu tietojen tarkistuksessa, jaoissa voi olla kaksoiskappaleita tai puuttuvia arvoja. Ja sama näyte, jossa käytetään samaa siementä, voi tuottaa erilaisia tuloksia.
Näitä epäjohdonmukaisuuksia ei välttämättä tapahdu jokaisella suorituksella, mutta poista ne kokonaan tallentamalla tietokehys välimuistiin, osioimalla uudelleen sarakkeissa tai käyttämällä koostefunktioita, kuten groupBy.
Taulukon/näkymän nimi on jo käytössä
Näkymä on jo olemassa samalla nimellä kuin luodulla taulukolla tai taulukko, jolla on jo sama nimi kuin luodulla näkymällä. Kun tätä nimeä käytetään kyselyissä tai sovelluksissa, vain näkymä palautetaan riippumatta siitä, kumpi on luotu ensin. Ristiriitojen välttämiseksi nimeä taulukko tai näkymä uudelleen.
Vihjettä ei tunnisteta
spark.sql("SELECT /*+ unknownHint */ * FROM t1")
Määritettyjä relaatioiden nimiä ei löydy
Vihjeessä määritettyjä relaatioita ei löydy. Varmista, että relaatiot on kirjoitettu oikein ja että ne ovat käytettävissä vihjeen puitteissa.
spark.sql("SELECT /*+ BROADCAST(unknownTable) */ * FROM t1 INNER JOIN t2 ON t1.str = t2.str")
Kyselyn vihje estää toisen vihjeen käyttämisen
Valittu kysely sisältää vihjeen, joka estää toisen vihjeen käyttämisen.
spark.sql("SELECT /*+ BROADCAST(t1), MERGE(t1, t2) */ * FROM t1 INNER JOIN t2 ON t1.str = t2.str")
Ota käyttöön spark.advise.divisionExprConvertRule.enable vähentääksesi pyöristysvirheen leviämistä
Tämä kysely sisältää lausekkeen, jonka tyyppi on Double. Suosittelemme, että otat käyttöön spark.advise.divisionExprConvertRule.enable-määrityksen, joka voi auttaa vähentämään jakolausekkeita ja vähentämään pyöristysvirheen leviämistä.
"t.a/t.b/t.c" convert into "t.a/(t.b * t.c)"
Ota käyttöön spark.advise.nonEqJoinConvertRule.enable kyselyn suorituskyvyn parantamiseksi
Tämä kysely sisältää aikaa vievän liitoksen kyselyn Tai-ehdon vuoksi. Suosittelemme, että otat käyttöön spark.advise.nonEqJoinConvertRule.enable-määrityksen, joka voi auttaa muuntamaan "Tai"-ehdon käynnistämän liitoksen SMJ:ksi tai BHJ:ksi tämän kyselyn nopeuttamiseksi.
Käyttökokemus
Apache Spark -neuvoja näyttää neuvot, mukaan lukien tiedot, varoitukset ja virheet, muistikirjan solun tulosteessa reaaliajassa.
Info
Varoitus
Virhe
Spark Advisor -asetus
Spark-neuvoja-asetuksen avulla voit valita, näytetäänkö vai piilotetaanko tietyntyyppiset Spark-neuvot tarpeidesi mukaan. Lisäksi voit joustavasti ottaa Spark Advisorin käyttöön tai poistaa sen käytöstä muistikirjoissasi työtilassa mieltymystesi mukaan.
Voit käyttää Spark Advisor -asetuksia Fabric Notebook -tasolla, jotta voit nauttia sen eduista ja varmistaa tuottavan muistikirjan luontikokemuksen.
