Databricks-jegyzetfüzet végrehajtási környezetei

Amikor jegyzetfüzetet csatol egy fürthöz, az Azure Databricks létrehoz egy végrehajtási környezetet. A végrehajtási környezet tartalmazza a REPL-környezet állapotát minden támogatott programozási nyelvhez: Python, R, Scala és SQL. Amikor egy jegyzetfüzetben futtat egy cellát, a parancs a megfelelő nyelvi REPL-környezetbe kerül, és fut.

A parancsvégrehajtási API-val végrehajtási környezetet is létrehozhat, és parancsot küldhet a végrehajtási környezetben való futtatáshoz. Hasonlóképpen, a parancsot a rendszer a nyelvi REPL-környezetbe küldi és futtatja.

A fürtök maximális számú végrehajtási környezettel (145) rendelkeznek. Ha a végrehajtási környezetek száma elérte ezt a küszöbértéket, nem csatolhat jegyzetfüzetet a fürthöz, és nem hozhat létre új végrehajtási környezetet.

Tétlen végrehajtási környezetek

A végrehajtási környezet tétlennek minősül, ha az utolsó befejezett végrehajtás egy beállított tétlenségi küszöbértéken múlt. Az utolsó befejezett végrehajtás az utolsó alkalom, amikor a jegyzetfüzet végrehajtotta a parancsok végrehajtását. Az üresjárati küszöbérték az az időtartam, amely az utolsó befejezett végrehajtás és a jegyzetfüzet automatikus leválasztására tett bármely kísérlet között telik el.

Amikor egy fürt elérte a maximális környezeti korlátot, az Azure Databricks szükség szerint eltávolítja (kiüríti) az inaktív végrehajtási környezeteket (a legutóbb használttól kezdve). A környezet eltávolítása után is a környezetet használó jegyzetfüzet továbbra is a fürthöz van csatolva, és megjelenik a fürt jegyzetfüzetlistájában. A streamelt jegyzetfüzetek aktívan futnak, és a környezetük soha nem lesz kiürítve, amíg le nem állítják a végrehajtásukat. Üresjárati környezet kiürítése esetén a felhasználói felület egy üzenetet jelenít meg, amely jelzi, hogy a környezetet használó jegyzetfüzet inaktív állapot miatt le lett választva.

Ha olyan fürthöz kísérel meg jegyzetfüzetet csatolni, amely maximális számú végrehajtási környezettel rendelkezik, és nincsenek üresjárati környezetek (vagy ha az automatikus kizárás le van tiltva), a felhasználói felület egy üzenetet jelenít meg, amely azt jelzi, hogy elérte az aktuális maximális végrehajtási környezet küszöbértékét, és a jegyzetfüzet leválasztott állapotban marad.

Ha elágaz egy folyamatot, a tétlen végrehajtási környezet továbbra is tétlennek minősül, miután a folyamat által elágazott kérés végrehajtása visszatér. A Spark nem ajánlott külön folyamatok elágaztatása.

Környezet automatikus kizárásának konfigurálása

Az automatikus kizárás alapértelmezés szerint engedélyezve van. A fürt automatikus kizárásának letiltásához állítsa be a Spark tulajdonságotspark.databricks.chauffeur.enableIdleContextTracking false.

A Spark és a Databricks futtatókörnyezet verziójának meghatározása

Annak a fürtnek a Spark-verziójának meghatározásához, amelyhez a jegyzetfüzet csatlakozik, futtassa a következőt:

spark.version

Annak a fürtnek a Databricks Runtime-verziójának meghatározásához, amelyhez a jegyzetfüzet csatlakozik, futtassa a következőt:

spark.conf.get("spark.databricks.clusterUsageTags.sparkVersion")

Feljegyzés

Ez a sparkVersion címke és a spark_version Clusters API és a Jobs API végpontjai által megkövetelt tulajdonság is a Databricks Runtime-verzióra vonatkozik, nem a Spark-verzióra.