Kontexty spuštění poznámkového bloku Databricks

Když připojíte poznámkový blok ke clusteru, Azure Databricks vytvoří kontext spuštění. Kontext spuštění obsahuje stav prostředí REPL pro každý podporovaný programovací jazyk: Python, R, Scala a SQL. Když v poznámkovém bloku spustíte buňku, příkaz se odešle do příslušného prostředí REPL jazyka a spustí se.

Pomocí rozhraní API pro spouštění příkazů můžete také vytvořit kontext spuštění a odeslat příkaz ke spuštění v kontextu spuštění. Podobně se příkaz odešle do prostředí REPL jazyka a spustí se.

Cluster má maximální počet kontextů spuštění (145). Jakmile počet kontextů spuštění dosáhne této prahové hodnoty, nemůžete připojit poznámkový blok ke clusteru ani vytvořit nový kontext spuštění.

Kontexty nečinné spuštění

Kontext spuštění se považuje za nečinný , když došlo k poslednímu dokončení provádění po nastavené prahové hodnotě nečinnosti. Poslední dokončené spuštění je poslední čas, kdy poznámkový blok dokončil provádění příkazů. Prahová hodnota nečinnosti je doba, která musí proběhnout mezi posledním dokončenou spuštěním a jakýmkoli pokusem o automatické odpojení poznámkového bloku.

Když cluster dosáhne maximálního limitu kontextu, Azure Databricks podle potřeby odebere (vyřazování) nečinné kontexty provádění (počínaje nejméně naposledy použitým). I když dojde k odebrání kontextu, poznámkový blok, který používá kontext, je stále připojený ke clusteru a zobrazí se v seznamu poznámkových bloků clusteru. Streamované poznámkové bloky se považují za aktivně spuštěné a jejich kontext se nikdy nevyřadí, dokud se jejich spuštění nezastaví. Pokud se vyřadí nečinný kontext, zobrazí se v uživatelském rozhraní zpráva, že poznámkový blok používající kontext byl odpojen z důvodu nečinnosti.

Pokud se pokusíte připojit poznámkový blok ke clusteru s maximálním počtem kontextů spuštění a neexistují žádné nečinné kontexty (nebo pokud je zakázané automatické vyřazení), zobrazí uživatelské rozhraní zprávu s informací, že byla dosažena aktuální maximální prahová hodnota kontextu spuštění a poznámkový blok zůstane v odpojeném stavu.

Pokud vytvoříte fork procesu, kontext nečinného spuštění se stále považuje za nečinný, jakmile se požadavek, který rozvětvoval proces, vrátí. Pro Spark se nedoporučuje fork samostatných procesů.

Konfigurace automatického vyřazení kontextu

Automatické vyřazení je ve výchozím nastavení povolené. Pokud chcete zakázat automatické vyřazení clusteru, nastavte vlastnostspark.databricks.chauffeur.enableIdleContextTracking false Spark.

Určení verze Sparku a Databricks Runtime

Pokud chcete zjistit verzi Sparku clusteru, ke kterému je poznámkový blok připojený, spusťte:

spark.version

Pokud chcete zjistit verzi modulu Databricks Runtime clusteru, ke kterému je poznámkový blok připojený, spusťte:

spark.conf.get("spark.databricks.clusterUsageTags.sparkVersion")

Poznámka:

Tato sparkVersion značka i spark_version vlastnost vyžadovaná koncovými body v rozhraní API clusterů a rozhraní API úloh odkazují na verzi Databricks Runtime, nikoli na verzi Sparku.