Co jsou inicializační skripty?

  • Článek

Inicializační skript (inicializační skript) je skript prostředí, který se spouští při spouštění každého uzlu clusteru před spuštěním ovladače Apache Spark nebo exekutoru JVM. Tento článek obsahuje doporučení pro inicializační skripty a informace o konfiguraci, pokud je musíte použít.

Doporučení pro inicializační skripty

Databricks doporučuje používat integrované funkce platformy místo inicializačních skriptů, kdykoli je to možné. Rozšířené použití inicializačních skriptů může zpomalit migraci na nové verze Databricks Runtime a zabránit přijetí některých optimalizací Databricks.

Důležité

Pokud potřebujete migrovat z inicializačních skriptů ve službě DBFS, přečtěte si téma Migrace inicializačních skriptů z DBFS.

Následující funkce Databricks řeší některé běžné případy použití inicializačních skriptů:

  • Pomocí výpočetních zásad můžete nastavit systémové vlastnosti, proměnné prostředí a parametry konfigurace Sparku. Viz referenční informace k zásadám výpočetních prostředků.
  • Přidání knihoven do zásad clusteru Viz Přidání knihoven do zásad.

Pokud musíte použít inicializační skripty:

  • Správa inicializačních skriptů pomocí výpočetních zásad nebo inicializačních skriptů s oborem clusteru místo globálních inicializačních skriptů Viz typy inicializačních skriptů.
  • Správa instalace knihovny pro produkční a interaktivní prostředí pomocí zásad výpočetních prostředků Neinstalujte knihovny pomocí inicializačních skriptů.
  • Pro všechny úlohy použijte režim sdíleného přístupu. Režim přístupu jednoho uživatele používejte pouze v případě, že režim sdíleného přístupu nepodporuje požadované funkce.
  • Pro všechny úlohy používejte nové verze Modulu runtime Databricks a Katalog Unity.

Následující tabulka obsahuje doporučení uspořádaná podle verze databricks Runtime a povolení katalogu Unity.

Prostředí Doporučení
Databricks Runtime 13.3 LTS a novější s katalogem Unity Ukládejte inicializační skripty ve svazcích katalogu Unity.
Databricks Runtime 11.3 LTS a novější bez katalogu Unity Ukládejte inicializační skripty jako soubory pracovního prostoru. (Limit velikosti souboru je 500 MB).
Databricks Runtime 10.4 LTS a níže Ukládejte inicializační skripty pomocí cloudového úložiště objektů.

Jaké typy inicializačních skriptů Azure Databricks podporuje?

Azure Databricks podporuje dva druhy inicializačních skriptů: clustery s oborem clusteru a globální, ale doporučuje se používat inicializační skripty s oborem clusteru.

  • Obor clusteru: Spusťte v každém clusteru nakonfigurovaného pomocí skriptu. Toto je doporučený způsob spuštění inicializačního skriptu. Viz Použití inicializačních skriptů s oborem clusteru.
  • Globální: Spusťte na všech clusterech v pracovním prostoru nakonfigurovaný režim přístupu jednoho uživatele nebo režim sdíleného přístupu bez izolace. Tyto inicializační skripty můžou způsobit neočekávané problémy, jako jsou konflikty knihoven. Globální inicializační skripty můžou vytvářet jenom uživatelé správce pracovního prostoru. Viz Použití globálních inicializačních skriptů.

Kdykoli změníte jakýkoli typ inicializačního skriptu, musíte restartovat všechny clustery ovlivněné skriptem.

Globální inicializační skripty se spouštějí před inicializačními skripty v oboru clusteru.

Důležité

Starší globální a starší inicializační skripty pojmenované clusterem se spouštějí před jinými inicializačními skripty. Tyto inicializační skripty jsou koncové, ale můžou se vyskytovat v pracovních prostorech vytvořených před 21. únorem 2023. Viz inicializační skripty pojmenované clusterem (starší verze) a globální inicializační skripty (starší verze).

Kde je možné inicializační skripty nainstalovat?

Inicializační skripty můžete ukládat a konfigurovat ze souborů pracovního prostoru, svazků katalogu Unity a cloudového úložiště objektů, ale inicializační skripty nejsou podporovány ve všech konfiguracích clusteru a ne všechny soubory se dají odkazovat ze skriptů inicializace.

Následující tabulka uvádí podporu inicializačních skriptů na základě zdrojového umístění a režimu přístupu ke clusteru. Uvedená verze Databricks Runtime je minimální verze potřebná k použití kombinace. Informace o režimech přístupu ke clusteru najdete v tématu Režimy přístupu.

Poznámka:

Režim sdíleného přístupu vyžaduje, aby správce přidal inicializační skripty do souboru allowlist. Viz Knihovny allowlist a inicializační skripty pro sdílené výpočetní prostředky.

Režim sdíleného přístupu Režim s jedním přístupem Režim sdíleného přístupu bez izolace
Soubory pracovního prostoru Nepodporováno Všechny podporované verze Databricks Runtime Všechny podporované verze Databricks Runtime
Svazky 13.3 LTS 13.3 LTS Nepodporováno
Cloudové úložiště 13.3 LTS Všechny podporované verze Databricks Runtime Všechny podporované verze Databricks Runtime

Migrace inicializačních skriptů z DBFS

Upozorňující

Inicializační skripty v systému souborů DBFS dosáhly konce životnosti a už se nedají použít. Před spuštěním výpočetních prostředků musíte migrovat inicializační skripty do podporovaného umístění. Ukládejte inicializační skripty na svazcích katalogu Unity, jako soubory pracovního prostoru nebo v cloudovém úložišti objektů.

Uživatelé, kteří potřebují migrovat inicializační skripty z DBFS, můžou použít následující příručky. Ujistěte se, že jste pro konfiguraci identifikovali správný cíl. Viz Doporučení pro inicializační skripty.