Mik azok az init szkriptek?

Az inicializálási szkript (inicializálási szkript) egy olyan rendszerhéjszkript, amely az egyes fürtcsomópontok indításakor fut az Apache Spark-illesztőprogram vagy a végrehajtó JVM elindítása előtt. Ez a cikk javaslatokat tartalmaz az init-szkriptekhez és a konfigurációs információkhoz, ha használnia kell őket.

Javaslatok init szkriptekhez

A Databricks a beépített platformfunkciókat javasolja init szkriptek helyett, amikor csak lehetséges. Az init-szkriptek széles körű használata lelassíthatja az új Databricks Runtime-verziókra való migrálást, és megakadályozhatja egyes Databricks-optimalizálások bevezetését.

Fontos

Ha a DBFS init szkriptjeiből kell migrálnia, olvassa el az Init-szkriptek migrálása a DBFS-ből című témakört.

Az alábbi Databricks-funkciók az init szkriptek gyakori használati eseteit ismertetik:

Ha init szkripteket kell használnia:

  • Az init-szkripteket számítási szabályzatok vagy fürt hatókörű init-szkriptek használatával kezelheti globális init-szkriptek helyett. Lásd az init szkripttípusokat.
  • Az éles és interaktív környezetek erőforrástár-telepítésének kezelése számítási szabályzatok használatával. Ne telepítsen kódtárakat init-szkriptekkel.
  • Használjon megosztott hozzáférési módot az összes számítási feladathoz. Csak akkor használja az egyfelhasználós hozzáférési módot, ha a megosztott hozzáférési mód nem támogatja a szükséges funkciókat.
  • Az összes számítási feladathoz használjon új Databricks Runtime-verziókat és Unity-katalógust.

Az alábbi táblázat a Databricks Runtime-verzió és a Unity Catalog engedélyezése által szervezett javaslatokat tartalmazza.

Környezet Ajánlás
Databricks Runtime 13.3 LTS és újabb verzió a Unity Catalog használatával Init-szkriptek tárolása Unity Catalog-kötetekben.
Databricks Runtime 11.3 LTS és újabb verzió Unity Catalog nélkül Init-szkriptek tárolása munkaterületfájlokként. (A fájlméret korlátja 500 MB).
Databricks Runtime 10.4 LTS és újabb Init-szkriptek tárolása felhőalapú objektumtároló használatával.

Milyen típusú init-szkripteket támogat az Azure Databricks?

Az Azure Databricks kétféle init-szkriptet támogat: fürt hatókörű és globális, de fürthatókörű init-szkriptek használata ajánlott.

  • Fürt hatóköre: futtassa a szkripttel konfigurált összes fürtön. Ez az init szkriptek futtatásának ajánlott módja. Lásd: Fürt hatókörű init-szkriptek használata.
  • Globális: futtassa a munkaterületen az összes olyan fürtöt, amely egyfelhasználós hozzáférési móddal vagy elkülönítés nélküli megosztott hozzáférési móddal van konfigurálva. Ezek az init-szkriptek váratlan problémákat, például kódtárütközéseket okozhatnak. Globális init-szkripteket csak a munkaterület rendszergazdai felhasználói hozhatnak létre. Lásd: Globális init-szkriptek használata.

Amikor bármilyen típusú init szkriptet módosít, újra kell indítania a szkript által érintett összes fürtöt.

A globális init-szkriptek fürthatókörű init-szkriptek előtt futnak.

Fontos

Az örökölt globális és örökölt fürtnevű init-szkriptek más init-szkriptek előtt futnak. Ezek az init-szkriptek életciklusuk végéhez kötöttek, de a 2023. február 21. előtt létrehozott munkaterületeken lehetnek jelen. Lásd a fürt által elnevezett init-szkripteket (örökölt) és a globális init szkripteket (örökölt).

Hol telepíthetők az init-szkriptek?

Az init-szkripteket munkaterületfájlokból, Unity Catalog-kötetekből és felhőalapú objektumtárolókból is tárolhatja és konfigurálhatja, de az init-szkriptek nem támogatottak az összes fürtkonfigurációban, és nem minden fájlra lehet hivatkozni init-szkriptekből.

Az alábbi táblázat a forráshely és a fürtelérési mód alapján mutatja be az init-szkriptek támogatását. A databricks runtime a kombináció használatához szükséges minimális verzió. A fürtelérési módokkal kapcsolatos információkért tekintse meg az Access módokat.

Feljegyzés

A megosztott hozzáférési mód használatához a rendszergazdának init-szkripteket kell hozzáadnia egy allowlist. Lásd: Allowlist-kódtárak és init-szkriptek megosztott számításon.

Megosztott hozzáférési mód Egyelérésű mód Nincs elkülönítési megosztott hozzáférési mód
Munkaterület fájljai Nem támogatott Minden támogatott Databricks Runtime-verzió Minden támogatott Databricks Runtime-verzió
Kötetek 13.3 LTS 13.3 LTS Nem támogatott
Felhőtárhely 13.3 LTS Minden támogatott Databricks Runtime-verzió Minden támogatott Databricks Runtime-verzió

Init-szkriptek migrálása a DBFS-ből

Azok a felhasználók, amelyeknek init-szkripteket kell migrálniuk a DBFS-ből, az alábbi útmutatókat használhatják. Győződjön meg arról, hogy a konfigurációhoz megfelelő célt azonosította. Az init-szkriptek Javaslatok.