Mik azok az init szkriptek?
Az inicializálási szkript (inicializálási szkript) egy olyan rendszerhéjszkript, amely az egyes fürtcsomópontok indításakor fut az Apache Spark-illesztőprogram vagy a végrehajtó JVM elindítása előtt. Ez a cikk javaslatokat tartalmaz az init-szkriptekhez és a konfigurációs információkhoz, ha használnia kell őket.
Javaslatok init-szkriptekhez
A Databricks a beépített platformfunkciókat javasolja init szkriptek helyett, amikor csak lehetséges. Az init-szkriptek széles körű használata lelassíthatja az új Databricks Runtime-verziókra való migrálást, és megakadályozhatja egyes Databricks-optimalizálások bevezetését.
Fontos
Ha a DBFS init szkriptjeiből kell migrálnia, olvassa el az Init-szkriptek migrálása a DBFS-ből című témakört.
Az alábbi Databricks-funkciók az init szkriptek gyakori használati eseteit ismertetik:
- Számítási szabályzatokkal állíthatja be a rendszertulajdonságokat, a környezeti változókat és a Spark-konfigurációs paramétereket. Lásd: Számítási szabályzatok referenciája.
- Kódtárak hozzáadása fürtszabályzatokhoz. Lásd: Kódtárak hozzáadása szabályzathoz.
Ha init szkripteket kell használnia:
- Az init-szkripteket számítási szabályzatok vagy fürt hatókörű init-szkriptek használatával kezelheti globális init-szkriptek helyett. Lásd az init szkripttípusokat.
- Az éles és interaktív környezetek erőforrástár-telepítésének kezelése számítási szabályzatok használatával. Ne telepítsen kódtárakat init-szkriptekkel.
- Használjon megosztott hozzáférési módot az összes számítási feladathoz. Csak akkor használja az egyfelhasználós hozzáférési módot, ha a megosztott hozzáférési mód nem támogatja a szükséges funkciókat.
- Az összes számítási feladathoz használjon új Databricks Runtime-verziókat és Unity-katalógust.
Az alábbi táblázat a Databricks Runtime-verzió és a Unity Catalog engedélyezése által szervezett javaslatokat tartalmazza.
| Környezet | Ajánlás |
|---|---|
| Databricks Runtime 13.3 LTS és újabb verzió a Unity Catalog használatával | Init-szkriptek tárolása Unity Catalog-kötetekben. |
| Databricks Runtime 11.3 LTS és újabb verzió Unity Catalog nélkül | Init-szkriptek tárolása munkaterületfájlokként. (A fájlméret korlátja 500 MB). |
| Databricks Runtime 10.4 LTS és újabb | Init-szkriptek tárolása felhőalapú objektumtároló használatával. |
Milyen típusú init-szkripteket támogat az Azure Databricks?
Az Azure Databricks kétféle init-szkriptet támogat: fürt hatókörű és globális, de fürthatókörű init-szkriptek használata ajánlott.
- Fürt hatóköre: futtassa a szkripttel konfigurált összes fürtön. Ez az init szkriptek futtatásának ajánlott módja. Lásd: Fürt hatókörű init-szkriptek használata.
- Globális: futtassa a munkaterületen az összes olyan fürtöt, amely egyfelhasználós hozzáférési móddal vagy elkülönítés nélküli megosztott hozzáférési móddal van konfigurálva. Ezek az init-szkriptek váratlan problémákat, például kódtárütközéseket okozhatnak. Globális init-szkripteket csak a munkaterület rendszergazdai felhasználói hozhatnak létre. Lásd: Globális init-szkriptek használata.
Amikor bármilyen típusú init szkriptet módosít, újra kell indítania a szkript által érintett összes fürtöt.
A globális init-szkriptek fürthatókörű init-szkriptek előtt futnak.
Fontos
Az örökölt globális és örökölt fürtnevű init-szkriptek más init-szkriptek előtt futnak. Ezek az init-szkriptek életciklusuk végéhez kötöttek, de a 2023. február 21. előtt létrehozott munkaterületeken lehetnek jelen. Lásd a fürt által elnevezett init-szkripteket (örökölt) és a globális init szkripteket (örökölt).
Hol telepíthetők az init-szkriptek?
Az init-szkripteket munkaterületfájlokból, Unity Catalog-kötetekből és felhőalapú objektumtárolókból is tárolhatja és konfigurálhatja, de az init-szkriptek nem támogatottak az összes fürtkonfigurációban, és nem minden fájlra lehet hivatkozni init-szkriptekből. Az init-szkriptekre vonatkozó környezeti javaslatokért tekintse meg az Init-szkriptek javaslatait.
Az alábbi táblázat a forráshely és a fürtelérési mód alapján mutatja be az init-szkriptek támogatását. A databricks runtime a kombináció használatához szükséges minimális verzió. A fürtelérési módokkal kapcsolatos információkért tekintse meg az Access módokat.
Feljegyzés
A megosztott hozzáférési mód használatához a rendszergazdának init-szkripteket kell hozzáadnia egy allowlist. Lásd: Allowlist-kódtárak és init-szkriptek megosztott számításon.
| Megosztott hozzáférési mód | Egyelérésű mód | Nincs elkülönítési megosztott hozzáférési mód | |
|---|---|---|---|
| Munkaterület fájljai | Nem támogatott | Minden támogatott Databricks Runtime-verzió. A 11.3 LTS alatti verziókban a más munkaterületfájlokra hivatkozó init-szkriptek nem támogatottak. |
Minden támogatott Databricks Runtime-verzió. |
| Kötetek | 13.3 LTS és újabb | 13.3 LTS és újabb | Nem támogatott |
| Felhőtárhely | 13.3 LTS és újabb | Minden támogatott Databricks Runtime-verzió | Minden támogatott Databricks Runtime-verzió |
Init-szkriptek migrálása a DBFS-ből
Figyelmeztetés
A DBFS-en lévő Init-szkriptek elérték az élettartamot, és már nem használhatók. A számítás megkezdése előtt át kell telepítenie az init-szkripteket egy támogatott helyre. Init-szkripteket tárolhat Unity Catalog-köteteken, munkaterületfájlokként vagy felhőobjektum-tárolókban.
Azok a felhasználók, amelyeknek init-szkripteket kell migrálniuk a DBFS-ből, az alábbi útmutatókat használhatják. Győződjön meg arról, hogy a konfigurációhoz megfelelő célt azonosította. Lásd az init-szkriptek javaslatait.