Jegyzet
Az oldalhoz való hozzáférés engedélyezést igényel. Próbálhatod be jelentkezni vagy könyvtárat váltani.
Az oldalhoz való hozzáférés engedélyezést igényel. Megpróbálhatod a könyvtár váltását.
Az inicializálási szkript (inicializálási szkript) egy olyan rendszerhéjszkript, amely az egyes fürtcsomópontok indításakor fut az Apache Spark-illesztőprogram vagy a végrehajtó JVM elindítása előtt. Ez a cikk javaslatokat tartalmaz az init-szkriptekhez és a konfigurációs információkhoz, ha használnia kell őket.
Javaslatok init-szkriptekhez
A Databricks a beépített platformfunkciókat javasolja init szkriptek helyett, amikor csak lehetséges. Az init-szkriptek széles körű használata lelassíthatja az új Databricks Runtime-verziókra való migrálást, és megakadályozhatja egyes Databricks-optimalizálások bevezetését.
Fontos
Ha a DBFS init szkriptjeiből kell migrálnia, olvassa el az Init-szkriptek migrálása a DBFS-ből című témakört.
Az alábbi Databricks-funkciók az init szkriptek gyakori használati eseteit ismertetik:
- Számítási szabályzatokkal állíthatja be a rendszertulajdonságokat, a környezeti változókat és a Spark-konfigurációs paramétereket. Lásd: Számítási szabályzatok referenciája.
- Könyvtárak hozzáadása klaszterszabályzatokhoz. Lásd a Kódtárak hozzáadása egy szabályzathoz részt.
Ha init szkripteket kell használnia:
- Az init-szkripteket számítási szabályzatok vagy fürt hatókörű init-szkriptek használatával kezelheti globális init-szkriptek helyett. Lásd az init szkripttípusokat.
- Az éles és interaktív környezetek könyvtár telepítésének kezelése számítási szabályzatok használatával. Ne telepítsen könyvtárakat init-szkriptek segítségével. Lásd : számítási szabályzatok.
- Az összes számítási feladathoz használjon standard hozzáférési módot (korábban megosztott hozzáférési módot). Csak akkor használja a dedikált hozzáférési módot (korábbi nevén egyfelhasználós hozzáférési módot), ha a standard hozzáférési mód nem támogatja a szükséges funkciókat.
- Az összes számítási feladathoz használjon új Databricks Runtime-verziókat és Unity-katalógust.
Az alábbi táblázat a javaslatokat a Databricks Runtime verziói és a Unity Catalog engedélyezése szerinti elrendezésben tartalmazza.
| Környezet | Ajánlás |
|---|---|
| Databricks Runtime 13.3 LTS és újabb verzió a Unity Catalog használatával | Inicializáló szkriptek tárolása Unity Catalog kötetekben. |
| Databricks Runtime 11.3 LTS és újabb verzió Unity Catalog nélkül | Init-szkriptek tárolása munkaterületfájlokként. (A fájlméret korlátja 500 MB). |
| Databricks Runtime 10.4 LTS és korábbi verziók | Init-szkriptek tárolása felhőalapú objektumtároló használatával. |
Milyen típusú init-szkripteket támogat az Azure Databricks?
Az Azure Databricks kétféle init-szkriptet támogat: fürt hatókörű és globális, de fürthatókörű init-szkriptek használata ajánlott.
- Fürt hatóköre: futtassa a szkripttel konfigurált összes fürtön. Ez az init szkriptek futtatásának ajánlott módja. Lásd: Fürt hatókörű init-szkriptek.
- Globális: futtassa a munkaterületen az összes olyan fürtöt, amely dedikált hozzáférési móddal vagy elkülönítés nélküli megosztott hozzáférési móddal van konfigurálva. Ezek az init-szkriptek váratlan problémákat, például kódtárütközéseket okozhatnak. Globális init-szkripteket csak a munkaterület rendszergazdai felhasználói hozhatnak létre. Lásd: Globális init szkriptek.
Amikor bármilyen típusú init szkriptet módosít, újra kell indítania a szkript által érintett összes fürtöt.
A globális init-szkriptek a klaszter-szintű init-szkriptek előtt futnak.
Fontos
Az örökölt globális és örökölt fürtnevű init-szkriptek más init-szkriptek előtt futnak. Ezek az init-szkriptek életciklusuk végéhez kötöttek, de a 2023. február 21. előtt létrehozott munkaterületeken lehetnek jelen. Lásd a Fürt nevű init-szkripteket (örökölt) és a globális init-szkripteket (örökölt).
Hol telepíthetők az init-szkriptek?
Az init-szkripteket munkaterületfájlokból, Unity Catalog-kötetekből és felhőalapú objektumtárolókból is tárolhatja és konfigurálhatja, de az init-szkriptek nem támogatottak az összes fürtkonfigurációban, és nem minden fájlra lehet hivatkozni init-szkriptekből. Az init-szkriptekre vonatkozó környezeti javaslatokért tekintse meg az Init-szkriptek javaslatait.
Az alábbi táblázat a forráshely és a fürtelérési mód alapján mutatja be az init-szkriptek támogatását. A Databricks Runtime feltüntetett verziója a kombináció használatához szükséges minimális verzióként van megadva. A klaszter hozzáférési módokkal kapcsolatos információkért tekintse meg a hozzáférési módokat.
Feljegyzés
A standard hozzáférési mód esetén a rendszergazdának hozzá kell adnia kezdő szkripteket egy allowlist-hoz. Lásd a standard hozzáférési módú (korábban megosztott hozzáférési módú) számítógép engedélyezési könyvtárakat és initszkripteket.
| Standard hozzáférési mód | Egyelérésű mód | Szigeteletlen megosztott hozzáférési mód | |
|---|---|---|---|
| Munkaterület fájljai | Nem támogatott | Minden támogatott Databricks Runtime verzió. A 11.3 LTS alatti verziókban a más munkaterületfájlokra hivatkozó init-szkriptek nem támogatottak. |
Minden támogatott Databricks Runtime verzió. |
| Kötetek | 13.3 LTS és újabb | 13.3 LTS és újabb | Nem támogatott |
| Felhőtárhely | 13.3 LTS és újabb | Minden támogatott Databricks Runtime verzió | Minden támogatott Databricks Runtime verzió |
Init-szkriptek migrálása a DBFS-ből
Figyelmeztetés
A DBFS-en lévő Init-szkriptek elérték az élettartamot, és már nem használhatók. A számítás megkezdése előtt át kell telepítenie az init-szkripteket egy támogatott helyre. Init-szkripteket tárolhat Unity Catalog-köteteken, munkaterületfájlokként vagy felhőobjektum-tárolókban.
Azok a felhasználók, amelyeknek init-szkripteket kell migrálniuk a DBFS-ből, az alábbi útmutatókat használhatják. Győződjön meg arról, hogy a konfigurációhoz megfelelő célt azonosította. Lásd az init-szkriptek javaslatait.