Megosztás a következőn keresztül:

Python-függőségek kezelése Delta Live Tables-folyamatokhoz

  • Cikk

A Delta Live Tables támogatja a folyamatok külső függőségeit. A Databricks két minta egyikét javasolja a Python-csomagok telepítéséhez:

  1. %pip install A parancs használatával csomagokat telepíthet a folyamat összes forrásfájlja számára.
  2. Modulok vagy kódtárak importálása a munkaterület fájljaiban tárolt forráskódból. Lásd: Python-modulok importálása Git-mappákból vagy munkaterületfájlokból.

A Delta Live Tables globális és fürt hatókörű init-szkripteket is támogat. Ezek a külső függőségek, különösen az init szkriptek azonban növelik a futtatókörnyezet frissítésével kapcsolatos problémák kockázatát. A kockázatok csökkentése érdekében minimalizálja az init-szkriptek használatát a folyamatokban. Ha a feldolgozás init szkripteket igényel, automatizálja a folyamat tesztelését a problémák korai észleléséhez. Init-szkriptek használata esetén a Databricks javasolja a tesztelés gyakoriságának növelését.

Fontos

Mivel a JVM-kódtárak nem támogatottak a Delta Live Tables-folyamatokban, ne használjon init szkriptet a JVM-kódtárak telepítéséhez. Azonban más kódtártípusokat, például Python-kódtárakat is telepíthet init-szkripttel.

Python-kódtárak

Külső Python-kódtárak megadásához használja a %pip install magic parancsot. A frissítés indításakor a Delta Live Tables minden parancsot tartalmazó %pip install cellát futtat a tábladefiníciók futtatása előtt. A folyamat minden Python-jegyzetfüzete megosztott egy tárkörnyezetet, és hozzáfér az összes telepített kódtárhoz.

Fontos

  • %pip install a parancsoknak külön cellában kell lenniük a Delta Live Tables folyamatjegyzetfüzetének tetején. Ne adjon meg más kódot a parancsokat tartalmazó %pip install cellákban.
  • Mivel egy folyamat minden jegyzetfüzete rendelkezik tárkörnyezettel, egyetlen folyamatban nem definiálhat különböző kódtárverziókat. Ha a feldolgozáshoz eltérő kódtárverziókra van szükség, különböző folyamatokban kell definiálnia őket.

Az alábbi példa telepíti a numpy kódtárat, és globálisan elérhetővé teszi a folyamat bármely Python-jegyzetfüzete számára:

%pip install simplejson

Python-kerékcsomag telepítéséhez adja hozzá a Python-kerék elérési útját a %pip install parancshoz. A telepített Python-kerékcsomagok a folyamat összes táblája számára elérhetők. Az alábbi példa egy, a DBFS könyvtárból /dbfs/dlt/elnevezett dltfns-1.0-py3-none-any.whl Python-kerékfájlt telepít:

%pip install /dbfs/dlt/dltfns-1.0-py3-none-any.whl

Lásd: Python-kerékcsomag telepítése a következővel: %pip.

Használhatok Scala- vagy Java-kódtárakat a Delta Live Tables-folyamatokban?

Nem, a Delta Live Tables csak az SQL-t és a Pythont támogatja. A JVM-kódtárak nem használhatók folyamatban. A JVM-kódtárak telepítése kiszámíthatatlan viselkedést okoz, és szakíthat a Delta Live Tables jövőbeli kiadásaival. Ha a folyamat init szkriptet használ, azt is meg kell győződnie arról, hogy a JVM-kódtárak nincsenek telepítve a szkripttel.