Kiszolgáló nélküli Delta Live Tables-folyamat konfigurálása

Ez a cikk a kiszolgáló nélküli Delta Live Tables-folyamatok konfigurációit ismerteti.

A Databricks azt javasolja, hogy új folyamatokat fejlessz ki kiszolgáló nélküli használatával. Egyes számítási feladatokhoz a klasszikus számítás konfigurálása vagy az örökölt Hive-metaadattár használata szükséges. Lásd: A Delta Live Tables-folyamat számításának konfigurálása és a Delta Live Tables-folyamatok használata régi Hive-metaadattárral.

Feljegyzés

• A kiszolgáló nélküli folyamatok mindig a Unity Katalógust használják. A Delta Live Tables unity katalógusa nyilvános előzetes verzióban érhető el, és bizonyos korlátozásokkal rendelkezik. Lásd: A Unity-katalógus használata a Delta Live Tables-folyamatokkal.

• Kiszolgáló nélküli folyamatok JSON-konfigurációjában manuálisan nem adhat hozzá számítási beállításokat egy clusters objektumhoz. Ha megkísérli ezt megtenni, az hibát eredményez.

• A kiszolgáló nélküli DLT-folyamatok jogosultságáról és engedélyezéséről további információt a kiszolgáló nélküli számítás engedélyezése című témakörben talál.

• Ha Azure Private Link-kapcsolatot kell használnia a kiszolgáló nélküli DLT-folyamatokkal, forduljon a Databricks-képviselőhöz.

Követelmények

• A munkaterületen engedélyezve kell lennie a Unity Catalognak a kiszolgáló nélküli folyamatok használatához.

• A munkaterületnek kiszolgáló nélküli régióban kell lennie.

Kiszolgáló nélküli folyamatok ajánlott konfigurációja

Fontos

A kiszolgáló nélküli folyamatok konfigurálásához nincs szükség fürtlétrehozási engedélyre. Alapértelmezés szerint minden munkaterület-felhasználó használhat kiszolgáló nélküli folyamatokat.

A kiszolgáló nélküli folyamatok eltávolítják a legtöbb konfigurációs lehetőséget, mivel az Azure Databricks az összes infrastruktúrát kezeli. Kiszolgáló nélküli folyamat konfigurálásához tegye a következőket:

1. Kattintson a Delta Live Tables elemre az oldalsávon.
2. Kattintson a Folyamat létrehozása elemre.
3. Adjon meg egy egyedi folyamatnevet.
4. Jelölje be a Kiszolgáló nélküli jelölőnégyzetet.
5. A fájlválasztóval forráskódként konfigurálhatja a jegyzetfüzeteket és a munkaterület fájljait.
   • Legalább egy forráskód-objektumot hozzá kell adnia.
   • A Forráskód hozzáadása gombbal további forráskód-objektumokat vehet fel.
6. Válasszon ki egy katalógust az adatok közzétételéhez.
7. Válasszon egy sémát a katalógusban. Ebben a sémában minden, a folyamatban definiált streamelési táblázat és materializált nézet létrejön.
8. Kattintson a Létrehozás gombra.

Ezek az ajánlott konfigurációk létrehoznak egy új folyamatot, amely aktivált módban és az Aktuális csatornán való futtatásra van konfigurálva. Ez a konfiguráció számos használati esetben ajánlott, beleértve a fejlesztést és a tesztelést is, és jól használható olyan éles számítási feladatokhoz, amelyeknek ütemezés szerint kell futniuk. A folyamatok ütemezésének részleteiért tekintse meg a Delta Live Tables-folyamat feladatát a feladatokhoz.

A Unity Katalógusban konfigurált meglévő folyamatokat kiszolgáló nélkülire is konvertálhatja. Lásd: Meglévő folyamat átalakítása kiszolgáló nélkülire.

Egyéb konfigurációs szempontok

A kiszolgáló nélküli folyamatokhoz a következő konfigurációs beállítások is elérhetők:

• Dönthet úgy, hogy a folyamatos folyamat módot használja a folyamatok éles környezetben való futtatásakor. Lásd: Aktivált és folyamatos folyamat mód.
• Értesítések hozzáadása az e-mail-frissítésekhez a sikeres vagy sikertelenségi feltételek alapján. Lásd: E-mail-értesítések hozzáadása folyamateseményekhez.
• A Konfiguráció mezővel kulcs-érték párokat állíthat be a folyamathoz. Ezek a konfigurációk két célt szolgálnak:
  • Állítsa be a forráskódban hivatkozható tetszőleges paramétereket. Lásd: Paraméterek használata Delta Live Tables-folyamatokkal.
  • Konfigurálja a folyamatbeállításokat és a Spark-konfigurációkat. Lásd: Delta Live Tables properties reference.
• Az előnézeti csatornával tesztelheti a folyamatot a függőben lévő Delta Live Tables-futtatókörnyezet módosításain és az új funkciók próbaverzióján.

Költségvetési politika

Fontos

Ez a funkció a nyilvános előzetes verzióban érhető el.

A költségvetési szabályzatok lehetővé teszik a szervezet számára, hogy egyéni címkéket alkalmazzanak a kiszolgáló nélküli használatra a részletes számlázási hozzárendeléshez. Miután bejelölte a Kiszolgáló nélküli jelölőnégyzetet, megjelenik a Költségvetés házirend-beállítás , ahol kiválaszthatja a folyamatra alkalmazni kívánt szabályzatot. A címkéket a költségvetési szabályzat örökli, és csak a munkaterület rendszergazdái szerkeszthetik.

Feljegyzés

Miután hozzárendelt egy költségvetési szabályzatot, a meglévő folyamatok nem lesznek automatikusan címkézve a szabályzattal. Ha szabályzatot szeretne hozzájuk csatolni, manuálisan kell frissítenie a meglévő folyamatokat.

A költségvetési szabályzatokkal kapcsolatos további információkért lásd : Attribútum kiszolgáló nélküli használat költségvetési szabályzatokkal.

Kiszolgáló nélküli folyamatfunkciók

A konfiguráció egyszerűsítése mellett a kiszolgáló nélküli folyamatok a következő funkciókkal rendelkeznek:

• Materializált nézetek növekményes frissítése: A materializált nézetek frissítései minden esetben növekményesen frissülnek, amikor csak lehetséges. A növekményes frissítés eredménye megegyezik a teljes újraszámítás eredményével. A frissítés teljes frissítést használ, ha az eredményeket nem lehet növekményesen kiszámítani. A materializált nézetek növekményes frissítését lásd.
• Streamelési csőhálózat: A streamelési adatterhelések( például az adatbetöltés) kihasználtságának, átviteli sebességének és késésének javítása érdekében a mikrobacsok folyamatban vannak. Más szóval a hagyományos Spark Structured Streaminghez hasonló mikrobacsok futtatása helyett a kiszolgáló nélküli DLT-folyamatok egyszerre futtatnak mikrobacsokat, így javítva a számítási erőforrások kihasználtságát. A streamcső-készítés alapértelmezés szerint engedélyezve van a kiszolgáló nélküli DLT-folyamatokban.
• Vertikális automatikus skálázás: a kiszolgáló nélküli DLT-folyamatok hozzáadják a Databricks által biztosított horizontális automatikus skálázáshoz, mivel automatikusan kiosztják a legköltséghatékonyabb példánytípusokat, amelyek memóriakihasználtság miatti hibák nélkül futtathatják a Delta Live Tables-folyamatot. Lásd : Mi az a függőleges automatikus skálázás?

Mi a függőleges automatikus skálázás?

A kiszolgáló nélküli DLT-folyamatok függőleges automatikus skálázása automatikusan lefoglalja a legköltséghatékonyabb elérhető példánytípusokat a Delta Live Tables-folyamatfrissítések futtatásához anélkül, hogy memóriakihasználtság miatti hibák miatt meghiúsulna. A vertikális automatikus skálázás felskálázható, ha nagyobb példánytípusokra van szükség egy folyamatfrissítés futtatásához, és akkor is leskálázható, ha megállapítja, hogy a frissítés kisebb példánytípusokkal is futtatható. A függőleges automatikus skálázás határozza meg, hogy az illesztőprogram-csomópontokat, a feldolgozó csomópontokat vagy az illesztőprogram- és feldolgozó csomópontokat felfelé vagy lefelé kell-e skálázni.

A függőleges automatikus skálázás minden kiszolgáló nélküli DLT-folyamathoz használható, beleértve a Databricks SQL által materializált nézetek és streamelő táblák által használt folyamatokat is.

A függőleges automatikus skálázás úgy működik, hogy észleli a memóriakihasználtság miatt meghiúsult folyamatfrissítéseket. A vertikális automatikus skálázás nagyobb példánytípusokat foglal le, ha a rendszer ezeket a hibákat a sikertelen frissítésből összegyűjtött memóriakimaradási adatok alapján észleli. Éles módban az új számítási erőforrásokat használó új frissítés automatikusan elindul. Fejlesztési módban az új számítási erőforrásokat a rendszer az új frissítés manuális indításakor használja.

Ha a vertikális automatikus skálázás azt észleli, hogy a lefoglalt példányok memóriája folyamatosan kihasználatlan, a következő folyamatfrissítésben használandó példánytípusokat leskálázza.

Meglévő folyamat átalakítása kiszolgáló nélkülire

A Unity Katalógusban konfigurált meglévő folyamatokat kiszolgáló nélküli folyamatokká alakíthatja. Végezze el a következő lépéseket:

1. Kattintson a Delta Live Tables elemre az oldalsávon.
2. Kattintson a kívánt folyamat nevére a listában.
3. Kattintson a Beállítások elemre.
4. Jelölje be a Kiszolgáló nélküli jelölőnégyzetet.
5. Kattintson a Mentés és az indítás gombra.

Fontos

A kiszolgáló nélküli engedélyezéskor a folyamathoz konfigurált számítási beállítások törlődnek. Ha egy folyamatot visszakapcsol nem kiszolgáló nélküli frissítésekre, újra kell konfigurálnia a kívánt számítási beállításokat a folyamatkonfigurációra.

Hogyan találom meg a kiszolgáló nélküli folyamatok DBU-használatát?

A kiszolgáló nélküli DLT-folyamatok DBU-használatát az Azure Databricks-rendszertáblák részét képező számlázható használati tábla lekérdezésével találja meg. Lásd : Mi a kiszolgáló nélküli DLT-folyamatok DBU-felhasználása?.