Kiszolgáló nélküli folyamat konfigurálása

A kiszolgáló nélküli folyamatok Azure Databricks felügyelt számításon futnak, így a legtöbb infrastruktúra-konfiguráció megszűnik.

A Databricks azt javasolja, hogy új folyamatokat fejlessz ki kiszolgáló nélküli használatával. Egyes számítási feladatokhoz a klasszikus számítás konfigurálása vagy az örökölt Hive-metaadattár használata szükséges. A két számítási típus egymás mellett összehasonlításához lásd: Szerver nélküli vs. klasszikus számítás a pipeline-ekhez. Lásd még: A klasszikus számítás konfigurálása folyamatokhoz és Lakeflow-folyamatok használata örökölt Hive-metastore-ral.

Megjegyzés:

  • A kiszolgáló nélküli folyamatok mindig a Unity Katalógust használják. Lásd: A Unity-katalógus használata csővezetékekkel
  • A kiszolgáló nélküli számítási korlátozásokért lásd kiszolgáló nélküli számítási korlátozásokat. Az itt ismertetett strukturált streamelési eseményindító-korlátozások nem vonatkoznak a folyamat módjaira. A kiszolgáló nélküli folyamatok támogatják az aktivált, folyamatos és valós idejű módokat. Lásd: Indított és folyamatos folyamatmód.
  • Kiszolgáló nélküli folyamatok JSON-konfigurációjában nem adhat hozzá manuálisan számítási beállításokat egy clusters objektumhoz. Ha megkísérli ezt megtenni, az hibát eredményez.
  • Ha Azure Private Link kapcsolatot kell használnia a kiszolgáló nélküli Lakeflow-folyamatokkal, forduljon a Databricks-képviselőhöz.

Requirements

  • A munkaterületen engedélyezve kell lennie a Unity Catalognak a kiszolgáló nélküli folyamatok használatához.
  • A munkaterületnek olyan régióban kell lennie, amely támogatja a kiszolgáló nélküli üzemmódot .

Fontos

A szerver nélküli pipeline-ek konfigurálásához nincs szükség fürtlétrehozási engedélyre. Alapértelmezés szerint minden munkaterület-felhasználó használhat kiszolgáló nélküli folyamatokat.

A kiszolgáló nélküli folyamatok eltávolítják a legtöbb konfigurációs lehetőséget, mivel Azure Databricks kezeli az összes infrastruktúrát. Új folyamat létrehozásakor az alapértelmezett beállítás a kiszolgáló nélküli használat. A kiszolgáló nélküli folyamatok konfigurálásáról további információt a folyamatok konfigurálása című témakörben talál.

A Unity Katalógusban konfigurált meglévő folyamatokat kiszolgáló nélkülire is konvertálhatja. Lásd: Meglévő folyamat átalakítása kiszolgáló nélkülihasználatára.

Egyéb konfigurációs szempontok

A kiszolgáló nélküli folyamatokhoz a következő konfigurációs beállítások is elérhetők:

  • A folyamatos csővezeték üzemmódot is használhatja, amikor éles üzemben futtatja a csővezetékeket. Lásd: Indított és folyamatos folyamatmód.
  • Adjon hozzá értesítéseket az e-mail-frissítésekhez a sikeres vagy sikertelen feltételek alapján. Lásd: E-mail-értesítések hozzáadása folyamateseményekhez.
  • A Konfiguráció mezőben állítsa be a folyamat kulcs-érték párjait. Ezek a konfigurációk két célt szolgálnak:
  • A Preview csatornával tesztelheti folyamatát a függőben lévő futtatókörnyezeti változásokkal, és kipróbálhatja az új funkciókat.
  • Deklarálja a külső Python függőségeket a folyamat környezeti beállításain keresztül. A Python folyamat (dbutils.library.restartPython()) manuális újraindítása nem támogatott, így futásidőben nem telepíthet vagy tölthet újra függőségeket. Lásd: Folyamatok Python-függőségeinek kezelése.

Kiszolgáló nélküli használati szabályzat

Fontos

Ez a funkció nyilvános előzetes verzióban van.

A kiszolgáló nélküli használati szabályzatok lehetővé teszik a szervezet számára, hogy egyéni címkéket alkalmazzanak a kiszolgáló nélküli használatra a részletes számlázási hozzárendeléshez. Miután bejelölte a Kiszolgáló nélküli jelölőnégyzetet, megjelenik a Használati szabályzat beállítás, ahol kiválaszthatja a folyamatra alkalmazni kívánt szabályzatot. A címkéket a kiszolgáló nélküli használati szabályzat örökli, és csak a munkaterület rendszergazdái szerkeszthetik.

Megjegyzés:

Miután hozzárendelt egy kiszolgáló nélküli használati szabályzatot, a meglévő folyamatok nem lesznek automatikusan címkézve a szabályzattal. Ha csővezetékekhez (pipelines) szeretne szabályzatot csatolni, manuálisan kell frissítenie a meglévőket.

A kiszolgáló nélküli használati szabályzatokkal kapcsolatos további információkért lásd: Attribútumhasználat kiszolgáló nélküli használati szabályzatokkal.

Teljesítmény mód kiválasztása

Aktivált folyamatok esetén a folyamatütemező teljesítményoptimalizált beállításával kiválaszthatja a kiszolgáló nélküli számítási teljesítményt. Ha ez a beállítás le van tiltva, a folyamat szabványos teljesítménymódot használ. A standard teljesítmény mód úgy lett kialakítva, hogy csökkentse a számítási feladatok költségeit, ahol elfogadható a valamivel magasabb indítási késés. A standard teljesítménymódot használó kiszolgáló nélküli számítási feladatok általában az aktiválás után négy-hat percen belül kezdődnek, a számítási rendelkezésre állástól és az optimalizált ütemezéstől függően.

Ha a teljesítményoptimalizált teljesítmény engedélyezve van, a folyamat teljesítményre van optimalizálva, ami gyorsabb indítást és végrehajtást eredményez az időérzékeny számítási feladatokhoz.

Mindkét mód ugyanazt az termékváltozatot használja, de a standard teljesítménymód kevesebb dbU-t használ fel, ami alacsonyabb számítási használatot tükröz.

Megjegyzés:

A szabványos teljesítménymód folyamatos folyamattal való használatához futtassa a folyamatot folyamatos feladattal, és törölje a jelölést az ütemezésben található Performance optimized jelölőnégyzetből. Lásd: Futtass folyamatos folyamatot folyamatos feladattal és Ütemezz egy folyamatot a folyamat felhasználói felületén.

Kiszolgáló nélküli folyamatfunkciók

A konfiguráció egyszerűsítése mellett a kiszolgáló nélküli folyamatok a következő funkciókkal rendelkeznek:

  • Materializált nézetek növekményes frissítése: A materializált nézetek frissítései lehetőség szerint növekményesen történik. A növekményes frissítés eredménye megegyezik a teljes újraszámítás eredményével. A frissítés teljes frissítést használ, ha az eredményeket nem lehet növekményesen kiszámítani. Lásd a növekményes frissítést a materializált nézetekhez.
  • Adatfolyam csővezetékbe szervezése: A streamelési adatterhelések (például az adatbetöltés) kihasználtságának, átviteli sebességének és késésének javítása érdekében a mikrocsomagok csővezetékbe szervezve vannak . Más szóval ahelyett, hogy a standard Spark Structured Streaminghez hasonló mikrobacsokat futtat, a kiszolgáló nélküli Lakeflow-folyamatok egyszerre futtatnak mikrobacsokat, így javítva a számítási erőforrások kihasználtságát. A streamcsövezés alapértelmezés szerint engedélyezve van a kiszolgáló nélküli folyamatokban.
  • Vertikális automatikus skálázás: a kiszolgáló nélküli Lakeflow-folyamatok hozzáadódnak a Databricks által biztosított horizontális automatikus skálázáshoz, mivel automatikusan kiosztják a legköltséghatékonyabb példánytípusokat, amelyek memóriakihasználtság miatti hibák nélkül futtathatják a folyamatot. Lásd Mi a függőleges automatikus skálázás?

Meglévő folyamat átalakítása kiszolgáló nélkülire

A Unity Katalógusban konfigurált meglévő folyamatokat kiszolgáló nélküli folyamatokká alakíthatja. Hajtsa végre a következő lépéseket:

  1. A Azure Databricks munkaterület oldalsávján kattintson a Feladatok és Folyamatok.
  2. Kattintson a folyamat nevére .
  3. Kattintson a Beállítások gombra.
  4. A jobb oldali oldalsáv Számítás területén kattintson a Ceruza ikonra.
  5. Jelölje be a kiszolgáló nélkülimelletti jelölőnégyzetet.
  6. Kattintson a Mentés lehetőségre.

Fontos

A kiszolgáló nélküli engedélyezéskor a folyamathoz konfigurált számítási beállítások törlődnek. Ha egy folyamatot visszakapcsol nem kiszolgáló nélküli frissítésekre, újra kell konfigurálnia a kívánt számítási beállításokat a folyamatkonfigurációra.

Kiszolgáló nélküli folyamat DBU-használatának megkeresése

A kiszolgáló nélküli Lakeflow-folyamatok DBU-használatát a számlázható használati tábla lekérdezésével találja meg, amely a Azure Databricks rendszertáblák része. Lásd : Mi a kiszolgáló nélküli folyamatok DBU-felhasználása?.

  • Last updated on