Kiszolgáló nélküli folyamat konfigurálása

Ez a cikk a kiszolgáló nélküli folyamatok konfigurációit ismerteti.

A Databricks azt javasolja, hogy új folyamatokat fejlessz ki kiszolgáló nélküli használatával. Egyes számítási feladatokhoz a klasszikus számítás konfigurálása vagy az örökölt Hive-metaadattár használata szükséges. Lásd: A klasszikus számítás konfigurálása folyamatokhoz és a Lakeflow Spark deklaratív folyamatok használata régi Hive-metaadattárral.

Megjegyzés:

• A kiszolgáló nélküli folyamatok mindig a Unity Katalógust használják. Lásd: A Unity-katalógus használata csővezetékekkel
• A kiszolgáló nélküli számítási korlátozásokért lásd kiszolgáló nélküli számítási korlátozásokat.
• Kiszolgáló nélküli folyamatok JSON-konfigurációjában nem adhat hozzá manuálisan számítási beállításokat egy clusters objektumhoz. Ha megkísérli ezt megtenni, az hibát eredményez.

• Ha Azure Private Link-kapcsolatot kell használnia a kiszolgáló nélküli Lakeflow Spark Deklaratív folyamatokkal, forduljon a Databricks képviselőjéhez.

Requirements

• A munkaterületen engedélyezve kell lennie a Unity Catalognak a kiszolgáló nélküli folyamatok használatához.

• A munkaterületnek olyan régióban kell lennie, amely támogatja a kiszolgáló nélküli üzemmódot .

Kiszolgáló nélküli folyamatok ajánlott konfigurációja

Fontos

A szerver nélküli pipeline-ek konfigurálásához nincs szükség fürtlétrehozási engedélyre. Alapértelmezés szerint minden munkaterület-felhasználó használhat kiszolgáló nélküli folyamatokat.

A kiszolgáló nélküli folyamatok eltávolítják a legtöbb konfigurációs lehetőséget, mivel az Azure Databricks az összes infrastruktúrát kezeli. Új folyamat létrehozásakor az alapértelmezett beállítás a kiszolgáló nélküli használat. A kiszolgáló nélküli folyamatok konfigurálásáról a Folyamatok konfigurálása című témakörben olvashat.

A Unity Katalógusban konfigurált meglévő folyamatokat kiszolgáló nélkülire is konvertálhatja. Lásd: Meglévő folyamat átalakítása kiszolgáló nélkülihasználatára.

Egyéb konfigurációs szempontok

A kiszolgáló nélküli folyamatokhoz a következő konfigurációs beállítások is elérhetők:

• A folyamatos csővezeték üzemmódot is használhatja, amikor éles üzemben futtatja a csővezetékeket. Lásd: Indított és folyamatos folyamatmód.
• Adjon hozzá értesítéseket az e-mail-frissítésekhez a sikeres vagy sikertelen feltételek alapján. Lásd: E-mail-értesítések hozzáadása folyamateseményekhez.
• A Konfiguráció mezőben állítsa be a folyamat kulcs-érték párjait. Ezek a konfigurációk két célt szolgálnak:
  • Állítsa be a forráskódban hivatkozható tetszőleges paramétereket. Lásd: Paraméterek használata csővezetékekkel.
  • Konfigurálja a folyamatbeállításokat és a Spark-konfigurációkat. Lásd : Folyamattulajdonságok referenciája.
• A Preview csatornát használva tesztelheti a pipeline-t a Lakeflow Spark Deklaratív pipeline-ok futtatási környezetének tervezett változásai ellen, és kipróbálhatja az új funkciókat.

Kiszolgáló nélküli költségvetési szabályzat

Fontos

Ez a funkció nyilvános előzetes verzióban van.

A kiszolgáló nélküli költségvetési szabályzatok lehetővé teszik a szervezet számára, hogy egyéni címkéket alkalmazzanak a kiszolgáló nélküli használatra a részletes számlázási hozzárendeléshez. Miután bejelölte a Kiszolgáló nélküli jelölőnégyzetet, megjelenik a Költségvetési szabályzat beállítás, ahol kiválaszthatja a folyamatra alkalmazni kívánt szabályzatot. A címkéket a kiszolgáló nélküli költségvetési szabályzat örökli, és csak a munkaterület rendszergazdái szerkeszthetik.

Megjegyzés:

Miután hozzárendeltek egy kiszolgáló nélküli költségvetési szabályzatot, meglévő csővezetékeid nem lesznek automatikusan összekapcsolva ezzel a szabályzattal. Ha csővezetékekhez (pipelines) szeretne szabályzatot csatolni, manuálisan kell frissítenie a meglévőket.

A kiszolgáló nélküli költségvetési szabályzatokkal kapcsolatos további információkért lásd: Kiszolgáló nélküli költségvetési szabályzatok attribútumhasználata.

Teljesítmény mód kiválasztása

Aktivált folyamatok esetén a folyamatütemező teljesítményoptimalizált beállításával kiválaszthatja a kiszolgáló nélküli számítási teljesítményt. Ha ez a beállítás le van tiltva, a folyamat szabványos teljesítménymódot használ. A standard teljesítmény mód úgy lett kialakítva, hogy csökkentse a számítási feladatok költségeit, ahol elfogadható a valamivel magasabb indítási késés. A standard teljesítménymódot használó kiszolgáló nélküli számítási feladatok általában az aktiválás után négy-hat percen belül kezdődnek, a számítási rendelkezésre állástól és az optimalizált ütemezéstől függően.

Ha a teljesítményoptimalizált teljesítmény engedélyezve van, a folyamat teljesítményre van optimalizálva, ami gyorsabb indítást és végrehajtást eredményez az időérzékeny számítási feladatokhoz.

Mindkét mód ugyanazt az termékváltozatot használja, de a standard teljesítménymód kevesebb dbU-t használ fel, ami alacsonyabb számítási használatot tükröz.

Megjegyzés:

A standard teljesítménymód folyamatos folyamatokban való használatához forduljon a Databricks-fiók csapatához.

Kiszolgáló nélküli folyamatfunkciók

A konfiguráció egyszerűsítése mellett a kiszolgáló nélküli folyamatok a következő funkciókkal rendelkeznek:

• Materializált nézetek növekményes frissítése: A materializált nézetek frissítései lehetőség szerint növekményesen történik. A növekményes frissítés eredménye megegyezik a teljes újraszámítás eredményével. A frissítés teljes frissítést használ, ha az eredményeket nem lehet növekményesen kiszámítani. Lásd a növekményes frissítést a materializált nézetekhez.

• Adatfolyam csővezetékbe szervezése: A streamelési adatterhelések (például az adatbetöltés) kihasználtságának, átviteli sebességének és késésének javítása érdekében a mikrocsomagok csővezetékbe szervezve vannak . Más szóval, ahelyett, hogy a standard Spark strukturált streamhez hasonló mikrobacsokat futtat, a kiszolgáló nélküli Lakeflow Spark Deklaratív folyamatok egyszerre futtatnak mikrobacsokat, javítva a számítási erőforrások kihasználtságát. A streamcsövezés alapértelmezés szerint engedélyezve van a kiszolgáló nélküli folyamatokban.
• Vertikális automatikus skálázás: a kiszolgáló nélküli Lakeflow Spark deklaratív folyamatok hozzáadódnak a Databricks által biztosított horizontális automatikus skálázáshoz, és automatikusan kijelölik a legköltséghatékonyabb példánytípusokat, amelyek biztosítják, hogy a folyamat ne fusson sikertelenül memóriakihasználtsági hibák miatt. Lásd Mi a függőleges automatikus skálázás?

Meglévő folyamat átalakítása kiszolgáló nélkülire

A Unity Katalógusban konfigurált meglévő folyamatokat kiszolgáló nélküli folyamatokká alakíthatja. Hajtsa végre a következő lépéseket:

1. Az Azure Databricks-munkaterület oldalsávján kattintson a Feladatok > Folyamatok elemre.
2. Kattintson a folyamat nevére .
3. Kattintson a Beállítások gombra.
4. A jobb oldali oldalsáv Számítás területén kattintson a
5. Jelölje be a kiszolgáló nélkülimelletti jelölőnégyzetet.
6. Kattintson a Mentés lehetőségre.

Fontos

A kiszolgáló nélküli engedélyezéskor a folyamathoz konfigurált számítási beállítások törlődnek. Ha egy folyamatot visszakapcsol nem kiszolgáló nélküli frissítésekre, újra kell konfigurálnia a kívánt számítási beállításokat a folyamatkonfigurációra.

Hogyan találom meg a kiszolgáló nélküli folyamatok DBU-használatát?

A kiszolgáló nélküli Lakeflow Spark Deklaratív folyamatok DBU-használatát az Azure Databricks-rendszertáblák részét képező számlázható használati tábla lekérdezésével találja meg. Lásd : Mi a kiszolgáló nélküli folyamatok DBU-felhasználása?.