A Lakeflow-feladatok futtatása kiszolgáló nélküli számítással munkafolyamatokhoz

A munkafolyamatok kiszolgáló nélküli számítása lehetővé teszi a feladat futtatását az infrastruktúra konfigurálása és üzembe helyezése nélkül. A kiszolgáló nélküli számítással az adatfeldolgozási és elemzési folyamatok implementálására összpontosíthat, és Azure Databricks hatékonyan felügyelheti a számítási erőforrásokat, beleértve a számítási feladatok számítási feladatainak optimalizálását és méretezését. Az automatikus skálázás és a Photon automatikusan engedélyezve van a feladatot futtató számítási erőforrásokhoz.

A munkafolyamatok kiszolgáló nélküli számítása automatikusan és folyamatosan optimalizálja az infrastruktúrát, például a példánytípusokat, a memóriát és a feldolgozómotorokat, hogy a számítási feladatok adott feldolgozási követelményei alapján a legjobb teljesítményt biztosítsa.

A Databricks automatikusan frissíti a Databricks Futtatókörnyezet verzióját, hogy támogassa a platformon végzett fejlesztéseket és frissítéseket, miközben biztosítja a feladatok stabilitását. A kiszolgáló nélküli számítás által a munkafolyamatokhoz használt databricks-futtatókörnyezet aktuális verziójának megtekintéséhez tekintse meg a kiszolgáló nélküli számítási kiadási megjegyzéseket.

Mivel a fürtlétrehozási engedély nem szükséges, minden munkaterület-felhasználó használhat kiszolgáló nélküli számítógépes teljesítményt a munkafolyamatok futtatásához.

Ez a lap azt ismerteti, hogyan hozhat létre és futtathat kiszolgáló nélküli számítást használó feladatokat a Lakeflow-feladatok felhasználói felületén. Automatizálhatja a kiszolgáló nélküli számítást használó feladatok létrehozását és futtatását a Jobs API-val, a Deklaratív Automation-csomagokkal és a Databricks SDK-val Python.

• A Kiszolgáló nélküli számítást használó feladatok létrehozásához és futtatásához a Jobs API használatával kapcsolatos további információkért tekintse meg a REST API-referenciában szereplő Feladatok című témakört .
• A deklaratív automation-csomagok kiszolgáló nélküli számítást használó feladatok létrehozásához és futtatásához való használatáról a Deklaratív automation-csomagok használatával kapcsolatos további információkért lásd: Feladat fejlesztése deklaratív automation-csomagokkal.
• A Databricks SDK Python kiszolgáló nélküli számítást használó feladatok létrehozásához és futtatásához való használatáról a Databricks SDK Python című témakörben olvashat.

Követelmények

• A Azure Databricks munkaterületen engedélyezni kell a Unity-katalógust.
• Mivel a munkafolyamatok kiszolgáló nélküli számítása szabványos hozzáférési módot használ, a számítási feladatoknak támogatniuk kell ezt a hozzáférési módot.

• A Databricks-munkaterületnek támogatott régióban kell lennie a kiszolgáló nélküli számításhoz.

Feladat létrehozása kiszolgáló nélküli számítással

Megjegyzés

Mivel a munkafolyamatok kiszolgáló nélküli számítása biztosítja, hogy elegendő erőforrás legyen kiépítve a számítási feladatok futtatásához, előfordulhat, hogy nagyobb indítási időket tapasztal egy olyan feladat futtatásakor, amely nagy mennyiségű memóriát igényel, vagy sok feladatot tartalmaz.

A kiszolgáló nélküli számítás a jegyzetfüzet, Python szkript, dbt, Python kerék és JAR tevékenységtípusokkal támogatott. Alapértelmezés szerint a kiszolgáló nélküli számítás lesz kiválasztva számítási típusként, amikor létrehoz egy feladatot, és hozzáad egy ilyen támogatott tevékenységtípust.

Fontos

A JAR-feladatok kiszolgáló nélküli számításának használata nyilvános előzetes verzióban érhető el.

A Databricks a kiszolgáló nélküli számítás használatát javasolja az összes feladathoz. A feladatok tevékenységeihez különböző számítási típusokat is megadhat, amelyek akkor lehetnek szükségesek, ha a munkafolyamatok kiszolgáló nélküli számítása nem támogatja a feladattípust.

A feladatok kimenő hálózati kapcsolatainak kezeléséhez lásd: Mi a kiszolgáló nélküli kimenő forgalom vezérlése?

Meglévő feladat konfigurálása kiszolgáló nélküli számítás használatára

A feladat szerkesztésekor átválthat egy meglévő feladatra, hogy kiszolgáló nélküli számítást használjon a támogatott tevékenységtípusokhoz. A kiszolgáló nélküli számításra váltáshoz tegye a következőket:

• A Feladat részletei oldalpanelen kattintson a Számítás területen a Felcserélés elemre, kattintson az Új gombra, adja meg vagy frissítse a beállításokat, majd kattintson a Frissítés gombra.
• Kattintson a Számítás legördülő menüre, és válassza a Kiszolgáló nélküli lehetőséget.

Jegyzetfüzet ütemezése kiszolgáló nélküli számítással

A feladatok kiszolgáló nélküli számítással történő létrehozására és ütemezésére szolgáló Feladatok felhasználói felületének használata mellett közvetlenül a Databricks-jegyzetfüzetekből is létrehozhat és futtathat kiszolgáló nélküli számítást használó feladatokat. Lásd: Ütemezett jegyzetfüzet-feladatok létrehozása és kezelése.

Kiszolgáló nélküli használati szabályzat kiválasztása

Fontos

Ez a funkció a nyilvános előzetes verzióban érhető el.

A kiszolgáló nélküli használati szabályzatok lehetővé teszik a szervezet számára, hogy egyéni címkéket alkalmazzanak a kiszolgáló nélküli használatra a részletes számlázási hozzárendeléshez.

Ha a munkaterület kiszolgáló nélküli használati szabályzatokat használ a kiszolgáló nélküli használat attribútumához, kiválaszthatja a feladat kiszolgáló nélküli használati szabályzatát a feladat részleteinek felhasználói felületén található Használati szabályzat beállításával. Ha csak egy kiszolgáló nélküli használati szabályzathoz van hozzárendelve, a rendszer automatikusan kijelöli a szabályzatot az új feladatokhoz.

Megjegyzés

Miután hozzárendelt egy kiszolgáló nélküli használati szabályzatot, a meglévő feladatok nem lesznek automatikusan címkézve a szabályzattal. A meglévő feladatokat manuálisan kell frissítenie, ha szabályzatot szeretne hozzájuk csatolni.

A kiszolgáló nélküli használati szabályzatokkal kapcsolatos további információkért lásd: Attribútumhasználat kiszolgáló nélküli használati szabályzatokkal.

Teljesítmény mód kiválasztása

A feladat kiszolgáló nélküli feladatainak futási tempóját a feladat részletei lapon található Teljesítményoptimalizált beállítással adhatja meg.

• Ha a teljesítményoptimalizált teljesítmény le van tiltva, a feladat normál teljesítménymódot használ. Ez a mód kevesebb számítást használ a költségek csökkentése érdekében, így olyan számítási feladatokhoz alkalmas, amelyek a számítási rendelkezésre állástól és az optimalizált ütemezéstől függően valamivel magasabb, 4–6 perces indítási késést képesek elviselni.

• Ha a teljesítményoptimalizált teljesítmény engedélyezve van, a feladat gyorsabban indul el és fut. Ez a mód időérzékeny számítási feladatokhoz készült.

Mindkét mód ugyanazt az termékváltozatot használja, de a standard teljesítménymód kevesebb dbU-t használ fel, ami alacsonyabb számítási használatot tükröz.

A felhasználói felületen a teljesítményoptimalizált beállítás konfigurálásához egy feladatnak legalább egy kiszolgáló nélküli feladatával kell rendelkeznie. Ez a beállítás csak a feladat kiszolgáló nélküli tevékenységeit érinti.

Spark-konfigurációs paraméterek beállítása

A Spark kiszolgáló nélküli számításon való konfigurálásának automatizálásához a Databricks csak bizonyos Spark-konfigurációs paraméterek beállítását teszi lehetővé. Az engedélyezett paraméterek listájáért tekintse meg a Támogatott Spark-konfigurációs paramétereket.

A Spark konfigurációs paramétereit csak a munkamenet szintjén állíthatja be. Ehhez állítsa be őket egy jegyzetfüzetbe, és adja hozzá a jegyzetfüzetet egy olyan feladathoz, amely ugyanabban a feladatban szerepel, amely a paramétereket használja. Lásd az Azure Databricks: a Spark konfigurációs tulajdonságainak beállítása.

Környezetek és függőségek konfigurálása

A tárak és függőségek kiszolgáló nélküli számítással való telepítéséről a Kiszolgáló nélküli környezet konfigurálásacímű témakörben olvashat.

Nagy memória konfigurálása jegyzetfüzet-feladatokhoz

Fontos

Ez a funkció a nyilvános előzetes verzióban érhető el.

A jegyzetfüzet-feladatokat úgy konfigurálhatja, hogy nagyobb memóriaméretet használjon. Ehhez konfigurálja a Memória beállítást a jegyzetfüzet Környezet oldalpanelén. Lásd: Nagy memória kiszolgáló nélküli számításihasználata.

A nagy memória csak a jegyzetfüzet-feladattípusokhoz érhető el.

Kiszolgáló nélküli számítási automatikus optimalizálás konfigurálása az újrapróbálkozások letiltásához

A munkafolyamatokhoz készült kiszolgáló nélküli számítás automatikus optimalizálása automatikusan optimalizálja a feladatok futtatásához használt számítást, és újrapróbálkoztatja a sikertelen feladatokat. Az automatikus optimalizálás alapértelmezés szerint engedélyezve van, és a Databricks azt javasolja, hogy hagyja engedélyezve, hogy a kritikus számítási feladatok legalább egyszer sikeresen fussanak. Ha azonban olyan számítási feladatokkal rendelkezik, amelyeket legfeljebb egyszer kell végrehajtani, például olyan feladatokat, amelyek nem idempotensek, kikapcsolhatja az automatikus optimalizálást a tevékenységek hozzáadásakor vagy szerkesztésekor:

1. Az Újrapróbálkozás mellett kattintson a Hozzáadás gombra (vagy ha már létezik újrapróbálkozési szabályzat).
2. Az Újrapróbálkozási szabályzat párbeszédpanelen vegye ki a pipát a Kiszolgáló nélküli automatikus optimalizálás engedélyezése (további újrapróbálkozást is tartalmazhat) jelölőnégyzetből.
3. Kattintson a Megerősítés gombra.
4. Kattintson a Feladat mentése gombra.

A kiszolgáló nélküli számítást munkafolyamatokhoz használó feladatok költségeinek monitorozása

A kiszolgáló nélküli számítást munkafolyamatokhoz használó feladatok költségeit a számlázható használati rendszer táblájának lekérdezésével figyelheti. Ez a táblázat úgy frissül, hogy tartalmazza a kiszolgáló nélküli költségekkel kapcsolatos felhasználói és számítási feladatok attribútumait. Lásd a számlázható használati rendszer tábla referenciáját.

Az aktuális díjszabással és az esetleges promóciókkal kapcsolatos információkért tekintse meg a Munkafolyamatok díjszabási oldalát.

Feladatfuttatások lekérdezési adatainak megtekintése

Megtekintheti a Spark-utasítások részletes futásidejű adatait, például a metrikákat és a lekérdezési terveket.

A feladatok felhasználói felületéről a lekérdezés részleteinek eléréséhez kövesse az alábbi lépéseket:

1. A Azure Databricks munkaterület oldalsávján kattintson a Feladatok és Folyamatok.

2. Igény szerint válassza a Feladatok szűrőt.

3. Kattintson a megtekinteni kívánt feladat nevére .

4. Kattintson a megtekinteni kívánt futásra.

5. Az Ütemterv gombra kattintva idősorként tekintheti meg a futtatásokat, és feloszthatja őket az egyes tevékenységekre.

6. A feladat neve melletti nyílra kattintva megjelenítheti a lekérdezési utasításokat és azok futtatókörnyezeteit.

   

7. Kattintson egy utasításra a lekérdezésprofiljára való navigáláshoz, amely megjeleníti a lekérdezés végrehajtási adatait és metrikáit.

Feladat lekérdezési előzményeinek megtekintése:

1. A Feladat futtatása oldalpanel Számítási szakaszában kattintson a Lekérdezési előzmények elemre.
2. A rendszer átirányítja a lekérdezési előzményeket, amelyeket előre szűrt az azon feladathoz tartozó futtatási azonosító alapján, amelyben Ön volt.

A lekérdezési előzmények használatáról további információt a Folyamatok lekérdezési előzményei elérése és a Lekérdezési előzmények című témakörben talál.

Korlátozások

A kiszolgáló nélküli számítási feladatok munkafolyamatokra vonatkozó korlátozásainak listáját a kiszolgáló nélküli számítási kibocsátási megjegyzések kiszolgáló nélküli számítási korlátozásai című témakörben találja.