Az Azure Databricks-feladat futtatása kiszolgáló nélküli számítással munkafolyamatokhoz

Fontos

Mivel a munkafolyamatok kiszolgáló nélküli számítása nem támogatja a kimenő forgalom szabályozását, a feladatok teljes hozzáféréssel rendelkeznek az internethez.

A munkafolyamatok kiszolgáló nélküli számítása lehetővé teszi az Azure Databricks-feladat futtatását az infrastruktúra konfigurálása és üzembe helyezése nélkül. A kiszolgáló nélküli számítással az adatfeldolgozási és elemzési folyamatok implementálására összpontosít, és az Azure Databricks hatékonyan kezeli a számítási erőforrásokat, beleértve a számítási feladatok számítási feladatainak optimalizálását és méretezését. Az automatikus skálázás és a Photon automatikusan engedélyezve van a feladatot futtató számítási erőforrásokhoz.

A munkafolyamatok kiszolgáló nélküli számítása automatikusan és folyamatosan optimalizálja az infrastruktúrát, például a példánytípusokat, a memóriát és a feldolgozómotorokat, hogy a számítási feladatok adott feldolgozási követelményei alapján a legjobb teljesítményt biztosítsa.

A Databricks automatikusan frissíti a Databricks Runtime-verziót, hogy támogassa a platform fejlesztéseit és frissítéseit, miközben biztosítja az Azure Databricks-feladatok stabilitását. A kiszolgáló nélküli számítás által a munkafolyamatokhoz használt databricks-futtatókörnyezet aktuális verziójának megtekintéséhez tekintse meg a kiszolgáló nélküli számítási kiadási megjegyzéseket.

Mivel a fürtlétrehozási engedély nem szükséges, minden munkaterület-felhasználó használhat kiszolgáló nélküli számítást a munkafolyamatok futtatásához.

Ez a cikk azt ismerteti, hogy az Azure Databricks Jobs felhasználói felületén kiszolgáló nélküli számítást használó feladatok hozhatók létre és futtathatók. Automatizálhatja a kiszolgáló nélküli számítást használó feladatok létrehozását és futtatását a Jobs API-val, a Databricks-eszközcsomagokkal és a Pythonhoz készült Databricks SDK-val.

• A Kiszolgáló nélküli számítást használó feladatok létrehozásához és futtatásához a Jobs API használatával kapcsolatos további információkért tekintse meg a REST API-referenciában szereplő Feladatok című témakört .
• A Databricks-eszközcsomagok kiszolgáló nélküli számítást használó feladatok létrehozására és futtatására való használatával kapcsolatos információkért lásd : Feladat fejlesztése az Azure Databricksben a Databricks-eszközcsomagok használatával.
• A Databricks SDK for Python kiszolgáló nélküli számítást használó feladatok létrehozásához és futtatásához való használatáról a Pythonhoz készült Databricks SDK-t ismertető cikkben olvashat.

Követelmények

• Az Azure Databricks-munkaterületen engedélyezni kell a Unity Catalog használatát.

• Mivel a munkafolyamatok kiszolgáló nélküli számítása megosztott hozzáférési módot használ, a számítási feladatoknak támogatniuk kell ezt a hozzáférési módot.

• Az Azure Databricks-munkaterületnek támogatott régióban kell lennie. Tekintse meg Korlátozott regionális elérhetőségű funkciók témakört.

• Az Azure Databricks-fióknak engedélyezve kell lennie a kiszolgáló nélküli számításnak. Lásd: Kiszolgáló nélküli számítás engedélyezése.

Feladat létrehozása kiszolgáló nélküli számítással

Feljegyzés

Mivel a munkafolyamatok kiszolgáló nélküli számítása biztosítja, hogy elegendő erőforrás legyen kiépítve a számítási feladatok futtatásához, megnövekedett indítási időket tapasztalhat egy olyan Azure Databricks-feladat futtatásakor, amely nagy mennyiségű memóriát igényel, vagy sok feladatot tartalmaz.

A kiszolgáló nélküli számítást a jegyzetfüzet, a Python-szkript, a dbt és a Python-kerekes feladattípusok támogatják. Alapértelmezés szerint a kiszolgáló nélküli számítás lesz kiválasztva számítási típusként, amikor új feladatot hoz létre, és hozzáad egy ilyen támogatott tevékenységtípust.

A Databricks a kiszolgáló nélküli számítás használatát javasolja az összes feladathoz. A feladatok tevékenységeihez különböző számítási típusokat is megadhat, amelyek akkor lehetnek szükségesek, ha a munkafolyamatok kiszolgáló nélküli számítása nem támogatja a feladattípust.

Meglévő feladat konfigurálása kiszolgáló nélküli számítás használatára

A feladat szerkesztésekor átválthat egy meglévő feladatra, hogy kiszolgáló nélküli számítást használjon a támogatott tevékenységtípusokhoz. A kiszolgáló nélküli számításra váltáshoz a következőkre kell váltania:

• A Feladat részletei oldalpanelen kattintson a Felcserélés elemre a Számítás területen, kattintson az Új gombra, adja meg vagy frissítse a beállításokat, majd kattintson a Frissítés gombra.
• Kattintson a Számítás legördülő menüre, és válassza a Kiszolgáló nélküli lehetőséget.

Jegyzetfüzet ütemezése kiszolgáló nélküli számítással

A feladatok kiszolgáló nélküli számítással történő létrehozására és ütemezésére szolgáló Feladatok felhasználói felületének használata mellett közvetlenül a Databricks-jegyzetfüzetekből is létrehozhat és futtathat kiszolgáló nélküli számítást használó feladatokat. Lásd: Ütemezett jegyzetfüzet-feladatok létrehozása és kezelése.

Költségvetés-szabályzat kiválasztása a kiszolgáló nélküli használathoz

Fontos

Ez a funkció a nyilvános előzetes verzióban érhető el.

A költségvetési szabályzatok lehetővé teszik a szervezet számára, hogy egyéni címkéket alkalmazzanak a kiszolgáló nélküli használatra a részletes számlázási hozzárendeléshez.

Ha a munkaterület költségvetési szabályzatokkal rendeli hozzá a kiszolgáló nélküli használatot, kiválaszthatja a feladat költségvetési szabályzatát a feladat részleteinek felhasználói felületén található Költségvetési házirend beállítással. Ha csak egy költségvetési szabályzathoz van hozzárendelve, a rendszer automatikusan kijelöli a szabályzatot az új feladatokhoz.

Feljegyzés

Miután hozzárendelt egy költségvetési szabályzatot, a meglévő feladatok nem lesznek automatikusan címkézve a szabályzattal. Ha szabályzatot szeretne hozzájuk csatolni, manuálisan kell frissítenie a meglévő feladatokat.

A költségvetési szabályzatokkal kapcsolatos további információkért lásd : Attribútum kiszolgáló nélküli használat költségvetési szabályzatokkal.

Spark-konfigurációs paraméterek beállítása

A Spark kiszolgáló nélküli számításon való konfigurálásának automatizálásához a Databricks csak bizonyos Spark-konfigurációs paraméterek beállítását teszi lehetővé. Az engedélyezett paraméterek listájáért tekintse meg a Támogatott Spark-konfigurációs paramétereket.

A Spark konfigurációs paramétereit csak a munkamenet szintjén állíthatja be. Ehhez állítsa be őket egy jegyzetfüzetbe, és adja hozzá a jegyzetfüzetet egy olyan feladathoz, amely ugyanabban a feladatban szerepel, amely a paramétereket használja. Tekintse meg az Apache Spark konfigurációs tulajdonságainak lekérését és beállítását egy jegyzetfüzetben.

Környezetek és függőségek konfigurálása

A tárak és függőségek kiszolgáló nélküli számítással történő telepítéséről további információt a jegyzetfüzet-függőségek telepítése című témakörben talál.

Kiszolgáló nélküli számítási automatikus optimalizálás konfigurálása az újrapróbálkozások letiltásához

A munkafolyamatokhoz készült kiszolgáló nélküli számítás automatikus optimalizálása automatikusan optimalizálja a feladatok futtatásához használt számítást, és újrapróbálkoztatja a sikertelen feladatokat. Az automatikus optimalizálás alapértelmezés szerint engedélyezve van, és a Databricks azt javasolja, hogy hagyja engedélyezve, hogy a kritikus számítási feladatok legalább egyszer sikeresen fussanak. Ha azonban olyan számítási feladatokkal rendelkezik, amelyeket legfeljebb egyszer kell végrehajtani, például olyan feladatokat, amelyek nem idempotensek, kikapcsolhatja az automatikus optimalizálást a tevékenységek hozzáadásakor vagy szerkesztésekor:

1. Az Újrapróbálkozás mellett kattintson a Hozzáadás gombra (vagy ha már létezik újrapróbálkozési szabályzat).
2. Az Újrapróbálkozási szabályzat párbeszédpanelen törölje a jelet a kiszolgáló nélküli automatikus optimalizálás engedélyezése (további újrapróbálkozást is tartalmazhat) jelölőnégyzetből.
3. Kattintson a Megerősítés gombra.
4. Ha feladatot ad hozzá, kattintson a Tevékenység létrehozása gombra. Ha egy feladatot szerkeszt, kattintson a Mentés gombra.

A kiszolgáló nélküli számítást munkafolyamatokhoz használó feladatok költségeinek monitorozása

A kiszolgáló nélküli számítást munkafolyamatokhoz használó feladatok költségeit a számlázható használati rendszer táblájának lekérdezésével figyelheti. Ez a táblázat úgy frissül, hogy tartalmazza a kiszolgáló nélküli költségekkel kapcsolatos felhasználói és számítási feladatok attribútumait. Lásd: Számlázható használati rendszer táblareferenciája.

Az aktuális díjszabással és az esetleges promóciókkal kapcsolatos információkért tekintse meg a Munkafolyamatok díjszabási oldalát.

Feladatfuttatások lekérdezési adatainak megtekintése

Megtekintheti a Spark-utasítások részletes futásidejű adatait, például a metrikákat és a lekérdezési terveket.

A feladatok felhasználói felületéről a lekérdezés részleteinek eléréséhez kövesse az alábbi lépéseket:

1. Kattintson a Munkafolyamatok elemre az oldalsávon.

2. Kattintson a megtekinteni kívánt feladat nevére.

3. Kattintson a megtekinteni kívánt futtatásra.

4. Az Ütemterv gombra kattintva idősorként tekintheti meg a futtatásokat, és feloszthatja őket az egyes tevékenységekre.

5. A feladat neve melletti nyílra kattintva megjelenítheti a lekérdezési utasításokat és azok futtatókörnyezeteit.

   

6. Kattintson egy utasításra a lekérdezés részletei panel megnyitásához. A panelen elérhető információkról további információt a Lekérdezés részleteinek megtekintése című témakörben talál.

Feladat lekérdezési előzményeinek megtekintése:

1. A Feladat futtatása oldalpanel Számítási szakaszában kattintson a Lekérdezéselőzmények elemre.
2. A rendszer átirányítja a lekérdezési előzményekre, amelyet a program előre szűrt a feladat futtatási azonosítója alapján.

A lekérdezési előzmények használatáról további információt a Delta Live Tables-folyamatok és a lekérdezési előzmények Access lekérdezési előzményei című témakörben talál.

Korlátozások

A kiszolgáló nélküli számítási feladatok munkafolyamatokra vonatkozó korlátozásainak listáját a kiszolgáló nélküli számítási kibocsátási megjegyzések kiszolgáló nélküli számítási korlátozásai című témakörben találja.