Számítási feladatok konfigurálása
Ez a cikk javaslatokat és erőforrásokat tartalmaz a Databricks-feladatok számítási feladatainak konfigurálásához.
Fontos
A feladatok kiszolgáló nélküli számításának korlátozásai a következők:
- A folyamatos ütemezés nem támogatott.
- A strukturált streamelés alapértelmezett vagy időalapú időközi eseményindítói nem támogatottak.
További korlátozásokért tekintse meg a kiszolgáló nélküli számítási korlátozásokat.
Minden feladathoz tartozhat egy vagy több tevékenység. Az egyes tevékenységekhez számítási erőforrásokat határozhat meg. Ugyanahhoz a feladathoz több tevékenység is használhatja ugyanazt a számítási erőforrást.
Mi az ajánlott számítás az egyes tevékenységekhez?
Az alábbi táblázat az egyes tevékenységtípusokhoz ajánlott és támogatott számítási típusokat jelöli.
Feljegyzés
A feladatok kiszolgáló nélküli számítása korlátozásokkal rendelkezik, és nem támogatja az összes számítási feladatot. Lásd a kiszolgáló nélküli számítási korlátozásokat.
| Task | Javasolt számítás | Támogatott számítás |
|---|---|---|
| Jegyzetfüzetek | Kiszolgáló nélküli feladatok | Kiszolgáló nélküli feladatok, klasszikus feladatok, klasszikus, teljes körű |
| Python-szkript | Kiszolgáló nélküli feladatok | Kiszolgáló nélküli feladatok, klasszikus feladatok, klasszikus, teljes körű |
| Python-kerék | Kiszolgáló nélküli feladatok | Kiszolgáló nélküli feladatok, klasszikus feladatok, klasszikus, teljes körű |
| SQL | Kiszolgáló nélküli SQL Warehouse | Kiszolgáló nélküli SQL Warehouse, pro SQL Warehouse |
| Delta Live Tables-folyamat | Kiszolgáló nélküli folyamat | Kiszolgáló nélküli folyamat, klasszikus folyamat |
| dbt | Kiszolgáló nélküli SQL Warehouse | Kiszolgáló nélküli SQL Warehouse, pro SQL Warehouse |
| dbt CLI-parancsok | Kiszolgáló nélküli feladatok | Kiszolgáló nélküli feladatok, klasszikus feladatok, klasszikus, teljes körű |
| KORSÓ | Klasszikus feladatok | Klasszikus feladatok, klasszikus, teljes körű |
| Spark-küldés | Klasszikus feladatok | Klasszikus feladatok |
A feladatok díjszabása a tevékenységek futtatásához használt számításhoz van kötve. További részletekért lásd a Databricks díjszabását.
Hogyan számítási feladatokat konfigurálni?
A klasszikus feladatok számítása közvetlenül a Databricks-feladatok felhasználói felületéről van konfigurálva, és ezek a konfigurációk a feladatdefiníció részét képezik. Minden más elérhető számítási típus más munkaterületi eszközökkel tárolja a konfigurációkat. Az alábbi táblázat további részleteket tartalmaz:
| Számítási típus | Részletek |
|---|---|
| Klasszikus feladatok számítása | A számítást a klasszikus feladatokhoz ugyanazzal a felhasználói felülettel és a teljes körű számításhoz elérhető beállításokkal konfigurálhatja. Lásd: Számítási konfigurációs referencia. |
| Kiszolgáló nélküli számítás feladatokhoz | A feladatok kiszolgáló nélküli számítása az alapértelmezett az azt támogató összes tevékenységhez. A Databricks kezeli a kiszolgáló nélküli számítás számítási beállításait. Lásd: Azure Databricks-feladat futtatása kiszolgáló nélküli számítással munkafolyamatokhoz. nn A munkaterület rendszergazdájának engedélyeznie kell a kiszolgáló nélküli számítást ahhoz, hogy ez a beállítás látható legyen. Lásd: Kiszolgáló nélküli számítás engedélyezése. |
| SQL-raktárak | A kiszolgáló nélküli és pro SQL-raktárakat munkaterület-rendszergazdák vagy korlátlan fürtlétrehozási jogosultsággal rendelkező felhasználók konfigurálják. A feladatokat úgy konfigurálja, hogy a meglévő SQL-raktárakon fussanak. Lásd: Csatlakozás SQL-raktárhoz. |
| Delta Live Tables-folyamat számítása | A folyamatkonfiguráció során konfigurálhatja a Delta Live Tables-folyamatok számítási beállításait. Lásd: Delta Live Tables-folyamat számításának konfigurálása. Nn Az Azure Databricks kezeli a kiszolgáló nélküli Delta Live Tables-folyamatok számítási erőforrásait. Lásd: Kiszolgáló nélküli Delta Live Tables-folyamat konfigurálása. |
| Teljes körű számítás | A feladatokat igény szerint konfigurálhatja a klasszikus, teljes célú számítással. A Databricks nem javasolja ezt a konfigurációt éles feladatokhoz. Lásd a számítási konfigurációra vonatkozó referenciát , és érdemes-e minden célra szolgáló számítást használni a feladatokhoz?. |
Számítási feladatok megosztása
A feladatok úgy konfigurálhatók, hogy ugyanazokat a feladatokat számítási erőforrások használatával optimalizálják az erőforrás-használatot több feladatot vezénylő feladatokkal. A számítások tevékenységek közötti megosztása csökkentheti az indítási időpontokhoz kapcsolódó késést.
Egyetlen feladat számítási erőforrásával futtathatja a feladat részét képező összes feladatot, vagy több, adott számítási feladathoz optimalizált feladaterőforrást. A feladat részeként konfigurált feladatok számítása a feladat összes többi tevékenységéhez elérhető.
Az alábbi táblázat az egyetlen tevékenységhez konfigurált feladatszámítás és a tevékenységek között megosztott feladatszámítás közötti különbségeket emeli ki:
| Egyetlen tevékenység | Tevékenységek között megosztva | |
|---|---|---|
| Elkezd | Amikor megkezdődik a feladatfuttatás. | Amikor megkezdődik a számítási erőforrás használatára konfigurált első feladatfuttatás. |
| Befejezés | A feladat futtatása után. | A számítási erőforrás használatára konfigurált utolsó feladat futtatása után. |
| Tétlen számítás | Nem alkalmazható. | A számítás továbbra is aktív és tétlen marad, miközben a számítási erőforrást nem használó tevékenységek futnak. |
A megosztott feladatfürtök hatóköre egyetlen feladatfuttatásra van korlátozva, és más feladatok vagy ugyanazon feladat futtatásai nem használhatják.
A tárak nem deklarálhatók megosztott feladatfürt-konfigurációban. Függő kódtárakat kell hozzáadnia a feladatbeállításokhoz.
Feladatok számítási feladatainak áttekintése, konfigurálása és felcserélése
A Feladat részletei panel Számítási szakasza felsorolja az aktuális feladat tevékenységeihez konfigurált összes számítást.
A számítási erőforrás használatára konfigurált tevékenységek akkor jelennek meg a tevékenységgráfban, ha a számítási specifikáció fölé viszi az egérmutatót.
A Felcserélés gombbal módosíthatja a számítási erőforráshoz társított összes tevékenység számítását.
A klasszikus feladatok számítási erőforrásai konfigurálási lehetőséggel rendelkeznek. Más számítási erőforrások lehetővé teszik a számítási konfiguráció részleteinek megtekintését és módosítását.
Javaslatok a klasszikus feladatok számításának konfigurálásához
Ez a szakasz olyan funkciókra és konfigurációkra vonatkozó általános javaslatokat tartalmaz, amelyek bizonyos munkafolyamatok számára hasznosak lehetnek. A számítási erőforrások méretének és típusainak konfigurálására vonatkozó konkrét javaslatok a számítási feladattól függően változnak.
A Databricks javasolja a Photon Acceleration engedélyezését, a Databricks Runtime legújabb verzióinak használatát, valamint a Unity Cataloghoz konfigurált számítás használatát.
A feladatok kiszolgáló nélküli számítása az összes infrastruktúrát kezeli, így nem veszi figyelembe az alábbi szempontokat. Lásd: Azure Databricks-feladat futtatása kiszolgáló nélküli számítással munkafolyamatokhoz.
Feljegyzés
A strukturált streamelési munkafolyamatok konkrét javaslatokkal rendelkeznek. Lásd a strukturált streamelés éles szempontjait.
Megosztott hozzáférési mód használata
A Databricks megosztott hozzáférési módot javasol a feladatokhoz. Lásd: Hozzáférési módok.
Feljegyzés
A megosztott hozzáférési mód egyes számítási feladatokat és funkciókat nem támogat. A Databricks egyfelhasználós hozzáférési módot javasol ezekhez a számítási feladatokhoz. Lásd a Unity Catalog számítási hozzáférési módra vonatkozó korlátozásait.
Fürtszabályzatok használata
A Databricks azt javasolja, hogy a munkaterület rendszergazdái határozzanak meg fürtszabályzatokat a feladatokhoz, és kényszerítse ezeket a házirendeket minden olyan felhasználó számára, aki feladatokat konfigurál.
A fürtszabályzatok lehetővé teszik a munkaterület rendszergazdái számára a költségvezérlők beállítását és a felhasználók konfigurációs beállításainak korlátozását. A fürtszabályzatok konfigurálásával kapcsolatos részletekért lásd: Számítási szabályzatok létrehozása és kezelése.
Az Azure Databricks egy alapértelmezett, feladatokhoz konfigurált szabályzatot biztosít. A rendszergazdák elérhetővé tehetik ezt a szabályzatot más munkaterület-felhasználók számára. Lásd: Feladatszámítás.
Automatikus skálázás használata
Konfigurálja az automatikus skálázást, hogy a hosszan futó tevékenységek dinamikusan hozzáadhassák és eltávolíthassák a munkavégző csomópontokat a feladatfuttatások során. Lásd az Automatikus skálázás engedélyezése témakört.
Készlet használata a fürt kezdési idejének csökkentéséhez
A számítási készletek lehetővé teszik a számítási erőforrások felhőszolgáltatótól való lefoglalását. A készletek előnyösek az új feladatfürt kezdési idejének csökkentése és a számítási erőforrások rendelkezésre állásának biztosítása érdekében. Lásd: Készletkonfigurációs referencia.
Kihasználatlan példányok használata
A költségek optimalizálásához konfiguráljon kihasználatlan példányokat olyan számítási feladatokhoz, amelyek késési követelményeket támasztanak. Lásd: Kihasználatlan példányok.
Használjon-e minden célú számítást a feladatokhoz?
A Databricks számos okból javasolja a teljes körű számítási feladatok használatát, többek között az alábbiakat:
- Az Azure Databricks a feladatok számításánál eltérő díjszabással számláz a teljes célú számításhoz.
- A feladatok számítása automatikusan leáll egy feladat futtatása után. A teljes körű számítás támogatja az automatikus leállítást, amely nem a feladatfuttatás végén, hanem az inaktivitáshoz van kötve.
- A teljes körű számítás gyakran meg van osztva a felhasználók csapatai között. A teljes célú számításra ütemezett feladatok gyakran nagyobb késéssel rendelkeznek a számítási erőforrások versenye miatt.
- A feladatok számítási konfigurációjának optimalizálására vonatkozó számos javaslat nem felel meg az alkalmi lekérdezések típusának, és az interaktív számítási feladatok teljes körű számításon futnak.
Az alábbiakban azokat a használati eseteket adhatja meg, amelyekben a feladatokhoz a teljes körű számítást választhatja:
- Iteratív módon fejleszt vagy tesztel új feladatokat. A feladatok számítási kezdési időpontjai megnehezíthetik az iteratív fejlesztést. A teljes körű számítás lehetővé teszi a módosítások alkalmazását és a feladat gyors futtatását.
- Rövid élettartamú feladatokkal rendelkezik, amelyeket gyakran vagy meghatározott ütemezés szerint kell futtatnia. A jelenleg futó teljes célú számításhoz nincs indítási idő társítva. Ha ezt a mintát használja, fontolja meg a tétlenségi időhöz kapcsolódó költségeket.
A feladatok kiszolgáló nélküli számítása az ajánlott helyettesítője a legtöbb feladattípusnak, amelyet érdemes lehet a teljes célú számításon futtatni.