Ajánlott készletkezelési eljárások
Ez a cikk bemutatja, hogy mik a készletek, és hogyan konfigurálhatja őket a legjobban. A készlet létrehozásával kapcsolatos információkért tekintse meg a készlet konfigurációs referenciáját.
Készletekkel kapcsolatos szempontok
Készlet létrehozásakor vegye figyelembe a következőket:
- Hozzon létre készleteket példánytípusok és Azure Databricks-futtatókörnyezetek használatával a célterhelések alapján.
- Ha lehetséges, töltse fel a készleteket kihasználatlan példányokkal a költségek csökkentése érdekében.
- Töltse fel a készleteket igény szerinti példányokkal a feladatokhoz rövid végrehajtási idővel és szigorú végrehajtási időkövetelményekkel.
- Készletcímkék és fürtcímkék használata a számlázás kezeléséhez.
- A készletek előzetes feltöltése annak érdekében, hogy a példányok elérhetők legyenek, amikor a fürtöknek szükségük van rájuk.
Készletek létrehozása számítási feladatok alapján
Ha az illesztőprogram-csomópont és a feldolgozó csomópontok eltérő követelményekkel rendelkeznek, hozzon létre egy másik készletet mindegyikhez.
A példányok beszerzésének idejét minimalizálhatja, ha létrehoz egy készletet az egyes példánytípusokhoz, és a szervezet által gyakran használt Azure Databricks-futtatókörnyezetet. Ha például a legtöbb adatelemzési fürt A típusú példányt használ, az adatelemzési fürtök a B példánytípust használják, az elemzési fürtök pedig A típusú példányt használnak, hozzon létre egy készletet minden példánytípussal.
Konfigurálja a készleteket igény szerinti példányok használatára a rövid végrehajtási idővel és szigorú végrehajtási időkövetelményekkel rendelkező feladatokhoz. Igény szerinti példányok használatával megakadályozhatja, hogy a beszerzett példányok elveszjenek egy magasabb licitáló számára az azonnali piacon.
A készleteket úgy konfigurálhatja, hogy kihasználatlan példányokat használjanak olyan fürtökhöz, amelyek támogatják az interaktív fejlesztést vagy a megbízhatóságot előnyben részesítő feladatokat.
Készletek címkézése a költségek és a számlázás kezeléséhez
A készletek megfelelő költséghelyre való címkézése lehetővé teszi a költség- és használati díjvisszatérítés kezelését. Több egyéni címkével több költséghelyet is társíthat egy készlethez. Fontos azonban tisztában lenni a címkék propagálásának módjával, amikor fürt jön létre készletekből. A készletek címkéi a mögöttes felhőszolgáltatói példányokra propagálnak, de a fürt címkéi nem. Alkalmazza a felhőszolgáltató számítási költségeinek visszaterhelésének kezeléséhez szükséges összes egyéni címkét a készletre.
A készletcímkék és a fürtcímkék egyaránt az Azure Databricks-számlázásba propagálnak. A fürt- és készletcímkék kombinációjával kezelheti az Azure Databricks-egységek terhelését.
További információ: Használat figyelése címkékkel.
Készletek konfigurálása a költségek szabályozásához
A készletek költségeinek szabályozásához az alábbi konfigurációs beállításokat használhatja:
- Állítsa a Min tétlen példányokat 0 értékre, hogy ne kelljen fizetnie a nem működő futó példányokért. A kompromisszum egy lehetséges időnövekedés, amikor egy fürtnek új példányt kell beszereznie.
- Állítsa be az üresjárati példány automatikus leállításának idejét, hogy puffert biztosítson a fürtből való kiengedés és a készletből való elvetése között. Állítsa be ezt egy olyan időszakra, amely lehetővé teszi a költségek minimalizálását, miközben biztosítja a példányok rendelkezésre állását az ütemezett feladatokhoz. Az A feladat például 8:00-kor fut, és 40 percet vesz igénybe. A B feladat az ütemezés szerint 9:00-kor fut, és 30 percet vesz igénybe. Állítsa az üresjárati példány automatikus leállításának értékét 20 percre, hogy az A feladat befejeződésekor a készletbe visszaküldött példányok elérhetők legyenek a B feladat indításakor. Ha egy másik fürt nem követeli őket, a példányok a B feladat befejeződése után 20 perccel megszűnnek.
- Állítsa be a maximális kapacitást a várható használat alapján. Ez beállítja a készletben használt és tétlen példányok maximális számának felső határát. Ha egy feladat vagy fürt egy példányt kér egy készletből a maximális kapacitáson, a kérés meghiúsul, és a fürt nem szerez be több példányt. Ezért a Databricks azt javasolja, hogy csak akkor állítsa be a maximális kapacitást, ha szigorú példánykvóta vagy költségvetési korlátozás van.
Készletek előzetes feltöltése
A készletek teljes kihasználtságához előre feltöltheti az újonnan létrehozott készleteket. Állítsa be a minimális üresjárati példányokat nullánál nagyobbra a készletkonfigurációban. Ha azt a javaslatot követi, hogy ezt az értéket nullára állítsa, használjon egy kezdőfeladatot annak biztosítására, hogy az újonnan létrehozott készletek elérhetők legyenek a fürtök számára elérhető példányokkal.
A kezdőfeladat-megközelítéssel ütemezzen egy rugalmas végrehajtási időigényű feladatot, hogy a feladatok a szigorúbb teljesítménykövetelményekkel rendelkező feladatok előtt vagy az interaktív fürtök használatának megkezdése előtt fussanak. A feladat befejezése után a feladathoz használt példányok vissza lesznek adva a készletbe. Állítsa a Min üresjárati példány beállítást 0 értékre, és állítsa be az üresjárati példány automatikus leállítási idejét elég magasra ahhoz, hogy a tétlen példányok továbbra is elérhetők maradjanak a következő feladatokhoz.
Egy kezdőfeladat használatával a készletpéldányok felpörögnek, feltöltik a készletet, és elérhetők maradnak az alsóbb rétegbeli vagy interaktív fürtök számára.