HDInsight automatikus méretezése AKS-fürtökön
Fontos
Ez a szolgáltatás jelenleg előzetes kiadásban elérhető. A Microsoft Azure Előzetes verzió kiegészítő használati feltételei további jogi feltételeket tartalmaznak, amelyek a bétaverzióban, előzetes verzióban vagy egyébként még nem általánosan elérhető Azure-funkciókra vonatkoznak. Erről az adott előzetes verzióról az Azure HDInsight az AKS előzetes verziójában tájékozódhat. Ha kérdése vagy funkciójavaslata van, küldjön egy kérést az AskHDInsightban a részletekkel együtt, és kövessen minket további frissítésekért az Azure HDInsight-közösségről.
A fürtök méretezése a feladatok teljesítményének és a költségek előre történő kezeléséhez mindig bonyolult, és nehéz meghatározni! A Data Lake House felhőn keresztül történő kiépítésének egyik jövedelmező előnye a rugalmassága, ami azt jelenti, hogy az automatikus skálázási funkcióval maximalizálható a rendelkezésre álló erőforrások kihasználtsága. Az automatikus skálázás a Kubernetes használatával az egyik kulcs a költségoptimalizált ökoszisztéma létrehozásához. Bármely vállalat eltérő használati mintái esetén előfordulhat, hogy a fürtbetöltések időbeli eltérései miatt a fürtök alulkiépítése (pocsék teljesítmény) vagy túlterjedése (az inaktív erőforrások miatt szükségtelen költségek) következhetnek be.
Az AKS-en a HDInsightban kínált automatikus skálázási funkció automatikusan növelheti vagy csökkentheti a fürt feldolgozó csomópontjainak számát. Az automatikus skálázás az ügyfelek által használt fürtmetrikákat és skálázási szabályzatokat használja.
Ez a funkció kiválóan alkalmas kritikus fontosságú számítási feladatokhoz, amelyek
- Változó vagy kiszámíthatatlan forgalmi minták, és nagy teljesítményű és skálázású SLA-kat igényelnek
- Előre meghatározott ütemezés ahhoz, hogy a szükséges munkavégző csomópontok elérhetők legyenek a fürt feladatainak sikeres végrehajtásához.
Az automatikus skálázás a HDInsighttal az AKS-fürtökön költséghatékonyabbá és rugalmasabbá teszi a fürtöket az Azure-ban.
Az automatikus skálázással az ügyfelek a számítási feladatok befolyásolása nélkül skálázhatják le a fürtöket. Olyan fejlett képességekkel rendelkezik, mint a kecses leszerelés és a hűtési időszak. Ezek a képességek lehetővé teszik a felhasználók számára, hogy megalapozott döntéseket hozzanak a csomópontok hozzáadásáról és eltávolításáról a fürt aktuális terhelése alapján.
Hogyan működik?
Ez a funkció úgy működik, hogy a csomópontok számát a fürtmetrikák vagy a vertikális felskálázási és vertikális leskálázási műveletek meghatározott ütemezése alapján skálázza az előre beállított korlátokon belül. Az automatikus skálázási események aktiválásának két típusa van: a különböző fürtteljesítmény-metrikák küszöbértékalapú eseményindítói (az úgynevezett terhelésalapú skálázás) és az időalapú eseményindítók (ütemezésalapú skálázás).
A terhelésalapú skálázás megváltoztatja a fürt csomópontjainak számát a beállított tartományon belül, hogy biztosítsa az optimális processzorhasználatot, és minimalizálja a futási költségeket.
Az ütemezésalapú skálázás a vertikális felskálázási és vertikális leskálázási műveletek ütemezése alapján módosítja a fürt csomópontjainak számát.
Feljegyzés
Az automatikus skálázás nem támogatja a meglévő fürt termékváltozat-típusának módosítását.
Fürtkompatibilitás
Az alábbi táblázat az automatikus méretezési funkcióval kompatibilis fürttípusokat, valamint az elérhető vagy tervezett fürttípusokat ismerteti.
| Számítási feladat | Terhelésalapú | Ütemezés alapján |
|---|---|---|
| Flink | Tervezett | Igen |
| Trinó | Igen** | Igen** |
| Spark | Igen** | Igen** |
**A kecses leszerelés konfigurálható.
Méretezési módszerek
Ütemezésalapú skálázás:
Ha a feladatok várhatóan rögzített ütemezés szerint és kiszámítható ideig futnak, vagy ha a nap meghatározott időszakaiban alacsony használatot vár, például teszt- és fejlesztői környezeteket a munkaidő utáni, a nap végén végzett feladatokban.
Terhelésalapú skálázás:
Amikor a terhelési minták napközben jelentősen és kiszámíthatatlanul ingadoznak, például megrendelési adatfeldolgozás véletlenszerű ingadozásokkal a terhelési mintákban különböző tényezők alapján.
Az új, méretezési szabály beállításával mostantól testre szabhatja a méretezési szabályokat.
Tipp.
- A felskálázási szabályok elsőbbséget élveznek egy vagy több szabály aktiválásakor. Még akkor is, ha a vertikális felskálázási szabályok közül csak az egyik utal arra, hogy a fürt nincs kiépítve, a fürt megpróbálja felskálázni a skálázást. A vertikális felskálázási szabályt nem szabad aktiválni.
Terhelésalapú méretezési feltételek
A következő feltételek észlelése esetén az automatikus skálázás méretezési kérést ad ki
| Vertikális felskálázás | Leskálázás |
|---|---|
| A lefoglalt magok 5 perces lekérdezési időköz esetén (1 perces ellenőrzési időszak) nagyobbak, mint 80%. | A lefoglalt magok kisebbek vagy egyenlők 20%-nál 5 perces lekérdezési időköz esetén (1 perces ellenőrzési időszak) |
A vertikális felskálázáshoz az automatikus skálázás felskálázási kérelmet ad ki a szükséges számú csomópont hozzáadásához. A vertikális felskálázás azon alapul, hogy hány új feldolgozó csomópontra van szükség az aktuális processzor- és memóriakövetelmények teljesítéséhez. Ez az érték a beállított munkavégző csomópontok maximális számára van megfeleltetve.
A leskálázáshoz az automatikus skálázás bizonyos csomópontok eltávolítására irányuló kérést ad vissza. A leskálázási szempontok közé tartozik a csomópontonkénti podok száma, az aktuális processzor- és memóriakövetelmények, valamint a feldolgozó csomópontok, amelyek az aktuális feladat végrehajtása alapján eltávolításra jelölt csomópontok. A vertikális leskálázási művelet először leszereli a csomópontokat, majd eltávolítja őket a fürtből.
Fontos
Az automatikus méretezési szabálymotor proaktív módon 30 percenként kiüríti a régi eseményeket a rendszermemória optimalizálása érdekében. Ennek eredményeképpen a skálázási szabály intervallumában 30 perc felső korlát van megadva. A skálázási műveletek konzisztens és megbízható aktiválásának biztosítása érdekében elengedhetetlen, hogy a skálázási szabály időközét a korlátnál kisebb értékre állítsa. Ennek az útmutatónak a betartásával zökkenőmentes és hatékony skálázási folyamatot garantálhat, miközben hatékonyan kezelheti a rendszererőforrásokat.
Fürtmetrikák
Az automatikus skálázás folyamatosan figyeli a fürtöt, és összegyűjti a következő metrikákat a terhelésalapú automatikus skálázáshoz:
Skálázási célokra elérhető fürtmetrikák
| Metrika | Leírás |
|---|---|
| Elérhető magok százalékos aránya | A fürtben elérhető magok teljes száma a fürtben lévő magok teljes számához képest. |
| Rendelkezésre álló memória százalékos aránya | A fürtben elérhető teljes memória (MB-ban) a fürt teljes memóriamennyiségéhez képest. |
| Lefoglalt magok százalékos aránya | A fürtben lefoglalt magok teljes száma a fürtben lévő magok teljes számához képest. |
| Lefoglalt memória százalékos aránya | A fürtben lefoglalt memória mennyisége a fürtben lévő memória teljes mennyiségéhez képest. |
Alapértelmezés szerint a fenti metrikák ellenőrzése 300 másodpercenként történik, és akkor is konfigurálható, ha az automatikus méretezési beállítással szabja testre a lekérdezési időközt. Az automatikus skálázás ezen metrikák alapján vertikális fel- vagy leskálázási döntéseket hoz.
Feljegyzés
Az automatikus skálázás alapértelmezés szerint az Apache Spark YARN-hoz készült alapértelmezett erőforrás-kalkulátorát használja. A terhelésalapú skálázás az Apache Spark-fürtökhöz érhető el.
Kecses leszerelés
A vállalatoknak szükségük van a petabájtméret automatikus méretezéssel való elérésére és az erőforrások kecses leszerelésére, amikor már nincs rájuk szükség. Ilyen esetben hasznos lehet a kecses leszerelési funkció.
A türelmes leszerelés lehetővé teszi a feladatok befejezését még akkor is, ha az automatikus skálázás aktiválta a feldolgozó csomópontok leszerelését. Ez a funkció lehetővé teszi a csomópontok kiépítését a feladatok befejezéséig.
Trino : A dolgozók alapértelmezés szerint engedélyezve vannak a kecses leszereléssel. A koordinátor lehetővé teszi, hogy a feldolgozó a konfigurált ideig befejezze a feladatait, mielőtt eltávolítaná a feldolgozót a fürtből. Az időtúllépést natív Trino paraméterrel
shutdown.grace-periodvagy az Azure Portal szolgáltatáskonfigurációs oldalán konfigurálhatja.Apache Spark : A leskálázás hatással lehet a fürtben futó feladatokra/ leállhat. Ha engedélyezi a Graceful Leszerelési beállításokat az Azure Portalon, az magában foglalja a YARN-csomópontok graceful leszerelését, és biztosítja, hogy a feldolgozó csomóponton folyamatban lévő összes munka befejeződjön, mielőtt a csomópont el lett távolítva az AKS-fürtön lévő HDInsightból.
Lehűlési időszak
A folyamatos vertikális felskálázási műveletek elkerülése érdekében az automatikus méretezési motor egy konfigurálható időközre vár, mielőtt újabb vertikális felskálázási műveleteket kezdeményez. Az alapértelmezett érték 180 másodpercre van beállítva
Feljegyzés
- Egyéni méretezési szabályokban egyetlen szabály-eseményindító sem rendelkezhet 30 percnél hosszabb eseményindító-időközsel. Az automatikus skálázási esemény bekövetkezése után mennyi időt kell várni egy másik skálázási szabályzat kikényszerítése előtt.
- A lehűlési időszaknak nagyobbnak kell lennie a szabályzatintervallumnál, így a fürtmetrikák alaphelyzetbe állíthatók.
Első lépések
Ahhoz, hogy az automatikus skálázás működjön, a tulajdonosi vagy közreműködői engedélyt a fürt szintjén kell hozzárendelnie az MSI-hez (amelyet a fürt létrehozásakor használnak) a bal oldali panelen található IAM használatával.
Tekintse meg az alábbi ábrát és a szerepkör-hozzárendelés hozzáadásának lépéseit
Válassza ki a szerepkör-hozzárendelés hozzáadását,
- Hozzárendelés típusa: Kiemelt rendszergazdai szerepkörök
- Szerepkör: Tulajdonos vagy közreműködő
- Tagok: Válassza ki a felügyelt identitást, és válassza ki a felhasználó által hozzárendelt felügyelt identitást, amely a fürtlétrehozási fázisban lett megadva.
- Rendelje hozzá a szerepkört.
Fürt létrehozása ütemezésalapú automatikus méretezéssel
A fürtkészlet létrehozása után hozzon létre egy új fürtöt a kívánt számítási feladattal (a fürttípuson), és végezze el a többi lépést a normál fürtlétrehozás folyamatának részeként.
A Konfiguráció lapon engedélyezze az Automatikus méretezés kapcsolót.
Ütemezésalapú automatikus skálázás kiválasztása
Jelölje ki az időzónát, majd kattintson a + Szabály hozzáadása elemre
Válassza ki a hét azon napjait, amelyekre az új feltételnek vonatkoznia kell.
Szerkessze a feltétel érvénybe lépésének időpontját, valamint a fürtöt skálázni kívánt csomópontok számát.
Feljegyzés
- A felhasználónak "tulajdonosi" vagy "közreműködői" szerepkört kell biztosítania a fürt MSI-jén az automatikus skálázás működéséhez.
- Az alapértelmezett érték határozza meg a fürt kezdeti méretét a létrehozásakor.
- A két ütemezés közötti különbség alapértelmezés szerint 30 percre van beállítva.
- Az időérték a 24 órás formátumot követi
- Ha több mint 24 órán túl tartó folyamatos időszakról van szó, az automatikus méretezési ütemezést napok között kell beállítania, az automatikus skálázás pedig a 23:59-et 00:00-nak tekinti (ugyanazzal a csomópontszámmal), amely két napon keresztül, 22:00 és 23:59 között, 00:00 és 02:00 között, valamint 22:00 és 02:00 között tart.
- Az ütemezések alapértelmezés szerint az egyezményes világidő (UTC) szerint vannak beállítva. Az elérhető legördülő menüben mindig frissíthet a helyi időzónának megfelelő időzónára. Ha olyan időzónában van, amely megfigyeli a nyári időszámítást, az ütemezés nem módosul automatikusan, az ütemezési frissítéseket ennek megfelelően kell kezelnie.
Fürt létrehozása terhelésalapú automatikus méretezéssel
A fürtkészlet létrehozása után hozzon létre egy új fürtöt a kívánt számítási feladattal (a fürttípuson), és végezze el a többi lépést a normál fürtlétrehozás folyamatának részeként.
A Konfiguráció lapon engedélyezze az Automatikus méretezés kapcsolót.
A Terhelésalapú automatikus skálázás kiválasztása
A számítási feladat típusától függően lehetősége van a türelmes leszerelési időtúllépés, a lehűlési időszak hozzáadására
Válassza ki a minimális és maximális csomópontokat, és szükség esetén konfigurálja a méretezési szabályokat az automatikus skálázás igényeihez való testreszabásához.
Tipp.
- Az előfizetés minden régióhoz rendelkezik kapacitáskvótát. A fő csomópontok magjainak teljes száma és a maximális feldolgozó csomópontok száma nem haladhatja meg a kapacitáskvótát. Ez a kvóta azonban egy helyreállítható korlát; mindig létrehozhat egy támogatási jegyet, hogy könnyebben növekedjen.
- Ha túllépi a teljes magkvótakorlátot, hibaüzenet jelenik meg
The maximum node count you can select is {maxCount} due to the remaining quota in the selected subscription ({remaining} cores). - A felskálázási szabályok elsőbbséget élveznek egy vagy több szabály aktiválásakor. Még akkor is, ha a vertikális felskálázási szabályok közül csak az egyik utal arra, hogy a fürt nincs kiépítve, a fürt megpróbálja felskálázni a skálázást. A vertikális felskálázási szabályt nem szabad aktiválni.
- Nyilvános előzetes verzióban az AKS-en futó HDInsight legfeljebb 500 csomópontot támogat egy fürtben.
Fürt létrehozása Resource Manager-sablonnal
Automatikus méretezés ütemezése
A HDInsightot az AKS-fürtön ütemezésalapú automatikus skálázással hozhatja létre egy Azure Resource Manager-sablonnal, ha hozzáad egy automatikus skálázást a fürtProfile –> automatikus méretezésprofil szakaszához.
Az automatikus skálázási csomópont egy olyan ismétlődési időt és ütemezést tartalmaz, amely leírja, hogy mikor történik a módosítás. Egy teljes Resource Manager-sablonért tekintse meg a JSON-mintafájlt
{
"autoscaleProfile": {
"enabled": true,
"autoscaleType": "ScheduleBased",
"gracefulDecommissionTimeout": 60,
"scheduleBasedConfig": {
"schedules": [
{
"days": [
"Monday",
"Tuesday",
"Wednesday"
],
"startTime": "09:00",
"endTime": "10:00",
"count": 2
},
{
"days": [
"Sunday",
"Saturday"
],
"startTime": "12:00",
"endTime": "22:00",
"count": 5
},
{
"days": [
"Monday",
"Tuesday",
"Wednesday",
"Thursday",
"Friday"
],
"startTime": "22:00",
"endTime": "23:59",
"count": 6
},
{
"days": [
"Monday",
"Tuesday",
"Wednesday",
"Thursday",
"Friday"
],
"startTime": "00:00",
"endTime": "05:00",
"count": 6
}
],
"timeZone": "UTC",
"defaultCount": 110
}
}
}
Tipp.
- A skálázási műveletek hibáinak elkerülése érdekében arm-üzemelő példányok használatával nem ütköző ütemezéseket kell beállítania.
Terhelésalapú automatikus skálázás
A HDInsightot az AKS-fürtön egy Azure Resource Manager-sablon használatával, terhelésalapú automatikus skálázással hozhatja létre, ha hozzáad egy automatikus skálázást a fürtProfile –> autoscaleProfile szakaszához.
Az automatikus skálázási csomópont tartalmazza
- lekérdezési időköz, lehűlési időszak,
- kecses leszerelés,
- minimális és maximális csomópontok,
- standard küszöbérték-szabályok,
- skálázási metrikák, amelyek ismertetik, hogy mikor történik a módosítás.
A teljes Resource Manager-sablonért tekintse meg a JSON-mintát az alábbiak szerint
{
"autoscaleProfile": {
"enabled": true,
"autoscaleType": "LoadBased",
"gracefulDecommissionTimeout": 60,
"loadBasedConfig": {
"minNodes": 2,
"maxNodes": 157,
"pollInterval": 300,
"cooldownPeriod": 180,
"scalingRules": [
{
"actionType": "scaleup",
"comparisonRule": {
"threshold": 80,
"operator": " greaterThanOrEqual"
},
"evaluationCount": 1,
"scalingMetric": "allocatedCoresPercentage"
},
{
"actionType": "scaledown",
"comparisonRule": {
"threshold": 20,
"operator": " lessThanOrEqual"
},
"evaluationCount": 1,
"scalingMetric": "allocatedCoresPercentage"
}
]
}
}
}
A REST API használata
Ha engedélyezni vagy letiltani szeretné az automatikus skálázást egy futó fürtön a REST API használatával, küldjön PATCH-kérést az automatikus skálázási végpontra: https://management.azure.com/subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTER_POOL_NAME}}/clusters/{{CLUSTER_NAME}}?api-version={{HILO_API_VERSION}}
- Használja a megfelelő paramétereket a kérelem hasznos adatai között. A json hasznos adataival engedélyezheti az automatikus skálázást.
- Használja a hasznos adatokat (automatikus méretezésProfile: null), vagy használja a jelzőt (engedélyezve, hamis) az automatikus skálázás letiltásához.
- Referenciaként tekintse meg a fenti lépésben említett JSON-mintákat.
Futó fürt automatikus méretezésének felfüggesztése
Bevezettük a szüneteltetés funkciót az automatikus skálázásban. Most az Azure Portal használatával szüneteltetheti az automatikus skálázást egy futó fürtön. Az alábbi ábra bemutatja, hogyan választhatja ki a szünetet, és hogyan folytathatja az automatikus skálázást
Ha folytatni szeretné az automatikus méretezési műveleteket, folytathatja.
Tipp.
Ha több ütemezést konfigurál, és szünetelteti az automatikus skálázást, az nem indítja el a következő ütemezést. A csomópontok száma változatlan marad, még akkor is, ha a csomópontok leszerelési állapotban vannak.
Automatikus méretezési konfigurációk másolása
Az Azure Portal használatával mostantól átmásolhatja ugyanazon fürtalakzat automatikus méretezési konfigurációit a fürtkészletbe, használhatja ezt a funkciót, és exportálhatja vagy importálhatja ugyanazokat a konfigurációkat.
Automatikus skálázási tevékenységek figyelése
Fürt állapota
Az Azure Portalon felsorolt fürtállapot segíthet az automatikus skálázási tevékenységek figyelésében. Az összes látható fürtállapot-üzenet a listában található.
| Fürt állapota | Leírás |
|---|---|
| Sikeres | A fürt normálisan működik. Az összes korábbi automatikus méretezési tevékenység sikeresen befejeződött. |
| Elfogadva | A fürtművelet (például vertikális felskálázás) elfogadott, és a művelet befejezésére vár. |
| Sikertelen | Ez azt jelenti, hogy egy aktuális művelet valamilyen okból meghiúsult, a fürt talán nem működik. |
| Visszavont | Az aktuális művelet megszakítva. |
A fürtben lévő csomópontok aktuális számának megtekintéséhez nyissa meg a fürt Áttekintés lapján található Fürtméret diagramot.
Műveletelőzmények
A fürt vertikális fel- és leskálázási előzményeit a fürtmetrikák részeként tekintheti meg. Az elmúlt nap, hét vagy egyéb időszak skálázási műveleteit is listázhatja.
További források