Megbízhatóság az Azure HDInsightban
Ez a cikk az Azure HDInsight megbízhatósági támogatását ismerteti, és ismerteti a rendelkezésre állási zónákat, a régiók közötti helyreállítást és az üzletmenet folytonosságát. Az Azure-beli megbízhatóság részletesebb áttekintéséhez tekintse meg az Azure megbízhatóságát.
Rendelkezésre állási zóna támogatása
Az Azure rendelkezésre állási zónái legalább három fizikailag különálló adatközpont-csoport az egyes Azure-régiókban. Az egyes zónákban lévő adatközpontok független energiaellátási, hűtési és hálózati infrastruktúrával rendelkeznek. Helyi zónahiba esetén a rendelkezésre állási zónák úgy vannak kialakítva, hogy az egy zóna érintettsége esetén a fennmaradó két zóna támogassa a regionális szolgáltatásokat, a kapacitást és a magas rendelkezésre állást.
A hibák a szoftver- és hardverhibáktól az olyan eseményekig terjedhetnek, mint a földrengések, árvizek és tűzesetek. A hibáktól való tolerancia az Azure-szolgáltatások redundanciával és logikai elkülönítésével érhető el. Az Azure-beli rendelkezésre állási zónákkal kapcsolatos részletesebb információkért tekintse meg a Régiók és a rendelkezésre állási zónák című témakört.
Az Azure rendelkezésre állási zónákkal kompatibilis szolgáltatások a megfelelő megbízhatósági és rugalmassági szintet biztosítják. Ezek kétféleképpen konfigurálhatók. Ezek lehetnek zónaredundánsak, a zónák közötti automatikus replikációval vagy a zónák közötti automatikus replikációval, egy adott zónába rögzített példányokkal. Ezeket a megközelítéseket kombinálhatja is. A zónaredundáns és a zónaredundáns architektúrával kapcsolatos további információkért tekintse meg a rendelkezésre állási zónák és régiók Javaslatok.
Az Azure HDInsight támogatja a zonális üzembehelyezési konfigurációt. Az Azure HDInsight-fürtcsomópontok egyetlen zónába kerülnek, amelyet a kiválasztott régióban választ ki. A zónaszintű HDInsight-fürtök el vannak különítve a más zónákban előforduló kimaradásoktól. Ha azonban egy üzemkimaradás hatással van a HDInsight-fürthöz kiválasztott adott zónára, a fürt nem lesz elérhető. Ez az üzembe helyezési modell olcsó, alacsony késésű hálózati kapcsolatot biztosít a fürtben. Ha ezt az üzemi modellt több rendelkezésre állási zónába replikálja, magasabb rendelkezésre állási szintet biztosíthat a hardverhibák elleni védelem érdekében.
Fontos
Azoknál az üzemelő példányoknál, ahol a felhasználók nem határoznak meg egy adott zónát, a csomóponttípusok nem rugalmasak a zóna számára, és állásidőt tapasztalhatnak az adott régió bármely zónájában.
Előfeltételek
A rendelkezésre állási zónák csak a 2023. június 15. után létrehozott fürtök esetében támogatottak. A rendelkezésre állási zóna beállításai nem frissíthetők a fürt létrehozása után. Meglévő, nem rendelkezésre állási zónafürtök nem frissíthetők rendelkezésre állási zónák használatára.
A fürtöket egyéni virtuális hálózat alatt kell létrehozni.
Saját SQL DB-t kell létrehoznia az Ambari DB-hez és a külső metaadattárhoz, például a Hive metaadattárhoz, hogy ezeket a dll-eket ugyanabban a rendelkezésre állási zónában konfigurálhassa.
A HDInsight-fürtöket a rendelkezésre állási zóna beállításával kell létrehozni az alábbi régiók egyikében:
- Kelet-Ausztrália
- Dél-Brazília
- Közép-Kanada
- USA középső régiója
- USA keleti régiója
- USA 2. keleti régiója
- Közép-Franciaország
- Középnyugat-Németország
- Kelet-Japán
- Dél-Korea középső régiója
- Észak-Európa
- Közép-Katar
- Délkelet-Ázsia
- USA déli középső régiója
- Az Egyesült Királyság déli régiója
- USA-beli államigazgatás – Virginia
- Nyugat-Európa
- USA 2. nyugati régiója
HDInsight-fürt létrehozása rendelkezésre állási zónával
Az Azure Resource Manager (ARM) sablonnal HDInsight-fürtöt indíthat egy megadott rendelkezésre állási zónába.
Az erőforrások szakaszban hozzá kell adnia a "zónák" egy szakaszát, és meg kell adnia, hogy melyik rendelkezésre állási zónában szeretné üzembe helyezni a fürtöt.
"resources": [
{
"type": "Microsoft.HDInsight/clusters",
"apiVersion": "2021-06-01",
"name": "[parameters('cluster name')]",
"location": "East US 2",
"zones": [
"1"
],
}
]
Csomópontok ellenőrzése egy rendelkezésre állási zónán belül zónák között
Ha a HDInsight-fürt készen áll, ellenőrizheti a helyet, hogy melyik rendelkezésre állási zónában vannak üzembe helyezve.
API-válasz lekérése:
[
{
"location": "East US 2",
"zones": [
"1"
],
}
]
A fürt vertikális felskálázása
A HDInsight-fürtöket több feldolgozó csomóponttal skálázhatja fel. Az újonnan hozzáadott feldolgozó csomópontok a fürt ugyanazon rendelkezésre állási zónájában lesznek elhelyezve.
Rendelkezésre állási zóna migrálása
Az Azure HDInsight-fürtök jelenleg nem támogatják a meglévő fürtpéldányok helyszíni migrálását a rendelkezésre állási zóna támogatására. Azonban dönthet úgy, hogy újra létrehozza a fürtöt, és a fürt létrehozása során másik rendelkezésre állási zónát vagy régiót választ. Vészhelyreállítási forgatókönyvekben egy másik régióban és egy másik rendelkezésre állási zónában lévő másodlagos készenléti fürt használható.
Zónaleállási élmény
Ha egy rendelkezésre állási zóna leáll:
- Ehhez a fürthöz nem lehet ssh-t adni.
- A fürt nem törölhető, nem méretezhető fel vagy skálázható le.
- Nem küldhet be feladatokat, és nem tekintheti meg a feladatelőzményeket.
- Továbbra is küldhet új fürtlétrehozási kérelmet egy másik régióban.
Régiók közötti vészhelyreállítás és üzletmenet-folytonosság
A vészhelyreállítás (DR) a nagy hatású események, például a természeti katasztrófák vagy az állásidőt és adatvesztést eredményező sikertelen üzemelő példányok helyreállításáról szól. A katasztrófa okától függetlenül a legjobb megoldás egy jól definiált és tesztelt DR-terv, valamint egy olyan alkalmazásterv, amely aktívan támogatja a DR-t. Mielőtt elkezdene gondolkodni a vészhelyreállítási terv létrehozásáról, tekintse meg a Javaslatok a vészhelyreállítási stratégia megtervezéséhez.
A DR-ről a Microsoft a megosztott felelősségi modellt használja. Egy megosztott felelősségi modellben a Microsoft biztosítja, hogy az alapinfrastruktúra és a platformszolgáltatások elérhetők legyenek. Ugyanakkor számos Azure-szolgáltatás nem replikálja automatikusan az adatokat, vagy egy meghibásodott régióból visszaesik egy másik engedélyezett régióba történő keresztreplikáláshoz. Ezekért a szolgáltatásokért Ön felel a számítási feladathoz használható vészhelyreállítási terv beállításáért. Az Azure-platformon szolgáltatásként (PaaS) futó szolgáltatások többsége funkciókkal és útmutatással támogatja a DR-t, és szolgáltatásspecifikus funkciókkal támogatja a gyors helyreállítást a dr. csomag fejlesztéséhez.
Az Azure HDInsight-fürtök számos Azure-szolgáltatástól függenek, például a tárolástól, az adatbázisoktól, az Active Directorytól, a Active Directory tartományi szolgáltatások, a hálózatkezeléstől és a Key Vaulttól. Egy jól megtervezett, magas rendelkezésre állású és hibatűrő elemzési alkalmazást olyan redundanciával kell megtervezni, amely képes ellenállni a regionális vagy helyi fennakadásoknak egy vagy több szolgáltatásban. Ez a szakasz áttekintést nyújt az ajánlott eljárásokról, az egy- és többrégiós rendelkezésre állásról, valamint az üzletmenet-folytonosság tervezéséhez szükséges optimalizálási lehetőségekről.
Vészhelyreállítás többrégiós földrajzi területen
Az üzletmenet folytonosságának javítása régiók közötti magas rendelkezésre állású vészhelyreállítással magasabb összetettségű és magasabb költségű architektúraterveket igényel. Az alábbi táblázatok olyan műszaki területeket ismertetnek, amelyek növelhetik a tulajdonjog teljes költségét.
Költségoptimalizálások
| Terület | A költségeszkaláció oka | Optimalizálási stratégiák |
|---|---|---|
| Adattárolás | Elsődleges adatok/táblák duplikálása másodlagos régióban | Csak a válogatott adatok replikálás |
| Adatforgalom | A kimenő régiók közötti adatátvitel ára van. Sávszélességre vonatkozó díjszabási irányelvek áttekintése | Csak a válogatott adatok replikálása a régió kimenő lábnyomának csökkentése érdekében |
| Fürtszámítás | További HDInsight-fürtök a másodlagos régióban | Az elsődleges hiba után automatikus szkriptek használatával telepíthet másodlagos számításokat. A másodlagos fürt méretének minimálisra emelése az automatikus skálázás használatával. Használjon olcsóbb virtuálisgép-termékváltozatokat. Másodfokok létrehozása olyan régiókban, ahol a virtuálisgép-termékváltozatok kedvezményesek lehetnek. |
| Hitelesítés | A többfelhasználós forgatókönyvek a másodlagos régióban további Microsoft Entra Domain Services-beállításokat vonnak maga után | Kerülje a többfelhasználós beállításokat a másodlagos régióban. |
Összetettségi optimalizálás
| Terület | Az összetettség eszkalációjának oka | Optimalizálási stratégiák |
|---|---|---|
| Írási minták olvasása | Az elsődleges és a másodlagos írás engedélyezésének megkövetelése | A másodlagos írásvédettség tervezése |
| Nulla RPO > RTO | Nulla adatvesztés (RPO=0) és nulla állásidő (RTO=0) megkövetelése | Tervezzen RPO-t és RTO-t a feladatátvételhez szükséges összetevők számának csökkentése érdekében. További információ az RTO-ról és az RPO-ról: Helyreállítási célkitűzések. |
| Üzleti funkciók | A másodlagos elsődleges szolgáltatás teljes üzleti funkciójának megkövetelése | Értékelje ki, hogy futtatható-e az üzleti funkciók minimális kritikus részhalmazával másodlagosan. |
| Kapcsolatok | Az elsődlegestől az összes felsőbb és alsóbb rétegbeli rendszer megkövetelése a másodlagoshoz való csatlakozáshoz | Korlátozza a másodlagos kapcsolatot egy minimálisan kritikus részhalmazra. |
A többrégiós vészhelyreállítási terv létrehozásakor vegye figyelembe a következő javaslatokat:
Határozza meg a minimális üzleti funkciókat, amelyekre szükség van katasztrófa esetén és miért. Kiértékelheti például, hogy szüksége van-e feladatátvételi képességekre az adatátalakítási réteghez (sárga színnel) és az adatszolgáltatási réteghez (kék színnel jelenik meg), vagy ha csak az adatszolgáltatási réteg feladatátvételére van szüksége.
A fürtök szegmentálása a számítási feladatok, a fejlesztési életciklus és a részlegek alapján. Ha több fürtöt használ, azzal csökkentheti annak az esélyét, hogy egyetlen nagy hiba több különböző üzleti folyamatot is érint.
A másodlagos régiók írásvédetté tétele. Az olvasási és írási képességekkel rendelkező feladatátvételi régiók összetett architektúrákhoz vezethetnek.
Az átmeneti fürtök könnyebben kezelhetők katasztrófa esetén. Úgy tervezheti meg a számítási feladatokat, hogy a fürtök ciklusozhatók legyenek, és a fürtökben ne legyen állapot.
A számítási feladatok gyakran nem lesznek befejezve, ha katasztrófa történik, és újra kell indítani az új régióban. Úgy tervezheti meg a számítási feladatokat, hogy idempotens jellegűek legyenek.
Használjon automatizálást a fürttelepítések során, és győződjön meg arról, hogy a fürtkonfigurációs beállítások a lehető legnagyobb mértékben szkriptekkel vannak elkönyvelve, hogy vészhelyzet esetén a gyors és teljesen automatizált üzembe helyezés biztosítható legyen.
Üzemkimaradás észlelése, értesítés és felügyelet
A HDInsight Azure monitorozási eszközeinek használatával észleli a fürt rendellenes viselkedését, és beállítja a megfelelő riasztási értesítéseket. Üzembe helyezheti az előre konfigurált HDInsight-fürtspecifikus felügyeleti megoldásokat, amelyek összegyűjtik az adott fürttípus fontos teljesítménymetrikáit. További információ: Azure Monitoring for HDInsight.
Iratkozzon fel az Azure állapotriasztásaira, hogy értesítést kapjon az előfizetés, szolgáltatás vagy régió szolgáltatásproblémáiról, tervezett karbantartásáról, állapot- és biztonsági tanácsadóiról. A probléma okát és az ETA-t tartalmazó állapotértesítések segítenek a feladatátvétel és a feladat-visszavétel jobb végrehajtásában. További információkért tekintse meg az Azure Service Health dokumentációját.
Vészhelyreállítás egyrégiós földrajzi területen
Az alapszintű HDInsight-rendszerek minden összetevője saját, egyrégiós hibatűrési mechanizmusokkal rendelkezik. Ne feledje, hogy az üzleti funkciók befolyásolása nem mindig vesz igénybe katasztrofális eseményt. Az alábbi szolgáltatások egy vagy több szolgáltatásában egyetlen régióban bekövetkező szolgáltatási incidensek a várt üzleti funkciók elvesztéséhez is vezethetnek.
Számítás (virtuális gépek): Azure HDInsight-fürt. A HDInsight 99,9%-os rendelkezésre állási SLA-t kínál. Ha magas rendelkezésre állást szeretne biztosítani egyetlen üzemelő példányban, a HDInsighthoz alapértelmezés szerint számos magas rendelkezésre állású szolgáltatás tartozik. A HDInsight hibatűrési mechanizmusait a Microsoft és az Apache OSS ökoszisztéma magas rendelkezésre állású szolgáltatásai biztosítják.
A következő infrastruktúra-összetevőket úgy tervezték, hogy magas rendelkezésre állásúak legyenek:
- Aktív és készenléti átjárócsomópont
- Több átjárócsomópont
- Három Zookeeper kvórumcsomópont
- A hiba és a frissítési tartományok által elosztott feldolgozó csomópontok
A következő szolgáltatások is magas rendelkezésre állásra vannak tervezve:
- Apache Ambari-kiszolgáló
- Az alkalmazás ütemterve a YARN-hoz
- A Hadoop MapReduce feladatelőzmény-kiszolgálója
- Apache Livy
- HDFS
- YARN Resource Manager
- HBase-főkiszolgáló
További információkért tekintse meg az Azure HDInsight által támogatott magas rendelkezésre állású szolgáltatásokat.
Metaadattár(ok): Azure SQL Database. A HDInsight az Azure SQL Database-t használja metaadattárként, amely 99,99%-os SLA-t biztosít. Három adatreplika marad meg egy adatközpontban szinkron replikációval. Replikaveszteség esetén a másodlagos replika zökkenőmentesen lesz kiszolgálva. Az aktív georeplikálás legfeljebb négy adatközponttal támogatott. Ha feladatátvétel történik manuális vagy adatközponti feladatátvétel esetén a hierarchia első replikája automatikusan írás-olvasásra képessé válik. További információ: Azure SQL Database üzletmenet-folytonosság.
Tárolás: Azure Data Lake Gen2 vagy Blob Storage. A HDInsight az Azure Data Lake Storage Gen2-t javasolja a mögöttes tárolási rétegként. Az Azure Storage, beleértve az Azure Data Lake Storage Gen2-t, 99,9%-os SLA-t biztosít. A HDInsight az LRS szolgáltatást használja, amelyben három adatreplika található egy adatközpontban, és a replikáció szinkron. Replika elvesztése esetén a replika zökkenőmentesen lesz kiszolgálva.
Hitelesítés: Microsoft Entra ID, Microsoft Entra Domain Services, Enterprise Security Package.
- A Microsoft Entra ID 99,9%-os SLA-t biztosít. Az Active Directory egy globális szolgáltatás, amely több szintű belső redundanciát és automatikus helyreállíthatóságot biztosít. További információt a Microsoft Entra ID megbízhatóságának folyamatos javításában talál.
- A Microsoft Entra Domain Services 99,9%-os SLA-t biztosít. A Microsoft Entra Domain Services egy globálisan elosztott adatközpontokban üzemeltetett magas rendelkezésre állású szolgáltatás. A replikakészletek a Microsoft Entra Domain Services előzetes verziója, amely lehetővé teszi a földrajzi vészhelyreállítást, ha egy Azure-régió offline állapotba kerül. További információkért tekintse meg a Microsoft Entra Domain Services replikakészletekkel kapcsolatos fogalmait és funkcióit.
- Az Azure DNS 100%-os SLA-t biztosít. A HDInsight az Azure DNS-t használja a tartománynévfeloldáshoz különböző helyeken.
Választható szolgáltatások, például az Azure Key Vault és az Azure Data Factory.
