HDInsight-fürtök kapacitástervezése

A HDInsight-fürt üzembe helyezése előtt tervezze meg a kívánt fürtkapacitást a szükséges teljesítmény és skálázás meghatározásával. Ez a tervezés segít optimalizálni a használhatóságot és a költségeket. Egyes fürtkapacitás-döntések nem módosíthatók az üzembe helyezés után. Ha a teljesítményparaméterek megváltoznak, a fürtök a tárolt adatok elvesztése nélkül bonthatók le és hozhatók létre újra.

A kapacitástervezéssel kapcsolatos legfontosabb kérdések a következők:

• Melyik földrajzi régióban telepítse a klasztert?
• Mennyi tárhelyre van szüksége?
• Milyen fürttípust telepítsen?
• Milyen méretű és típusú virtuális gépet használjanak a fürtcsomópontok?
• Hány csomópont legyen a klaszterben?

Azure-régió kiválasztása

Az Azure-régió határozza meg, hogy a fürt fizikailag hol van kiépítve. Az olvasások és írások késésének minimalizálása érdekében a fürtnek az adatok közelében kell lennie.

A HDInsight számos Azure-régióban elérhető. A legközelebbi régió megkereséséhez tekintse meg régiónként elérhető termékeket.

Tárolási hely és méret kiválasztása

Az alapértelmezett tároló helye

Az alapértelmezett tárolónak, akár Azure Storage-fióknak, akár Azure Data Lake Storage-nak, ugyanabban a régióban kell lennie, mint a fürtnek. Az Azure Storage minden helyen elérhető. A Data Lake Storage elérhetősége egyes régiókban – tekintse meg a Data Lake Storage jelenlegi rendelkezésre állását.

A meglévő adatok helye

Ha meglévő tárfiókot vagy Data Lake Storage-t szeretne használni a fürt alapértelmezett tárolójaként, akkor a fürtöt ugyanazon a helyen kell üzembe helyeznie.

Tárterület mérete

Egy üzembe helyezett fürtön csatolhat egy másik Azure Storage-fiókot, vagy hozzáférhet más Data Lake Storage-fiókokhoz. Minden tárfióknak ugyanabban a helyen kell lennie, mint a fürtnek. A Data Lake Storage más helyen is lehet, bár a nagy távolságok némi késést okozhatnak.

Az Azure Storage néhány kapacitáskorlátot, míg a Data Lake Storage szinte korlátlan. Egy fürt különböző tárolási fiókok kombinációjához férhet hozzá. Tipikus példák a következők:

• Ha az adatok mennyisége valószínűleg meghaladja egy blobtároló tárolási kapacitását.
• Ha a blobtárolóhoz való hozzáférés sebessége meghaladhatja azt a pontot, ahol a szabályozás megtörténhet.
• Ha adatokat szeretne készíteni, már feltöltött egy blobtárolóba, amely elérhető a fürt számára.
• Ha biztonsági okokból szeretné elkülöníteni a tároló különböző részeit, vagy egyszerűsíteni szeretné az adminisztrációt.

A jobb teljesítmény érdekében tárfiókonként csak egy tárolót használjon.

Fürttípus kiválasztása

A fürt típusa határozza meg, hogy a HDInsight-fürt milyen számítási feladat futtatására van konfigurálva. Típusok: Apache Hadoop, Apache Kafkavagy Apache Spark. Az elérhető fürttípusok részletes leírását lásd: Az Azure HDInsightbemutatása. Minden fürttípus rendelkezik egy adott üzembehelyezési topológiával, amely a csomópontok méretére és számára vonatkozó követelményeket tartalmazza.

A virtuális gép méretének és típusának kiválasztása

Minden fürttípus csomóponttípusokkal rendelkezik, és minden csomóponttípushoz meghatározott lehetőségek állnak rendelkezésre a virtuális gép méretéhez és típusához.

Az alkalmazás optimális fürtméretének meghatározásához mérheti a fürtkapacitást, és növelheti a méretet a jelzett módon. Használhat például szimulált számítási feladatot vagy kanári-lekérdezést. Futtassa a szimulált számítási feladatokat különböző méretű fürtökön. Fokozatosan növelje a méretet, amíg el nem éri a kívánt teljesítményt. A többi éles lekérdezés közé időnként beilleszthető egy kanári lekérdezés, amely megmutatja, hogy a klaszter rendelkezik-e elegendő erőforrással.

További információért a munkaterheléshez megfelelő virtuálisgép-család kiválasztásához lásd: Megfelelő virtuálisgép-méret kiválasztása a csoporthoz.

A fürtméret kiválasztása

A fürt méretezését a virtuálisgép-csomópontok mennyisége határozza meg. Az összes fürttípus esetében vannak olyan csomóponttípusok, amelyek egy adott skálával rendelkeznek, és a csomóponttípusok támogatják a vertikális felskálázást. Előfordulhat például, hogy egy fürtnek pontosan három Apache ZooKeeper csomópontra vagy két Head-csomópontra van szüksége. Azok a feldolgozó csomópontok, amelyek elosztott módon végeznek adatfeldolgozást, más feldolgozó csomópontok előnyeit élvezhetik.

A fürt típusától függően a feldolgozó csomópontok számának növelése több számítási kapacitást (például több magot) ad hozzá. A további csomópontok növelik a teljes fürt számára szükséges teljes memóriát a feldolgozás alatt álló adatok memóriabeli tárolásának támogatásához. A virtuális gép méretének és típusának kiválasztásához hasonlóan a megfelelő fürtméret kiválasztása általában empirikusan történik. Szimulált számítási feladatok vagy kanári lekérdezések használata.

A fürt horizontálisan felskálázható, hogy megfeleljen a csúcsterhelési igényeknek. Ezután skálázza vissza, ha ezekre a további csomópontokra már nincs szükség. Az automatikus skálázás funkció lehetővé teszi a klaszter automatikus méretezését előre meghatározott metrikák és időzítések alapján. A fürtök manuális skálázásával kapcsolatos további információkért lásd HDInsight-fürtök méretezése.

A fürt életciklusa

A fürt teljes élettartamáért díjat számítanak fel. Ha csak meghatározott időpontokban van szüksége a fürtre, hozzon létre fürtöket igény szerint az Azure Data Factorysegítségével. PowerShell-szkripteket is létrehozhat, amelyek kiépítik és törlik a fürtöt, majd ezeket a szkripteket az Azure Automationhasználatával ütemezheti.

Megjegyzés

A fürt törlésekor az alapértelmezett Hive-metaadattár is törlődik. Ha meg szeretné őrizni a metaadattárat a következő fürt újralétrehozásához, használjon egy külső metaadattárat, például az Azure Database-t vagy Apache Oozie.

Fürtfeladat hibáinak elkülönítése

Néha hibák léphetnek fel több térkép párhuzamos végrehajtása és a többcsomópontos fürtön lévő összetevők csökkentése miatt. A probléma elkülönítéséhez próbálja meg az elosztott tesztelést. Futtasson egyszerre több feladatot egyetlen munkavégző csomópontos clusteren. Ezután bontsa ki ezt a módszert több feladat egyidejű futtatásához több csomópontot tartalmazó fürtökön. Ha egy egycsomópontos HDInsight-fürtöt szeretne létrehozni az Azure-ban, használja a Custom(size, settings, apps) lehetőséget, és használja az 1 értéket a Feldolgozó csomópontok száma a Fürtméret szakaszban, amikor új fürtöt épít ki a portálon.

A HDInsight kvótakezelésének megtekintése

Tekintse meg a kvóta részletes szintjét és kategorizálását egy virtuális gép családi szintjén. Tekintse meg az aktuális kvótát, és hogy mennyi kvóta maradt egy régióban VM családszinten.

Megjegyzés

Ez a funkció jelenleg az USA keleti régiójához tartozó HDInsight 4.x és 5.x rendszeren érhető el. A későbbiekben követendő egyéb régiók.

1. Az aktuális kvóta megtekintése:

   Tekintse meg az aktuális kvótát és azt, hogy mennyi kvóta maradt egy régióban, virtuálisgép-család szinten.

   1. Az Azure Portal felső keresősávján keresse meg a Kvótáklehetőséget.

   2. A Kvóta lapon válassza Azure HDInsight

      

   3. A legördülő listában válassza ki a előfizetés és a régió

      

      

2. Új kvóták kérése virtuálisgép-családonként és régiónként

   1. Kattintson arra a sorra, amelynek a kvótaadatait meg szeretné tekinteni.

   

Kvóták

További információ az előfizetési kvóták kezeléséről: Kvótanövelés kérése.

Következő lépések

• Fürtök beállítása a HDInsightban az Apache Hadoop, a Spark, a Kafka és egyebek használatával: Megtudhatja, hogyan állíthat be és konfigurálhat fürtöket a HDInsightban.
• Fürt teljesítményének monitorozása: Ismerje meg a HDInsight-fürt monitorozásának legfontosabb forgatókönyveit, amelyek hatással lehetnek a fürt kapacitására.