Megosztás a következőn keresztül:

Apache Hadoop-fürtök kezelése a HDInsightban az Azure Portal használatával

  • Cikk

Az Azure Portal használatával kezelheti az Apache Hadoop-fürtöket az Azure HDInsightban. A HDInsightban lévő Hadoop-fürtök más eszközökkel való kezelésével kapcsolatos információkért használja a tabulátorválasztót.

Előfeltételek

Egy meglévő Apache Hadoop-fürt a HDInsightban. Lásd: Linux-alapú fürtök létrehozása a HDInsightban az Azure Portal használatával.

Első lépések

Jelentkezzen be ide https://portal.azure.com.

Fürtök listázása és megjelenítése

A HDInsight-fürtök lap felsorolja a meglévő fürtöket. A portálról:

  1. Válassza az Összes szolgáltatást a bal oldali menüből.
  2. Válassza ki a HDInsight-fürtöket az ANALYTICS területen.

Fürt kezdőlapja

Válassza ki a fürt nevét a HDInsight-fürtök lapon. Ekkor megnyílik az Áttekintés nézet, amely az alábbi képhez hasonlóan néz ki:

Az Azure Portal HDInsight-fürt alapvető fontosságújai.

Felső menü:

Elem Leírás
Áthelyezés Áthelyezi a fürtöt egy másik erőforráscsoportba vagy egy másik előfizetésbe.
Törlés Törli a fürtöt.
Frissítés Frissíti a nézetet.

Bal oldali menü:

  • Bal felső menü

    Elem Leírás
    Áttekintés A fürt általános információi.
    Tevékenységnapló Tevékenységnaplók megjelenítése és lekérdezése.
    Hozzáférés-vezérlés (IAM) Szerepkör-hozzárendelések használata. Lásd: Azure-szerepkörök hozzárendelése az Azure-előfizetés erőforrásaihoz való hozzáférés kezeléséhez.
    Címkék Lehetővé teszi kulcs-érték párok beállítását a felhőszolgáltatások egyéni osztályozásának meghatározásához. Létrehozhat például egy projektnek nevezett kulcsot, majd használhat egy közös értéket az adott projekthez társított összes szolgáltatáshoz.
    Problémák diagnosztizálása és megoldása Hibaelhárítási információk megjelenítése.
    Gyorsútmutató Olyan információkat jelenít meg, amelyek segítenek a HDInsight használatának megkezdésében.
    Eszközök A HDInsighttal kapcsolatos eszközökkel kapcsolatos súgóinformációk.

  • Beállítások menü

    Elem Leírás
    Fürt mérete Ellenőrizze, növelje és csökkentse a fürt feldolgozó csomópontjainak számát. Lásd: Fürtök méretezése.
    Kvótakorlátok Az előfizetéshez használt és elérhető magok megjelenítése.
    SSH + a fürt bejelentkezése Az utasításokat jeleníti meg a fürthöz való csatlakozáshoz a Secure Shell (SSH) kapcsolattal. További információ: SSH használata a HDInsighttal.
    2. generációs Data Lake Storage A Data Lake Storage Gen2-hez való hozzáférés konfigurálása. Lásd : Rövid útmutató: Fürtök beállítása a HDInsightban.
    Storage fiókok Tekintse meg a tárfiókokat és a kulcsokat. A tárfiókok a fürtlétrehozási folyamat során vannak konfigurálva.
    Alkalmazások HDInsight-alkalmazások hozzáadása/eltávolítása. Lásd: Egyéni HDInsight-alkalmazások telepítése.
    Szkriptműveletek Bash-szkriptek futtatása a fürtön. Lásd: Linux-alapú HDInsight-fürtök testreszabása szkriptművelettel.
    Külső metaadattárak Tekintse meg az Apache Hive és az Apache Oozie metaadattárakat. A metaadattárak csak a fürtlétrehozási folyamat során konfigurálhatók.
    HDInsight-partner Adja hozzá/távolítsa el az aktuális HDInsight-partnert.
    Tulajdonságok A fürt tulajdonságainak megtekintése.
    Zárolások Adjon hozzá egy zárolást a fürt módosításának vagy törlésének megakadályozásához.
    Sablon exportálása A fürt Azure Resource Manager-sablonjának megjelenítése és exportálása. Jelenleg csak a függő Azure Storage-fiókot exportálhatja. Lásd: Linux-alapú Apache Hadoop-fürtök létrehozása a HDInsightban Azure Resource Manager-sablonok használatával.

  • Figyelési menü

    Elem Leírás
    Riasztások A riasztások és műveletek kezelése.
    Mérőszámok A fürtmetrikák monitorozása az Azure Monitor-naplókban.
    Diagnosztikai beállítások A diagnosztikai metrikák tárolásának helye.
    Azure Monitor A fürt monitorozása az Azure Monitorban.

  • Támogatási + hibaelhárítási menü

    Elem Leírás
    Erőforrás állapota Tekintse meg az Azure-erőforrások állapotának áttekintését.
    Új támogatási kérelem Lehetővé teszi támogatási jegy létrehozását a Microsoft támogatásával.

Fürt tulajdonságai

A fürt kezdőlapján, a Beállítások csoportban válassza a Tulajdonságok lehetőséget.

Elem Leírás
ÁLLOMÁSNÉV Fürt neve.
FÜRT URL-CÍME Az Ambari webes felület URL-címe.
Privát végpont A fürt privát végpontja.
Biztonságos rendszerhéj (SSH) A fürt SSH-on keresztüli eléréséhez használandó felhasználónév és gazdagépnév.
ÁLLAPOT Az egyik: Megszakítva, Elfogadva, ClusterStorageProvisioned, AzureVMConfiguration, HDInsightConfiguration, Operational, Running, Error, Deleting, Deleted, Timeout, DeleteQueued, DeleteTimeout, DeleteError, PatchQueued, CertRolloverQueued, ResizeQueued vagy ClusterCustomization.
RÉGIÓ Azure-hely. A támogatott Azure-helyek listáját a HDInsight díjszabásának Régió legördülő listájában találja.
LÉTREHOZÁS DÁTUMA A fürt üzembe helyezésének dátuma.
OPERÁCIÓS RENDSZER Windows vagy Linux rendszeren.
TÍPUS Hadoop, HBase, Spark.
Verzió Lásd: HDInsight-verziók.
TLS minimális verziója A TLS-verzió.
ELŐFIZETÉS Előfizetés neve.
ALAPÉRTELMEZETT ADATFORRÁS Az alapértelmezett fürt fájlrendszere.
Feldolgozó csomópontok méretei A feldolgozó csomópontok kiválasztott virtuálisgép-mérete.
Átjárócsomópont mérete A fő csomópontok kiválasztott virtuálisgép-mérete.
Virtuális hálózat Annak a virtuális hálózatnak a neve, amelyet a fürt üzembe helyez, ha az üzembe helyezéskor ki lett választva.

Fürtök áthelyezése

A HDInsight-fürtöt áthelyezheti egy másik Azure-erőforráscsoportba vagy egy másik előfizetésbe.

A fürt kezdőlapján:

  1. Válassza az Áthelyezés lehetőséget a felső menüből.
  2. Válassza az Áthelyezés másik erőforráscsoportba vagy Áthelyezés másik előfizetésbe lehetőséget.
  3. Kövesse az új oldal utasításait.

Fürtök törlése

A fürt törlése nem törli az alapértelmezett tárfiókot és a csatolt tárfiókokat. A fürtöt ugyanazokkal a tárfiókokkal és metaadattárak használatával hozhatja létre újra. Javasoljuk, hogy a fürt újbóli létrehozásakor használjon új alapértelmezett Blob-tárolót.

A fürt kezdőlapján:

  1. Válassza a Törlés lehetőséget a felső menüben.
  2. Kövesse az új oldal utasításait.

Lásd még a fürtök szüneteltetése/leállítása című témakört.

További tárfiókok hozzáadása

A fürt létrehozása után további Azure Storage-fiókokat és Azure Data Lake Storage-fiókokat is hozzáadhat. További információkért lásd: Add additional storage accounts to HDInsight (További tárfiókok hozzáadása a HDInsighthoz).

Fürtök méretezése

A fürtméretezési funkció lehetővé teszi az Azure HDInsight-fürt által használt feldolgozó csomópontok számának módosítását anélkül, hogy újra létre kellene hoznia a fürtöt.

További információt a HDInsight-fürtök méretezése című témakörben talál.

Fürtök szüneteltetése/leállítása

A Hadoop-feladatok többsége olyan kötegelt feladatok, amelyek csak alkalmanként futnak. A Legtöbb Hadoop-fürt esetében nagy idő áll rendelkezésre arra, hogy a fürt ne legyen feldolgozásra használva. A HDInsight használatával az adatok az Azure Storage-ban lesznek tárolva, így biztonságosan törölheti a fürtöt, ha nincs használatban. A HDInsight-fürtökért is díjat számítunk fel, még akkor is, ha nincs használatban. Mivel a fürt díjai sokszor nagyobbak, mint a tárolási díjak, érdemes törölni a fürtöket, ha nincsenek használatban.

A folyamat többféleképpen is programozott:

A díjszabással kapcsolatos információkért tekintse meg a HDInsight díjszabását. Fürt portalról való törléséhez lásd : Fürtök törlése

Fürtök frissítése

Lásd: A HDInsight-fürt frissítése újabb verzióra.

Az Apache Ambari webes felhasználói felületének megnyitása

Az Ambari intuitív, könnyen használható Hadoop felügyeleti webes felhasználói felületet biztosít a RESTful API-k segítségével. Az Ambari lehetővé teszi a rendszergazdák számára a Hadoop-fürtök kezelését és monitorozását.

A fürt kezdőlapján:

  1. Válassza a Fürt irányítópultok lehetőséget.

    HDInsight Apache Hadoop-fürtmenü.

  2. Válassza az Ambari kezdőlapját az új lapon.

  3. Adja meg a fürt felhasználónevét és jelszavát. Az alapértelmezett fürtnév rendszergazda.

További információ: HDInsight-fürtök kezelése az Apache Ambari webes felhasználói felületén.

Jelszavak módosítása

A HDInsight-fürtök két felhasználói fiókkal rendelkezhetnek. A HDInsight-fürt felhasználói fiókja (HTTP-felhasználói fiók) és az SSH-felhasználói fiók a létrehozási folyamat során jön létre. A portálon módosíthatja a fürt felhasználói fiókjának jelszavát, és szkriptműveletekkel módosíthatja az SSH-felhasználói fiókot.

A fürt felhasználói jelszavának módosítása

Feljegyzés

A fürt felhasználói (rendszergazdai) jelszavának módosítása a fürtön futtatott szkriptműveletek meghiúsulását okozhatja. Ha a feldolgozó csomópontokat megcélozó, megőrzött szkriptműveletekkel rendelkezik, ezek a szkriptek sikertelenek lehetnek, amikor átméretezési műveletekkel csomópontokat ad hozzá a fürthöz. A szkriptműveletekkel kapcsolatos további információkért lásd : HDInsight-fürtök testreszabása szkriptműveletekkel.

A fürt kezdőlapján:

  1. Válassza az SSH + Fürt bejelentkezés lehetőséget a Beállítások területen.
  2. Válassza a Hitelesítő adatok alaphelyzetbe állítása lehetőséget.
  3. Írja be és erősítse meg az új jelszót a szövegmezőkben.
  4. Kattintson az OK gombra.

A jelszó a fürt összes csomópontján módosul.

Az SSH felhasználói jelszavának vagy nyilvános kulcsának módosítása

  1. Szövegszerkesztővel mentse a következő szöveget changecredentials.sh nevű fájlként.

    Fontos

    Sorvégződésként az LF-t használó szerkesztőt kell használnia. Ha a szerkesztő CRLF-t használ, akkor a szkript nem működik.

    #! /bin/bash
USER=$1
PASS=$2
usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER

  2. Töltse fel a fájlt egy olyan tárolóhelyre, amely HTTP- vagy HTTPS-címmel érhető el a HDInsightból. Például egy nyilvános fájltároló, például a OneDrive vagy az Azure Blob Storage. Mentse az URI-t (HTTP vagy HTTPS-cím) a fájlba, mivel erre az URI-ra a következő lépésben van szükség.

  3. A fürt kezdőlapján válassza a Szkriptműveletek lehetőséget a Beállítások területen.

  4. A Szkriptműveletek lapon válassza az Új elküldése lehetőséget.

  5. A Szkript elküldése műveletoldalon adja meg a következő adatokat:

Feljegyzés

Az SSH-jelszavak nem tartalmazhatják a következő karaktereket:

" ' ` / \ < % ~ | $ & ! #

Mező Érték
Szkript típusa Kiválasztás – Egyéni a legördülő listából.
Név "Az ssh hitelesítő adatainak módosítása"
Bash-szkript URI A changecredentials.sh fájl URI-ja
Csomópont típusa(i): (Vezető, feldolgozó, Nimbus, Felügyelő vagy Zookeeper.) ✓ az összes felsorolt csomóponttípushoz
Paraméterek Adja meg az SSH-felhasználónevet, majd az új jelszót. A felhasználónév és a jelszó között egy szóköznek kell lennie.
A szkriptművelet megőrzése ... Hagyja bejelölve ezt a mezőt.
  1. Válassza a Létrehozás lehetőséget a szkript alkalmazásához. A szkript befejeződése után SSH használatával csatlakozhat a fürthöz az új hitelesítő adatokkal.

Az előfizetés azonosítójának megkeresése

Minden fürt egy Azure-előfizetéshez van kötve. Az Azure-előfizetés azonosítója a fürt kezdőlapján látható.

Az erőforráscsoport megkeresése

Az Azure Resource Manager módban minden HDInsight-fürt egy Azure Resource Manager-csoporttal jön létre. A Resource Manager-csoport a fürt kezdőlapján látható.

A tárfiókok megkeresése

A HDInsight-fürtök egy Azure Storage-fiókot vagy Azure Data Lake Storage-t használnak az adatok tárolására. Minden HDInsight-fürt rendelkezhet egy alapértelmezett tárfiókkal és több társított tárfiókkal. A tárfiókok listázásához a fürt Kezdőlapján válassza a Tárfiókok lehetőséget.

Feladatok figyelése

Lásd: HDInsight-fürtök kezelése az Apache Ambari webes felhasználói felületével.

Fürt mérete

A fürt kezdőlapján található Fürtméret csempe megjeleníti a fürthöz lefoglalt magok számát és a fürt csomópontjaihoz való lefoglalásuk módját.

Fontos

A HDInsight-fürt által biztosított szolgáltatások figyeléséhez az Ambari Webet vagy az Ambari REST API-t kell használnia. Az Ambari használatával kapcsolatos további információkért lásd : HDInsight-fürtök kezelése az Apache Ambari használatával

Csatlakozás fürthöz

Következő lépések

Ebben a cikkben megismerkedett néhány alapvető felügyeleti funkcióval. További tudnivalókért olvassa el a következő cikket: