HDInsight-fürtök kezelése nagyvállalati biztonsági csomaggal

Ismerje meg a HDInsight Enterprise Security Package (ESP) felhasználóit és szerepköreit, valamint az ESP-fürtök kezelését.

A VS Code használata tartományhoz csatlakoztatott fürthöz való csatoláshoz

A normál fürtöket az Apache Ambari által felügyelt felhasználónévvel kapcsolhatja össze, valamint csatolhat egy biztonsági Apache Hadoop-fürtöt tartománynévvel (például: user1@contoso.com).

1. Nyissa meg a Visual Studio Code-ot. Győződjön meg arról, hogy a Spark > Hive Tools bővítmény telepítve van.

2. Kövesse a Fürt csatolása a Visual Studio Code-hoz című témakörben leírt lépéseket.

IntelliJ használata egy tartományhoz csatlakozó fürthöz való kapcsolódáshoz

A normál fürtöket az Ambari által felügyelt felhasználónévvel kapcsolhatja össze, a biztonsági hadoop-fürtöket pedig tartománynév (például: user1@contoso.com) használatával is összekapcsolhatja.

1. Nyissa meg az IntelliJ IDEA-t. Győződjön meg arról, hogy minden előfeltétel teljesül.

2. Kövesse a Fürt csatolása az IntelliJ-hez című témakörben leírt lépéseket.

Eclipse használata egy tartományhoz csatlakozó fürthöz való kapcsolódáshoz

A normál fürtöket az Ambari által felügyelt felhasználónévvel kapcsolhatja össze, a biztonsági hadoop-fürtöket pedig tartománynév (például: user1@contoso.com) használatával is összekapcsolhatja.

1. Nyissa meg az Eclipse környezetet. Győződjön meg arról, hogy minden előfeltétel teljesül.

2. Kövesse a Fürt csatolása az Eclipse-hez című témakörben leírt lépéseket.

A fürtök elérése vállalati biztonsági csomaggal

Az Enterprise Security Package (korábbi nevén HDInsight Premium) többfelhasználós hozzáférést biztosít a fürthöz, ahol az Active Directory végzi a hitelesítést, valamint az Apache Ranger és a Storage ACL-ek (ADLS ACL-ek) általi hitelesítést. Az engedélyezés biztonságos határokat biztosít több felhasználó között, és csak a jogosultsággal rendelkező felhasználók férhetnek hozzá az adatokhoz az engedélyezési szabályzatok alapján.

A biztonság és a felhasználók elkülönítése fontos az Enterprise Security Packagetel rendelkező HDInsight-fürtök esetében. Ezeknek a követelményeknek a teljesítéséhez az Enterprise Security Package csomaggal rendelkező fürthöz való SSH-hozzáférés támogatott a fürt létrehozásakor kiválasztott helyi felhasználó, valamint az AAD-DS-ben (pl. Kerberos) elérhető felhasználók számára. Az alábbi táblázat az egyes fürttípusokhoz ajánlott hozzáférési módszereket mutatja be:

Számítási feladat	Eset	Hozzáférési módszer
Apache Hadoop	Hive – Interaktív feladatok/lekérdezések	Beeline Hive-nézet ODBC/JDBC – Power BI Visual Studio Tools
Apache Spark	Interaktív feladatok/lekérdezések, PySpark interaktív	Beeline Zeppelin Livyvel Hive-nézet ODBC/JDBC – Power BI Visual Studio Tools
Apache Spark	Batch-forgatókönyvek – Spark-küldés, PySpark	Livy
Interaktív lekérdezés (LLAP)	Interaktív	Beeline Hive-nézet ODBC/JDBC – Power BI Visual Studio Tools
Bármely	Egyéni alkalmazás telepítése	Szkriptműveletek

Feljegyzés

A Jupyter nincs telepítve/támogatott az Enterprise Security Package csomagban.

A standard API-k használata biztonsági szempontból segít. A következő előnyöket is élvezheti:

• Felügyelet – A kód kezelése és a feladatok automatizálása szabványos API-k használatával – Livy, HS2 stb.
• Naplózás – Az SSH-val nem lehet naplózni, hogy a felhasználók melyik SSH-t szeretnék a fürtön. Ez nem lenne így, ha a feladatok standard végpontokon keresztül jönnek létre, mivel azok a felhasználó kontextusában lennének végrehajtva.

A Beeline használata

Telepítse a Beeline-t a gépére, és csatlakozzon a nyilvános interneten keresztül, használja az alábbi paramétereket:

- Connection string: -u 'jdbc:hive2://<clustername>.azurehdinsight.net:443/;ssl=true;transportMode=http;httpPath=/hive2'
- Cluster login name: -n admin
- Cluster login password -p 'password'

Ha a Beeline helyileg van telepítve, és azure-beli virtuális hálózaton keresztül csatlakozik, használja a következő paramétereket:

Connection string: -u 'jdbc:hive2://<headnode-FQDN>:10001/;transportMode=http'

Az átjárócsomópont teljes tartománynevének megkereséséhez használja a felügyelt HDInsightban található információkat az Ambari REST API-dokumentum használatával.

HDInsight-fürtök felhasználói ESP-vel

Egy nem ESP HDInsight-fürt két felhasználói fiókkal rendelkezik, amelyek a fürt létrehozása során jönnek létre:

• Ambari-rendszergazda: Ezt a fiókot Hadoop-felhasználónak vagy HTTP-felhasználónak is nevezik. Ezzel a fiókkal bejelentkezhet az Ambariba a következő helyen https://CLUSTERNAME.azurehdinsight.net: . Emellett lekérdezések futtatására is használható Ambari-nézetben, feladatok külső eszközökkel (például PowerShell, Templeton, Visual Studio) történő végrehajtásához, valamint a Hive ODBC-illesztőprogrammal és BI-eszközökkel (például Excel, Power BI vagy Tableau) történő hitelesítéshez.

Az ESP-vel rendelkező HDInsight-fürtök az Ambari-rendszergazda mellett három új felhasználóval is rendelkeznek.

• Ranger-rendszergazda: Ez a fiók a helyi Apache Ranger rendszergazdai fiók. Nem active directory tartományi felhasználó. Ez a fiók szabályzatok beállítására és más felhasználók rendszergazdáinak vagy delegált rendszergazdáknak valóvé ására használható (így ezek a felhasználók kezelhetik a szabályzatokat). Alapértelmezés szerint a felhasználónév rendszergazda , a jelszó pedig ugyanaz, mint az Ambari rendszergazdai jelszava. A jelszó a Ranger Beállítások lapján frissíthető.

• Fürtadminisztrátor tartományfelhasználója: Ez a fiók a Hadoop-fürt rendszergazdájaként kijelölt active directory tartományi felhasználó, beleértve az Ambarit és a Rangert is. A fürt létrehozása során meg kell adnia a felhasználó hitelesítő adatait. A felhasználó a következő jogosultságokkal rendelkezik:

  • Csatlakoztassa a gépeket a tartományhoz, és helyezze el őket a fürt létrehozásakor megadott szervezeti egységen belül.
  • A fürt létrehozása során megadott szervezeti egységen belül hozzon létre szolgáltatásneveket.
  • Fordított DNS-bejegyzések létrehozása.

  Vegye figyelembe, hogy a többi AD-felhasználó is rendelkezik ezekkel a jogosultságokkal.

  A fürtben vannak olyan végpontok (például Templeton), amelyeket nem a Ranger felügyel, ezért biztonságosak. Ezek a végpontok a fürt rendszergazdai tartományfelhasználója kivételével minden felhasználó számára zárolva vannak.

• Normál: A fürt létrehozása során több Active Directory-csoportot is megadhat. Az ezekben a csoportokban lévő felhasználók szinkronizálva vannak a Rangerrel és az Ambarival. Ezek a felhasználók tartományi felhasználók, és csak a Ranger által felügyelt végpontokhoz férnek hozzá (például Hiveserver2). Ezekre a felhasználókra az RBAC összes szabályzata és naplózása érvényes lesz.

HDInsight-fürtök szerepkörei ESP-vel

A HDInsight Enterprise biztonsági csomag a következő szerepkörökből áll:

• Fürtadminisztrátor
• Fürt operátora
• Szolgáltatás-rendszergazda
• Szolgáltatás operátora
• Fürtfelhasználó

A szerepkörök engedélyeinek megtekintése

1. Nyissa meg az Ambari felügyeleti felhasználói felületét. Lásd: Az Ambari felügyeleti felhasználói felületének megnyitása.

2. A bal oldali menüben válassza a Szerepkörök lehetőséget.

3. Az engedélyek megtekintéséhez válassza a kék kérdőjelet:

   

Az Ambari Management felhasználói felületének megnyitása

1. Lépjen arra a https://CLUSTERNAME.azurehdinsight.net/ helyre, ahol a FÜRTNÉV a fürt neve.

2. Jelentkezzen be az Ambariba a fürtadminisztrátor tartománynevével és jelszavával.

3. Válassza a rendszergazdai legördülő menüt a jobb felső sarokban, majd válassza az Ambari kezelése lehetőséget.

   

   A felhasználói felület a következőképpen néz ki:

   

Az Active Directoryból szinkronizált tartományfelhasználók listázása

1. Nyissa meg az Ambari felügyeleti felhasználói felületét. Lásd: Az Ambari felügyeleti felhasználói felületének megnyitása.

2. A bal oldali menüben válassza a Felhasználók lehetőséget. Az Active Directoryból a HDInsight-fürtbe szinkronizált összes felhasználót látnia kell.

   

Az Active Directoryból szinkronizált tartománycsoportok listázása

1. Nyissa meg az Ambari felügyeleti felhasználói felületét. Lásd: Az Ambari felügyeleti felhasználói felületének megnyitása.

2. A bal oldali menüben válassza a Csoportok lehetőséget. Az Active Directoryból a HDInsight-fürtbe szinkronizált összes csoportot látnia kell.

   

Hive-nézetek engedélyeinek konfigurálása

1. Nyissa meg az Ambari felügyeleti felhasználói felületét. Lásd: Az Ambari felügyeleti felhasználói felületének megnyitása.

2. A bal oldali menüben válassza a Nézetek lehetőséget.

3. Válassza a HIVE lehetőséget a részletek megjelenítéséhez.

   

4. Válassza a Hive Nézet hivatkozást a Hive-nézetek konfigurálásához.

5. Görgessen le az Engedélyek szakaszhoz.

   

6. Válassza a Felhasználó hozzáadása vagy Csoport hozzáadása lehetőséget, majd adja meg a Hive-nézeteket használó felhasználókat vagy csoportokat.

Felhasználók konfigurálása a szerepkörökhöz

A szerepkörök és azok engedélyeinek listáját az ESP-vel rendelkező HDInsight-fürtök szerepkörei című témakörben tekintheti meg.

1. Nyissa meg az Ambari felügyeleti felhasználói felületét. Lásd: Az Ambari felügyeleti felhasználói felületének megnyitása.
2. A bal oldali menüben válassza a Szerepkörök lehetőséget.
3. A felhasználók és csoportok különböző szerepkörökhöz való hozzárendeléséhez válassza a Felhasználó hozzáadása vagy a Csoport hozzáadása lehetőséget.

Következő lépések

• HDInsight-fürt vállalati biztonsági csomaggal való konfigurálásáról lásd : HDInsight-fürtök konfigurálása ESP-vel.
• Hive-szabályzatok konfigurálásáról és Hive-lekérdezések futtatásáról lásd : Apache Hive-szabályzatok konfigurálása HDInsight-fürtökhöz ESP-vel.