HDInsight-fürtök konfigurálása a Microsoft Entra vállalati biztonsági csomaggal való integrációjához
Ez a cikk a Microsoft Entra ID-val integrált HDInsight-fürt létrehozásának és konfigurálásának folyamatáról nyújt összefoglalást és áttekintést. Ez az integráció az Enterprise Security Package (ESP), a Microsoft Entra Domain Services és a már meglévő helyi Active Directory nevű HDInsight-szolgáltatásra támaszkodik.
A tartomány Azure-beli beállításáról és konfigurálásáról, valamint egy ESP-kompatibilis fürt létrehozásáról, majd a helyszíni felhasználók szinkronizálásáról részletes, részletes oktatóanyagot az Enterprise Security Package-fürtök létrehozása és konfigurálása az Azure HDInsightban című témakörben talál.
Háttér
Az Enterprise Security Package (ESP) Azure Active Directory-integrációt biztosít az Azure HDInsight számára. This integration allows domain users to use their domain credentials to authenticate with HDInsight clusters and run big data jobs.
Megjegyzés:
Az ESP általánosan elérhető a HDInsight 4.0-s és 5.0-s verzióban az alábbi fürttípusokhoz: Apache Spark, Interactive, Hadoop, Apache Kafka és HBase. Az ESP GA dátuma (2018. október 1.) előtt létrehozott ESP-fürtök nem támogatottak.
Előfeltételek
Az ESP-kompatibilis HDInsight-fürt létrehozása előtt néhány előfeltételt kell teljesítenie:
- Meglévő helyi Active Directory és Microsoft Entra-azonosító.
- Engedélyezze a Microsoft Entra Domain Services szolgáltatást.
- Ellenőrizze a Microsoft Entra Domain Services állapotát, hogy a szinkronizálás befejeződött-e.
- Felügyelt identitás létrehozása és engedélyezése.
- Teljes hálózatkezelés a DNS-hez és a kapcsolódó problémákhoz.
Ezeket az elemeket részletesen tárgyaljuk. Az összes lépés végrehajtásával kapcsolatos útmutatót az Enterprise Security Package-fürtök létrehozása és konfigurálása az Azure HDInsightban című témakörben találja.
A Microsoft Entra Domain Services engedélyezése
A Microsoft Entra Domain Services engedélyezése előfeltétele annak, hogy egy HDInsight-fürtöt esp-lel hozzon létre. További információ: A Microsoft Entra Domain Services engedélyezése az Azure Portal használatával.
Ha engedélyezve van a Microsoft Entra Domain Services, az összes felhasználó és objektum alapértelmezés szerint szinkronizálódik a Microsoft Entra-azonosítóról a Microsoft Entra Domain Services szolgáltatásba. A szinkronizálási művelet hossza a Microsoft Entra-azonosítóban lévő objektumok számától függ. A szinkronizálás több százezer objektum esetén eltarthat néhány napig.
A Microsoft Entra Domain Services szolgáltatással használt tartománynévnek legfeljebb 39 karakter hosszúságúnak kell lennie a HDInsight használatához.
Dönthet úgy, hogy csak azokat a csoportokat szinkronizálja, amelyeknek hozzáférésre van szükségük a HDInsight-fürtökhöz. Ezt a lehetőséget, amely csak bizonyos csoportok szinkronizálását engedélyezi, hatókörön belüli szinkronizálásnak nevezzük. Útmutatásért lásd : Hatókörön belüli szinkronizálás konfigurálása a Microsoft Entra-azonosítóról a felügyelt tartományra.
Amikor engedélyezi a biztonságos LDAP-t, helyezze a tartománynevet a tulajdonos nevére. És a tulajdonos alternatív neve a tanúsítványban. Ha a tartománynév contoso100.onmicrosoft.com, győződjön meg arról, hogy a pontos név szerepel a tanúsítvány tulajdonosának nevében és a tulajdonos alternatív nevében. További információ: Biztonságos LDAP konfigurálása felügyelt Microsoft Entra Domain Services-tartományokhoz.
Az alábbi példa létrehoz egy önaláírt tanúsítványt. A contoso100.onmicrosoft.com tartománynév (tulajdonosnév) és DnsName (tulajdonos alternatív neve) is Subject szerepel.
$lifetime=Get-Date
New-SelfSignedCertificate -Subject contoso100.onmicrosoft.com `
-NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
-Type SSLServerAuthentication -DnsName *.contoso100.onmicrosoft.com, contoso100.onmicrosoft.com
Megjegyzés:
A Microsoft Entra Domain Services engedélyezéséhez csak a bérlői rendszergazdák rendelkeznek jogosultságokkal. Ha a fürttároló az Azure Data Lake Storage Gen1 vagy Gen2, akkor a Microsoft Entra többtényezős hitelesítést csak azoknak a felhasználóknak kell letiltania, akiknek alapvető Kerberos-hitelesítéssel kell elérnie a fürtöt. Ha a szervezet többtényezős hitelesítést igényel, próbálja meg használni a HDInsight ID Broker szolgáltatást.
Megbízható IP-címek vagy feltételes hozzáférés használatával csak akkor tilthatja le a többtényezős hitelesítést adott felhasználók esetében, ha a HDInsight-fürt virtuális hálózatának IP-tartományához férnek hozzá.
Ha a fürttároló Azure Blob Storage, ne tiltsa le a többtényezős hitelesítést.
A Microsoft Entra Domain Services állapotának ellenőrzése
A Microsoft Entra Domain Services állapotának megtekintéséhez válassza az Állapot lehetőséget a Kezelés kategóriában. Győződjön meg arról, hogy a Microsoft Entra Domain Services állapota zöld (fut), és a szinkronizálás befejeződött.
Create and authorize a managed identity
Felhasználó által hozzárendelt felügyelt identitással egyszerűsítheti a biztonságos tartományi szolgáltatások műveleteit. Amikor a HDInsight Domain Services-közreműködői szerepkört hozzárendeli a felügyelt identitáshoz, az képes a tartományi szolgáltatások műveleteinek olvasására, létrehozására, módosítására és törlésére.
A HDInsight Enterprise biztonsági csomaghoz bizonyos tartományi szolgáltatásokra, például szervezeti egységek létrehozására és szolgáltatásnevek létrehozására van szükség. Felügyelt identitásokat bármely előfizetésben létrehozhat. A felügyelt identitásokkal kapcsolatos általános információkért tekintse meg az Azure-erőforrások felügyelt identitásai című témakört. A felügyelt identitások Azure HDInsightban való működéséről további információt az Azure HDInsight felügyelt identitásai című témakörben talál.
Esp-fürtök beállításához hozzon létre egy felhasználó által hozzárendelt felügyelt identitást, ha még nincs ilyenje. Lásd: Create, list, delete, or assign a role to a user-assigned managed identity by using the Azure portal.
Ezután rendelje hozzá a HDInsight Domain Services-közreműködői szerepkört a Microsoft Entra Domain Services hozzáférés-vezérlési szolgáltatásának felügyelt identitásához. Ehhez a szerepkör-hozzárendeléshez Microsoft Entra Domain Services-rendszergazdai jogosultságokra van szüksége.
A HDInsight tartományi szolgáltatások közreműködői szerepkörének hozzárendelése biztosítja, hogy ez az identitás megfelelő (on behalf of) hozzáféréssel rendelkezik a Microsoft Entra Domain Services tartomány tartományi szolgáltatásainak műveleteihez. Ezek a műveletek magukban foglalják a szervezeti egységek létrehozását és törlését.
Miután megkapta a felügyelt identitást, a Microsoft Entra Domain Services rendszergazdája kezeli, hogy ki használja. Először a rendszergazda kiválasztja a felügyelt identitást a portálon. Ezután az Áttekintés területen válassza a Hozzáférés-vezérlés (IAM) lehetőséget. A rendszergazda hozzárendeli a Felügyelt identitáskezelő szerepkört az ESP-fürtöket létrehozni kívánó felhasználókhoz vagy csoportokhoz.
A Microsoft Entra Domain Services rendszergazdája például hozzárendelheti ezt a szerepkört az sjmsi által felügyelt identitás MarketingTeam csoportjához. Az alábbi képen egy példa látható. Ez a hozzárendelés biztosítja, hogy a szervezet megfelelő tagjai a felügyelt identitással esp-fürtöket hozzanak létre.
Network configuration
Megjegyzés:
A Microsoft Entra Domain Servicest azure Resource Manager-alapú virtuális hálózaton kell üzembe helyezni. A Microsoft Entra Domain Services nem támogatja a klasszikus virtuális hálózatokat. További információ: A Microsoft Entra Domain Services engedélyezése az Azure Portal használatával.
Engedélyezze a Microsoft Entra Domain Services szolgáltatást. Ezután egy helyi tartománynévrendszer-kiszolgáló (DNS) fut az Active Directory virtuális gépeken. Konfigurálja a Microsoft Entra Domain Services virtuális hálózatát ezeknek az egyéni DNS-kiszolgálóknak a használatára. A megfelelő IP-címek megkereséséhez válassza a Tulajdonságok elemet a Kezelés kategóriában, és keresse meg a VIRTUÁLIS HÁLÓZATON LÉVŐ IP-CÍM lehetőséget.
Módosítsa a DNS-kiszolgálók konfigurációját a Microsoft Entra Domain Services virtuális hálózatában. Az egyéni IP-címek használatához válassza ki a DNS-kiszolgálókat a Gépház kategóriában. Ezután válassza az Egyéni lehetőséget, írja be az első IP-címet a szövegmezőbe, és válassza a Mentés lehetőséget. Adjon hozzá további IP-címeket ugyanezekkel a lépésekkel.
A Microsoft Entra Domain Services-példányt és a HDInsight-fürtöt is egyszerűbb ugyanabban az Azure-beli virtuális hálózatban elhelyezni. Ha különböző virtuális hálózatokat szeretne használni, társviszonyba kell helyeznie ezeket a virtuális hálózatokat, hogy a tartományvezérlő látható legyen a HDInsight virtuális gépek számára. További információ: Virtuális hálózatok közötti társviszony-létesítés.
A virtuális hálózatok társviszony-létesítése után konfigurálja a HDInsight virtuális hálózatot egy egyéni DNS-kiszolgáló használatára. A DNS-kiszolgáló címeként adja meg a Microsoft Entra Domain Services privát IP-címét. Ha mindkét virtuális hálózat ugyanazt a DNS-kiszolgálót használja, az egyéni tartománynév a megfelelő IP-címre lesz feloldva, és a HDInsightból elérhető. Ha például a tartománynév contoso.com, akkor a lépés ping contoso.com után a megfelelő Microsoft Entra Domain Services IP-címre kell feloldani.
Ha hálózati biztonsági csoport (NSG) szabályokat használ a HDInsight-alhálózatban, engedélyeznie kell a szükséges IP-címeket mind a bejövő, mind a kimenő forgalomhoz.
A hálózat beállításának teszteléséhez csatlakozzon egy Windows rendszerű virtuális géphez a HDInsight virtuális hálózathoz/alhálózathoz, és pingelje a tartománynevet. (Ip-címre kell feloldani.) Futtassa az ldp.exe fájlt a Microsoft Entra Domain Services tartomány eléréséhez. Ezután csatlakozzon ehhez a Windows rendszerű virtuális géphez a tartományhoz, és győződjön meg arról, hogy az összes szükséges RPC-hívás sikeres az ügyfél és a kiszolgáló között.
A tárfiókhoz való hálózati hozzáférés megerősítéséhez használja az nslookup parancsot. Vagy bármilyen külső adatbázist, amelyet használhat (például külső Hive metaadattár vagy Ranger DB). Győződjön meg arról, hogy a szükséges portok engedélyezettek a Microsoft Entra Domain Services alhálózat NSG-szabályaiban, ha egy NSG védi a Microsoft Entra Domain Services szolgáltatást. Ha a Windows rendszerű virtuális gép tartományhoz való csatlakoztatása sikeres, folytathatja a következő lépést, és létrehozhat ESP-fürtöket.
HDInsight-fürt létrehozása ESP-vel
Az előző lépések helyes beállítása után a következő lépés a HDInsight-fürt létrehozása az ESP engedélyezésével. HDInsight-fürt létrehozásakor engedélyezheti az Enterprise Security Package alkalmazást a Biztonság + hálózatkezelés lapon. Azure Resource Manager-sablon üzembe helyezéséhez használja egyszer a portál felületét. Ezután töltse le az előre kitöltött sablont a Véleményezés + létrehozás lapra a későbbi újrafelhasználáshoz.
A HDInsight ID Broker szolgáltatást a fürt létrehozásakor is engedélyezheti. Az ID Broker funkcióval többtényezős hitelesítéssel bejelentkezhet az Ambariba, és anélkül szerezheti be a szükséges Kerberos-jegyeket, hogy jelszókivonatokra lenne szüksége a Microsoft Entra Domain Servicesben.
Megjegyzés:
Az ESP-fürtnevek első hat karakterének egyedinek kell lennie a környezetben. Ha például több ESP-fürtje van különböző virtuális hálózatokban, válasszon egy elnevezési konvenciót, amely biztosítja, hogy a fürtnevek első hat karaktere egyedi legyen.
Az ESP engedélyezése után a rendszer automatikusan észleli és ellenőrzi a Microsoft Entra Domain Services szolgáltatással kapcsolatos gyakori helytelen konfigurációkat. A hibák kijavítása után folytathatja a következő lépést.
AMIKOR EGY HDInsight-fürtöt hoz létre ESP-vel, a következő paramétereket kell megadnia:
Fürt rendszergazdai felhasználója: Válasszon egy rendszergazdát a fürthöz a szinkronizált Microsoft Entra Domain Services-példányból. Ezt a tartományfiókot már szinkronizálni kell, és elérhetővé kell tenni a Microsoft Entra Domain Servicesben.
Fürthozzáférési csoportok: Azoknak a biztonsági csoportoknak, amelyeknek a felhasználóit szinkronizálni szeretné, és hozzáféréssel rendelkeznek a fürthöz, elérhetőnek kell lenniük a Microsoft Entra Domain Services szolgáltatásban. Ilyen például a HiveUsers csoport. További információ: Csoport létrehozása és tagok hozzáadása a Microsoft Entra-azonosítóban.
LDAPS URL-cím: Példa:
ldaps://contoso.com:636.
A létrehozott felügyelt identitás a felhasználó által hozzárendelt felügyelt identitás legördülő listából választható ki új fürt létrehozásakor.
.
Következő lépések
- A Hive-szabályzatok konfigurálásáról és a Hive-lekérdezések futtatásáról lásd : Apache Hive-szabályzatok konfigurálása HDInsight-fürtökhöz ESP-vel.
- Ha SSH használatával szeretne csatlakozni a HDInsight-fürtökhöz ESP-vel, olvassa el az SSH használata Linux-alapú Apache Hadooptal a HDInsighton Linux, Unix vagy OS X rendszereken című témakört.