Konfigurera HDInsight-kluster för Microsoft Entra-integrering med Enterprise Security Package

Den här artikeln innehåller en sammanfattning och översikt över processen med att skapa och konfigurera ett HDInsight-kluster integrerat med Microsoft Entra-ID. Den här integreringen förlitar sig på en HDInsight-funktion som kallas Enterprise Security Package (ESP), Microsoft Entra Domain Services och din befintliga lokal Active Directory.

En detaljerad stegvis självstudie om hur du konfigurerar och konfigurerar en domän i Azure och skapar ett ESP-aktiverat kluster och sedan synkroniserar lokala användare finns i Skapa och konfigurera Enterprise Security Package-kluster i Azure HDInsight.

Bakgrund

Enterprise Security Package (ESP) tillhandahåller Active Directory-integrering för Azure HDInsight. Med den här integreringen kan domänanvändare använda sina domänautentiseringsuppgifter för att autentisera med HDInsight-kluster och köra stordatajobb.

Kommentar

ESP är allmänt tillgängligt i HDInsight 4.0 och 5.0 för dessa klustertyper: Apache Spark, Interactive, Hadoop, Apache Kafka och HBase. ESP-kluster som skapats före ESP GA-datumet (1 oktober 2018) stöds inte.

Förutsättningar

Det finns några förutsättningar att slutföra innan du kan skapa ett ESP-aktiverat HDInsight-kluster:

• Ett befintligt lokal Active Directory- och Microsoft Entra-ID.
• Aktivera Microsoft Entra Domain Services.
• Kontrollera hälsostatusen för Microsoft Entra Domain Services för att säkerställa att synkroniseringen har slutförts.
• Skapa och auktorisera en hanterad identitet.
• Slutför nätverkskonfigurationen för DNS och relaterade problem.

Var och en av dessa objekt beskrivs i detalj. En genomgång av hur du slutför alla dessa steg finns i Skapa och konfigurera Enterprise Security Package-kluster i Azure HDInsight.

Aktivera Microsoft Entra Domain Services

Att aktivera Microsoft Entra Domain Services är en förutsättning innan du kan skapa ett HDInsight-kluster med ESP. Mer information finns i Aktivera Microsoft Entra Domain Services med hjälp av Azure-portalen.

När Microsoft Entra Domain Services är aktiverat börjar alla användare och objekt synkronisera från Microsoft Entra-ID till Microsoft Entra Domain Services som standard. Längden på synkroniseringsåtgärden beror på antalet objekt i Microsoft Entra-ID. Synkroniseringen kan ta några dagar för hundratusentals objekt.

Domännamnet som du använder med Microsoft Entra Domain Services måste vara 39 tecken eller färre för att fungera med HDInsight.

Du kan välja att endast synkronisera de grupper som behöver åtkomst till HDInsight-klustren. Det här alternativet för att synkronisera endast vissa grupper kallas begränsad synkronisering. Anvisningar finns i Konfigurera begränsad synkronisering från Microsoft Entra-ID till din hanterade domän.

När du aktiverar säker LDAP placerar du domännamnet i ämnesnamnet. Och det alternativa ämnesnamnet i certifikatet. Om domännamnet är contoso100.onmicrosoft.com kontrollerar du att det exakta namnet finns i certifikatmottagarens namn och alternativt namn på certifikatmottagaren. Mer information finns i Konfigurera säker LDAP för en hanterad Domän för Microsoft Entra Domain Services.

I följande exempel skapas ett självsignerat certifikat. Domännamnet contoso100.onmicrosoft.com finns i både Subject (ämnesnamn) och DnsName (alternativt ämnesnamn).

$lifetime=Get-Date
New-SelfSignedCertificate -Subject contoso100.onmicrosoft.com `
  -NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
  -Type SSLServerAuthentication -DnsName *.contoso100.onmicrosoft.com, contoso100.onmicrosoft.com

Kommentar

Endast klientadministratörer har behörighet att aktivera Microsoft Entra Domain Services. Om klusterlagringen är Azure Data Lake Storage Gen1 eller Gen2 måste du endast inaktivera Microsoft Entra multifaktorautentisering för användare som behöver komma åt klustret med grundläggande Kerberos-autentisering. Om din organisation kräver multifaktorautentisering kan du prova att använda funktionen HDInsight ID Broker.

Du kan bara använda betrodda IP-adresser eller villkorlig åtkomst för att inaktivera multifaktorautentisering för specifika användare när de har åtkomst till IP-intervallet för HDInsight-klustrets virtuella nätverk.

Om klusterlagringen är Azure Blob Storage ska du inte inaktivera multifaktorautentisering.

Kontrollera hälsostatus för Microsoft Entra Domain Services

Visa hälsostatus för Microsoft Entra Domain Services genom att välja Hälsa i kategorin Hantera . Kontrollera att statusen för Microsoft Entra Domain Services är grön (körs) och att synkroniseringen är klar.

Skapa och auktorisera en hanterad identitet

Använd en användartilldelad hanterad identitet för att förenkla säkra domäntjänståtgärder. När du tilldelar rollen HDInsight Domain Services-deltagare till den hanterade identiteten kan den läsa, skapa, ändra och ta bort domäntjänståtgärder.

Vissa domäntjänståtgärder, till exempel att skapa organisationsenheter och tjänstens huvudnamn, behövs för HDInsight Enterprise Security Package. Du kan skapa hanterade identiteter i valfri prenumeration. Mer information om hanterade identiteter i allmänhet finns i Hanterade identiteter för Azure-resurser. Mer information om hur hanterade identiteter fungerar i Azure HDInsight finns i Hanterade identiteter i Azure HDInsight.

Om du vill konfigurera ESP-kluster skapar du en användartilldelad hanterad identitet om du inte redan har ett. Se Create, list, delete, or assign a role to a user-assigned managed identity by using the Azure portal.

Tilldela sedan rollen HDInsight Domain Services-deltagare till den hanterade identiteten i Åtkomstkontroll för Microsoft Entra Domain Services. Du behöver administratörsbehörigheter för Microsoft Entra Domain Services för att kunna utföra den här rolltilldelningen.

Om du tilldelar rollen HDInsight Domain Services-deltagare ser du till att den här identiteten har rätt (on behalf of) åtkomst för att utföra domäntjänståtgärder på Microsoft Entra Domain Services-domänen. Dessa åtgärder omfattar att skapa och ta bort organisationsenheter.

När den hanterade identiteten har fått rollen hanterar Administratören för Microsoft Entra Domain Services vem som använder den. Först väljer administratören den hanterade identiteten i portalen. Väljer sedan Åtkomstkontroll (IAM) under Översikt. Administratören tilldelar rollen Hanterad identitetsoperatör till användare eller grupper som vill skapa ESP-kluster.

Administratören för Microsoft Entra Domain Services kan till exempel tilldela den här rollen till gruppen MarketingTeam för den sjmsi-hanterade identiteten. Ett exempel visas i följande bild. Den här tilldelningen säkerställer att rätt personer i organisationen kan använda den hanterade identiteten för att skapa ESP-kluster.

Konfiguration av nätverk

Kommentar

Microsoft Entra Domain Services måste distribueras i ett Azure Resource Manager-baserat virtuellt nätverk. Klassiska virtuella nätverk stöds inte för Microsoft Entra Domain Services. Mer information finns i Aktivera Microsoft Entra Domain Services med hjälp av Azure-portalen.

Aktivera Microsoft Entra Domain Services. Sedan körs en lokal DNS-server (Domain Name System) på de virtuella Active Directory-datorerna (VM). Konfigurera ditt virtuella Microsoft Entra Domain Services-nätverk så att det använder dessa anpassade DNS-servrar. Om du vill hitta rätt IP-adresser väljer du Egenskaper i kategorin Hantera och tittar under IP-ADRESS I VIRTUELLT NÄTVERK.

Ändra konfigurationen av DNS-servrarna i det virtuella nätverket Microsoft Entra Domain Services. Om du vill använda dessa anpassade IP-adresser väljer du DNS-servrar i kategorin Inställningar. Välj sedan alternativet Anpassad , ange den första IP-adressen i textrutan och välj Spara. Lägg till fler IP-adresser med hjälp av samma steg.

Det är enklare att placera både Microsoft Entra Domain Services-instansen och HDInsight-klustret i samma virtuella Azure-nätverk. Om du planerar att använda olika virtuella nätverk måste du peer-koppla dessa virtuella nätverk så att domänkontrollanten är synlig för virtuella HDInsight-datorer. Mer information finns i Peering för virtuella nätverk.

När de virtuella nätverken har peer-kopplats konfigurerar du det virtuella HDInsight-nätverket så att det använder en anpassad DNS-server. Och ange privata IP-adresser för Microsoft Entra Domain Services som DNS-serveradresser. När båda de virtuella nätverken använder samma DNS-servrar matchas ditt anpassade domännamn till rätt IP-adress och kan nås från HDInsight. Om ditt domännamn till exempel är contoso.combör du efter det här steget ping contoso.com matcha till rätt IP-adress för Microsoft Entra Domain Services.

Om du använder regler för nätverkssäkerhetsgrupp (NSG) i ditt HDInsight-undernät bör du tillåta nödvändiga IP-adresser för både inkommande och utgående trafik.

Testa nätverkskonfigurationen genom att ansluta en virtuell Windows-dator till det virtuella HDInsight-nätverket/undernätet och pinga domännamnet. (Den bör matcha till en IP-adress.) Kör ldp.exe för att komma åt domänen Microsoft Entra Domain Services. Anslut sedan den här virtuella Windows-datorn till domänen för att bekräfta att alla nödvändiga RPC-anrop lyckas mellan klienten och servern.

Använd nslookup för att bekräfta nätverksåtkomsten till ditt lagringskonto. Eller en extern databas som du kan använda (till exempel externt Hive-metaarkiv eller Ranger DB). Se till att de nödvändiga portarna tillåts i NSG-reglerna för Microsoft Entra Domain Services om en NSG skyddar Microsoft Entra Domain Services. Om domänanslutningen för den här virtuella Windows-datorn lyckas kan du fortsätta till nästa steg och skapa ESP-kluster.

Skapa ett HDInsight-kluster med ESP

När du har konfigurerat föregående steg korrekt är nästa steg att skapa HDInsight-klustret med ESP aktiverat. När du skapar ett HDInsight-kluster kan du aktivera Enterprise Security Package på fliken Säkerhet + nätverk . För en Azure Resource Manager-mall för distribution använder du portalupplevelsen en gång. Ladda sedan ned den förfyllda mallen på sidan Granska + skapa för framtida återanvändning.

Du kan också aktivera funktionen HDInsight ID Broker när klustret skapas. Med funktionen ID Broker kan du logga in på Ambari med hjälp av multifaktorautentisering och hämta nödvändiga Kerberos-biljetter utan att behöva lösenordshashvärden i Microsoft Entra Domain Services.

Kommentar

De första sex tecknen i ESP-klusternamnen måste vara unika i din miljö. Om du till exempel har flera ESP-kluster i olika virtuella nätverk väljer du en namngivningskonvention som säkerställer att de första sex tecknen i klusternamnen är unika.

När du har aktiverat ESP identifieras och verifieras vanliga felkonfigurationer relaterade till Microsoft Entra Domain Services automatiskt. När du har åtgärdat dessa fel kan du fortsätta med nästa steg.

När du skapar ett HDInsight-kluster med ESP måste du ange följande parametrar:

• Klusteradministratörsanvändare: Välj en administratör för klustret från din synkroniserade Microsoft Entra Domain Services-instans. Det här domänkontot måste redan vara synkroniserat och tillgängligt i Microsoft Entra Domain Services.

• Klusteråtkomstgrupper: De säkerhetsgrupper vars användare du vill synkronisera och har åtkomst till klustret ska vara tillgängliga i Microsoft Entra Domain Services. Ett exempel är gruppen HiveUsers. Mer information finns i Skapa en grupp och lägga till medlemmar i Microsoft Entra-ID.

• LDAPS-URL: Ett exempel är ldaps://contoso.com:636.

Den hanterade identitet som du skapade kan väljas från listrutan Användartilldelad hanterad identitet när du skapar ett nytt kluster.

.

Nästa steg

• Information om hur du konfigurerar Hive-principer och kör Hive-frågor finns i Konfigurera Apache Hive-principer för HDInsight-kluster med ESP.
• Information om hur du använder SSH för att ansluta till HDInsight-kluster med ESP finns i Använda SSH med Linux-baserade Apache Hadoop på HDInsight från Linux, Unix eller OS X.