HDInsight-clusters beheren met Enterprise Security Package

Meer informatie over de gebruikers en de rollen in HDInsight Enterprise Security Package (ESP) en het beheren van ESP-clusters.

Gebruik VSCode om een koppeling te maken met een cluster dat aan een domein is toegevoegd

U kunt een normaal cluster koppelen met behulp van een door Apache Ambari beheerde gebruikersnaam, maar ook een beveiligingscluster van Apache Hadoop koppelen met behulp van de gebruikersnaam van het domein (zoals: user1@contoso.com).

1. Open Visual Studio Code. Zorg ervoor dat de extensie Spark & Hive Tools is geïnstalleerd.

2. Volg de stappen in Een cluster koppelen voor Visual Studio Code.

Gebruik IntelliJ om een koppeling te maken met een cluster dat aan een domein is toegevoegd

U kunt een normaal cluster koppelen met behulp van een door Ambari beheerde gebruikersnaam, en ook een hadoop-beveiligingscluster koppelen met behulp van de gebruikersnaam van het domein (zoals: user1@contoso.com).

1. Open IntelliJ IDEA. Zorg ervoor dat aan alle vereisten wordt voldaan.

2. Volg de stappen van Een cluster koppelen voor IntelliJ.

Gebruik Eclipse om een koppeling te maken met een cluster dat aan een domein is toegevoegd

U kunt een normaal cluster koppelen met behulp van een door Ambari beheerde gebruikersnaam, en ook een hadoop-beveiligingscluster koppelen met behulp van de gebruikersnaam van het domein (zoals: user1@contoso.com).

1. Open Eclipse. Zorg ervoor dat aan alle vereisten wordt voldaan.

2. Volg de stappen in Een cluster koppelen voor Eclipse.

Toegang tot de clusters met Enterprise Security Package

Enterprise Security Package (voorheen hdInsight Premium genoemd) biedt toegang voor meerdere gebruikers tot het cluster, waarbij verificatie wordt uitgevoerd door Active Directory en autorisatie door Apache Ranger en Storage ACL's (ADLS ACL's). Autorisatie biedt veilige grenzen tussen meerdere gebruikers en staat alleen bevoegde gebruikers toegang tot de gegevens toe op basis van het autorisatiebeleid.

Beveiliging en gebruikersisolatie zijn belangrijk voor een HDInsight-cluster met Enterprise Security Package. Om aan deze vereisten te voldoen, wordt SSH-toegang tot het cluster met Enterprise Security Package ondersteund voor de lokale gebruiker die is geselecteerd tijdens het maken van het cluster en gebruikers die beschikbaar zijn in AAD-DS (bijvoorbeeld Kerberos). In de volgende tabel ziet u de aanbevolen toegangsmethoden voor elk clustertype:

Workload	Scenario	Toegangsmethode
Apache Hadoop	Hive : interactieve taken/query's	Bijeline Hive View ODBC/JDBC – Power BI Visual Studio Tools
Apache Spark	Interactieve taken/query's, Interactief PySpark	Bijeline Zeppelin met Livy Hive View ODBC/JDBC – Power BI Visual Studio Tools
Apache Spark	Batchscenario's - Spark submit, PySpark	Livy
Interactive Query (LLAP)	Interactief	Bijeline Hive View ODBC/JDBC – Power BI Visual Studio Tools
Alle	Aangepaste toepassing installeren	Scriptacties

Notitie

Jupyter wordt niet geïnstalleerd/ondersteund in Enterprise Security Package.

Het gebruik van de standaard-API's helpt vanuit het oogpunt van beveiliging. U krijgt ook de volgende voordelen:

• Beheer : u kunt uw code beheren en taken automatiseren met behulp van standaard-API's – Livy, HS2, enzovoort.
• Controle : met SSH is er geen manier om te controleren welke gebruikers SSH naar het cluster zou uitvoeren. Dit zou niet het geval zijn wanneer taken worden samengesteld via standaardeindpunten, omdat ze zouden worden uitgevoerd in de context van de gebruiker.

Beeline gebruiken

Installeer Beeline op uw computer en maak verbinding via het openbare internet met behulp van de volgende parameters:

- Connection string: -u 'jdbc:hive2://<clustername>.azurehdinsight.net:443/;ssl=true;transportMode=http;httpPath=/hive2'
- Cluster login name: -n admin
- Cluster login password -p 'password'

Als Beeline lokaal is geïnstalleerd en verbinding maakt via een virtueel Azure-netwerk, gebruikt u de volgende parameters:

Connection string: -u 'jdbc:hive2://<headnode-FQDN>:10001/;transportMode=http'

Als u de volledig gekwalificeerde domeinnaam van een hoofdknooppunt wilt vinden, gebruikt u de informatie in hdinsight beheren met behulp van het Ambari REST API-document.

Gebruikers van HDInsight-clusters met ESP

Een niet-ESP HDInsight-cluster heeft twee gebruikersaccounts die worden gemaakt tijdens het maken van het cluster:

• Ambari-beheerder: dit account wordt ook wel Hadoop-gebruiker of HTTP-gebruiker genoemd. Dit account kan worden gebruikt om u aan te melden bij Ambari op https://CLUSTERNAME.azurehdinsight.net. Het kan ook worden gebruikt om query's uit te voeren op Ambari-weergaven, taken uit te voeren via externe hulpprogramma's (bijvoorbeeld PowerShell, Templeton, Visual Studio) en te verifiëren met het Hive ODBC-stuurprogramma en BI-hulpprogramma's (bijvoorbeeld Excel, Power BI of Tableau).

Een HDInsight-cluster met ESP heeft drie nieuwe gebruikers naast Ambari-Beheer.

• Ranger-beheerder: dit account is het lokale Apache Ranger-beheerdersaccount. Het is geen Active Directory-domeingebruiker. Dit account kan worden gebruikt om beleidsregels in te stellen en andere gebruikersbeheerders of gedelegeerde beheerders te maken (zodat deze gebruikers beleidsregels kunnen beheren). De gebruikersnaam is standaard beheerder en het wachtwoord is hetzelfde als het Ambari-beheerderswachtwoord. Het wachtwoord kan worden bijgewerkt vanaf de pagina Instellingen in Ranger.

• Domeingebruiker voor clusterbeheerder: dit account is een Active Directory-domeingebruiker die is aangewezen als de Hadoop-clusterbeheerder, waaronder Ambari en Ranger. U moet de referenties van deze gebruiker opgeven tijdens het maken van het cluster. Deze gebruiker heeft de volgende bevoegdheden:

  • Voeg machines toe aan het domein en plaats ze binnen de organisatie-eenheid die u opgeeft tijdens het maken van het cluster.
  • Maak service-principals binnen de organisatie-eenheid die u opgeeft tijdens het maken van het cluster.
  • Maak omgekeerde DNS-vermeldingen.

  Houd er rekening mee dat de andere AD-gebruikers ook deze bevoegdheden hebben.

  Er zijn enkele eindpunten binnen het cluster (bijvoorbeeld Templeton) die niet worden beheerd door Ranger en dus niet veilig zijn. Deze eindpunten zijn vergrendeld voor alle gebruikers, met uitzondering van de domeingebruiker van het clusterbeheerder.

• Normaal: tijdens het maken van een cluster kunt u meerdere Active Directory-groepen opgeven. De gebruikers in deze groepen worden gesynchroniseerd met Ranger en Ambari. Deze gebruikers zijn domeingebruikers en hebben alleen toegang tot door Ranger beheerde eindpunten (bijvoorbeeld Hiveserver2). Alle RBAC-beleidsregels en -controle zijn van toepassing op deze gebruikers.

Rollen van HDInsight-clusters met ESP

HDInsight Enterprise Security Package heeft de volgende rollen:

• Cluster Beheer istrator
• Clusteroperator
• Servicebeheerder
• Serviceoperator
• Clustergebruiker

De machtigingen van deze rollen bekijken

1. Open de Gebruikersinterface voor Ambari-beheer. Zie De gebruikersinterface voor Ambari-beheer openen.

2. Selecteer Rollen in het linkermenu.

3. Selecteer het blauwe vraagteken om de machtigingen te zien:

   

De gebruikersinterface voor Ambari-beheer openen

1. Navigeer naar https://CLUSTERNAME.azurehdinsight.net/ de locatie waar CLUSTERNAME de naam van uw cluster is.

2. Meld u aan bij Ambari met de gebruikersnaam en het wachtwoord van de clusterbeheerder.

3. Selecteer het vervolgkeuzemenu voor beheerders in de rechterbovenhoek en selecteer Vervolgens Ambari beheren.

   

   De gebruikersinterface ziet er als volgt uit:

   

Een lijst weergeven van de domeingebruikers die zijn gesynchroniseerd vanuit uw Active Directory

1. Open de Gebruikersinterface voor Ambari-beheer. Zie De gebruikersinterface voor Ambari-beheer openen.

2. Selecteer Gebruikers in het linkermenu. U ziet alle gebruikers die vanuit uw Active Directory zijn gesynchroniseerd met het HDInsight-cluster.

   

De domeingroepen weergeven die vanuit uw Active Directory zijn gesynchroniseerd

1. Open de Gebruikersinterface voor Ambari-beheer. Zie De gebruikersinterface voor Ambari-beheer openen.

2. Selecteer Groepen in het linkermenu. U ziet alle groepen die vanuit uw Active Directory zijn gesynchroniseerd met het HDInsight-cluster.

   

Machtigingen voor Hive-weergaven configureren

1. Open de Gebruikersinterface voor Ambari-beheer. Zie De gebruikersinterface voor Ambari-beheer openen.

2. Selecteer Weergaven in het linkermenu.

3. Selecteer HIVE om de details weer te geven.

   

4. Selecteer de koppeling Hive-weergave om Hive-weergaven te configureren.

5. Schuif omlaag naar de sectie Machtigingen .

   

6. Selecteer Gebruiker toevoegen of Groep toevoegen en geef vervolgens de gebruikers of groepen op die Hive-weergaven kunnen gebruiken.

Gebruikers configureren voor de rollen

Zie Rollen van HDInsight-clusters met ESP voor een lijst met rollen en hun machtigingen.

1. Open de Gebruikersinterface voor Ambari-beheer. Zie De gebruikersinterface voor Ambari-beheer openen.
2. Selecteer Rollen in het linkermenu.
3. Selecteer Gebruiker toevoegen of Groep toevoegen om gebruikers en groepen toe te wijzen aan verschillende rollen.

Volgende stappen

• Zie HDInsight-clusters configureren met ESP voor het configureren van een HDInsight-cluster met Enterprise Security Package.
• Zie Apache Hive-beleid configureren voor HDInsight-clusters met ESP voor het configureren van Hive-beleidsregels en Het uitvoeren van Hive-query's.