Verwalten von HDInsight-Clustern mit dem Enterprise-Sicherheitspaket

Lernen Sie die Benutzer und Rollen im Enterprise-Sicherheitspaket (Enterprise Security Package, ESP) von HDInsight kennen, und erfahren Sie, wie ESP-Cluster verwaltet werden.

Verknüpfen mit einem in die Domäne eingebundenen Cluster mithilfe von VS Code

Sie können einen normalen Cluster mithilfe eines verwalteten Apache Ambari-Benutzernamens oder einen Apache Hadoop-Sicherheitscluster mithilfe des Domänenbenutzernamens (z.B. user1@contoso.com) verknüpfen.

1. Öffnen Sie Visual Studio Code. Vergewissern Sie sich, dass die Erweiterung Spark & Hive Tools installiert ist.

2. Führen Sie die Schritte unter Verknüpfen eines Cluster für Visual Studio Code aus.

Verknüpfen mit einem in die Domäne eingebundenen Cluster mithilfe von IntelliJ

Sie können einen normalen Cluster mithilfe eines verwalteten Ambari-Benutzernamens oder einen Hadoop-Sicherheitscluster mithilfe des Domänenbenutzernamens (z.B. user1@contoso.com) verknüpfen.

1. Öffnen Sie IntelliJ IDEA. Stellen Sie sicher, dass alle Voraussetzungen erfüllt sind.

2. Führen Sie die Schritte unter Verknüpfen eines Cluster für IntelliJ aus.

Verknüpfen mit einem in die Domäne eingebundenen Cluster mithilfe von Eclipse

Sie können einen normalen Cluster mithilfe eines verwalteten Ambari-Benutzernamens oder einen Hadoop-Sicherheitscluster mithilfe des Domänenbenutzernamens (z.B. user1@contoso.com) verknüpfen.

1. Öffnen Sie Eclipse. Stellen Sie sicher, dass alle Voraussetzungen erfüllt sind.

2. Führen Sie die Schritte unter Verknüpfen eines Cluster für Eclipse aus.

Zugriff auf die Cluster mit dem Enterprise-Sicherheitspaket

Das Enterprise Security Package (bisher als HDInsight Premium bezeichnet) ermöglicht den Zugriff auf den Cluster durch mehrere Benutzer, wobei die Authentifizierung mit Active Directory und die Autorisierung mit Apache Ranger und Storage-ACLs (ADLS-ACLs) durchgeführt wird. Mit der Autorisierung wird für sichere Grenzen zwischen mehreren Benutzern gesorgt, und nur berechtigte Benutzer haben basierend auf den Autorisierungsrichtlinien Zugriff auf die Daten.

Die Sicherheit und die Benutzerisolation sind für einen HDInsight-Cluster mit Enterprise Security Package wichtig. Um diese Anforderungen zu erfüllen, wird der SSH-Zugriff auf den Cluster mit Enterprise-Sicherheitspaket für den lokalen Benutzer unterstützt, der zum Zeitpunkt der Cluster Erstellung ausgewählt wurde, sowie für Benutzer, die in AAD-DS (d. h. Kerberos) verfügbar sind. In der folgenden Tabelle sind die empfohlenen Zugriffsmethoden für die einzelnen Clustertypen aufgeführt:

Workload	Szenario	Zugriffsmethode
Apache Hadoop	Hive – Interaktive Aufträge/Abfragen	Beeline Struktur anzeigen ODBC/JDBC – Power BI Visual Studio-Tools
Apache Spark	Interaktive Aufträge/Abfragen, PySpark interaktiv	Beeline Zeppelin mit Livy Struktur anzeigen ODBC/JDBC – Power BI Visual Studio-Tools
Apache Spark	Batchszenarien – Spark-Submit, PySpark	Livy
Interaktive Abfrage (LLAP)	Interactive	Beeline Struktur anzeigen ODBC/JDBC – Power BI Visual Studio-Tools
Any	Installieren der benutzerdefinierten Anwendung	Skriptaktionen

Hinweis

Jupyter ist nicht installiert/wird in Enterprise-Sicherheitspaket nicht unterstützt.

Aus Sicht der Sicherheit ist die Verwendung der Standard-APIs hilfreich. Außerdem kommen Sie in den Genuss der folgenden Vorteile:

• Verwaltung: Sie können Ihren Code verwalten und Aufträge automatisieren, indem Sie Standard-APIs nutzen, z.B. Livy, HS2 usw.
• Überwachung: Mit SSH kann nicht überwacht werden, welche Benutzer per SSH auf den Cluster zugegriffen haben. Dies ist nicht der Fall, wenn Aufträge über Standardendpunkte erstellt werden, da sie dann im Kontext des Benutzers ausgeführt werden.

Verwenden von Beeline

Installieren Sie Beeline auf Ihrem Computer, und stellen Sie eine Verbindung über das öffentliche Internet her, indem Sie die folgenden Parameter verwenden:

- Connection string: -u 'jdbc:hive2://<clustername>.azurehdinsight.net:443/;ssl=true;transportMode=http;httpPath=/hive2'
- Cluster login name: -n admin
- Cluster login password -p 'password'

Wenn Sie Beeline lokal installiert haben und eine Verbindung über ein virtuelles Azure-Netzwerk herstellen, verwenden Sie die folgenden Parameter:

Connection string: -u 'jdbc:hive2://<headnode-FQDN>:10001/;transportMode=http'

Verwenden Sie die Informationen im Dokument „Verwalten von HDInsight mithilfe der Ambari-REST-API“, um den vollqualifizierten Domänennamen eines Hauptknotens zu ermitteln.

Benutzer von HDInsight-Clustern mit Enterprise-Sicherheitspaket

Ein HDInsight-Cluster ohne Enterprise-Sicherheitspaket verfügt über zwei Benutzerkonten, die während der Clustererstellung erstellt werden:

• Ambari-Administrator: Dieses Konto wird auch als Hadoop-Benutzer oder HTTP-Benutzer bezeichnet. Dieses Konto kann für die Anmeldung bei Ambari unter https://CLUSTERNAME.azurehdinsight.net verwendet werden. Es kann auch zum Ausführen von Abfragen für Ambari-Ansichten, zum Ausführen von Aufträgen über externe Tools (z. B. PowerShell, Templeton, Visual Studio) und für die Authentifizierung mit dem Hive ODBC-Treiber und BI-Tools (z. B. Excel, Power BI oder Tableau) verwendet werden.

Ein HDInsight-Cluster mit Enterprise-Sicherheitspaket verfügt neben Ambari-Administrator über drei neue Benutzer.

• Ranger-Administrator:: Dieses Konto ist das lokale Apache Ranger-Administratorkonto. Es handelt sich um keinen Active Directory-Domänenbenutzer. Dieses Konto kann verwendet werden, um Richtlinien einzurichten und andere Benutzer als Administratoren oder delegierte Administratoren festzulegen (sodass diese Benutzer Richtlinien verwalten können). Der Benutzername lautet standardmäßig admin, und das Kennwort ist identisch mit dem Ambari-Administratorkennwort. Das Kennwort kann auf der Seite „Settings“ (Einstellungen) in Ranger aktualisiert werden.

• Domänenbenutzer des Clusteradministrators: Dieses Konto ist ein Active Directory-Domänenbenutzer, der als Hadoop-Clusteradministrator (einschließlich Ambari und Ranger) festgelegt ist. Sie müssen die Anmeldeinformationen dieses Benutzers während der Clustererstellung angeben. Dieser Benutzer verfügt über die folgenden Berechtigungen:

  • Einbinden von Computern in die Domäne und Platzieren dieser Computer in der Organisationseinheit, die Sie während der Clustererstellung angeben.
  • Erstellen von Dienstprinzipalen in der Organisationseinheit, die Sie während der Clustererstellung angeben.
  • Erstellen von Reverse-DNS-Einträgen.

  Beachten Sie, dass die anderen AD-Benutzer auch über diese Berechtigungen verfügen.

  Es gibt einige Endpunkte innerhalb des Clusters (z. B. Templeton), die nicht von Ranger verwaltet werden und daher nicht sicher sind. Diese Endpunkte sind für alle Benutzer außer dem Domänenbenutzer des Clusteradministrators gesperrt.

• Normal: Während der Clustererstellung können Sie mehrere Active Directory-Gruppen angeben. Die Benutzer in diesen Gruppen werden mit Ranger und Ambari synchronisiert. Diese Benutzer sind Domänenbenutzer und haben nur Zugriff auf über Ranger verwaltete Endpunkte (z.B. Hiveserver2). Alle RBAC-Richtlinien und die Überwachung gelten für diese Benutzer.

Rollen von HDInsight-Clustern mit Enterprise-Sicherheitspaket

Das HDInsight-ESP hat die folgenden Rollen:

• Clusteradministrator
• Clusteroperator
• Dienstadministrator
• Dienstoperator
• Clusterbenutzer

So zeigen Sie die Berechtigungen dieser Rollen an

1. Öffnen Sie die Ambari-Verwaltungsoberfläche. Informationen hierzu finden Sie unter Öffnen der Ambari-Verwaltungsoberfläche.

2. Wählen Sie im Menü auf der linken Seite die Option Rollen aus.

3. Wählen Sie das blaue Fragezeichen aus, um die Berechtigungen anzuzeigen:

   

Öffnen der Ambari-Verwaltungsoberfläche

1. Navigieren Sie zu https://CLUSTERNAME.azurehdinsight.net/, wobei CLUSTERNAME der Name Ihres Clusters ist.

2. Melden Sie sich mit dem Domänenbenutzernamen und dem Kennwort des Clusteradministrators bei Ambari an.

3. Wählen Sie oben rechts das Dropdownmenü Administrator und dann Ambari verwalten aus.

   

   Die Benutzeroberfläche sieht wie folgt aus:

   

Auflisten der über Active Directory synchronisierten Domänenbenutzer

1. Öffnen Sie die Ambari-Verwaltungsoberfläche. Informationen hierzu finden Sie unter Öffnen der Ambari-Verwaltungsoberfläche.

2. Wählen Sie im Menü auf der linken Seite die Option Benutzer aus. Es werden alle Benutzer angezeigt, die über Active Directory mit dem HDInsight-Cluster synchronisiert wurden.

   

Auflisten der über Active Directory synchronisierten Domänengruppen

1. Öffnen Sie die Ambari-Verwaltungsoberfläche. Informationen hierzu finden Sie unter Öffnen der Ambari-Verwaltungsoberfläche.

2. Wählen Sie im Menü auf der linken Seite die Option Gruppen aus. Es werden alle Gruppen angezeigt, die über Active Directory mit dem HDInsight-Cluster synchronisiert wurden.

   

Konfigurieren von Berechtigungen für Hive-Ansichten

1. Öffnen Sie die Ambari-Verwaltungsoberfläche. Informationen hierzu finden Sie unter Öffnen der Ambari-Verwaltungsoberfläche.

2. Wählen Sie im Menü auf der linken Seite die Option Ansichten aus.

3. Wählen Sie HIVE aus, um die Details anzuzeigen.

   

4. Klicken Sie auf den Link Hive-Ansicht, um Hive-Ansichten zu konfigurieren.

5. Scrollen Sie nach unten zum Abschnitt Permissions (Berechtigungen).

   

6. Wählen Sie Benutzer hinzufügen oder Gruppe hinzufügen aus, und geben Sie dann die Benutzer oder Gruppen an, die Hive-Ansichten verwenden können.

Konfigurieren von Benutzern für die Rollen

Eine Liste der Rollen und der zugehörigen Berechtigungen finden Sie unter „Rollen von HDInsight-Clustern mit Enterprise-Sicherheitspaket“.

1. Öffnen Sie die Ambari-Verwaltungsoberfläche. Informationen hierzu finden Sie unter Öffnen der Ambari-Verwaltungsoberfläche.
2. Wählen Sie im Menü auf der linken Seite die Option Rollen aus.
3. Wählen Sie Benutzer hinzufügen oder Gruppe hinzufügen aus, um Benutzer und Gruppen verschiedenen Rollen zuzuweisen.

Nächste Schritte

• Informationen zum Konfigurieren eines HDInsight-Clusters mit Enterprise-Sicherheitspaket finden Sie unter Konfigurieren von HDInsight-Clustern mit Enterprise-Sicherheitspaket.
• Informationen zum Konfigurieren von Hive-Richtlinien und zum Ausführen von Hive-Abfragen finden Sie unter Konfigurieren von Apache Hive-Richtlinien in HDInsight mit dem Enterprise-Sicherheitspaket.