Erstellen von Linux-basierten Clustern in HDInsight mit dem Azure-Portal
Das Azure-Portal ist ein webbasiertes Verwaltungstool für Dienste und Ressourcen, die in der Microsoft Azure-Cloud gehostet werden. In diesem Artikel wird beschrieben, wie Sie mit dem Portal Linux-basierte Azure HDInsight-Cluster erstellen. Weitere Informationen finden Sie unter Einrichten von Clustern in HDInsight mit Apache Hadoop, Apache Spark, Apache Kafka usw.
Warnung
Die Abrechnung für die HDInsight-Cluster erfolgt anteilsmäßig auf Minutenbasis und ist unabhängig von der Verwendung. Daher sollten Sie Ihren Cluster nach der Verwendung unbedingt wieder löschen. Sehen Sie sich die Informationen zum Löschen eines HDInsight-Clusters an.
Das Azure-Portal macht die meisten Clustereigenschaften verfügbar. Mithilfe von Azure Resource Manager-Vorlagen können Sie viele Details ausblenden. Weitere Informationen finden Sie unter Erstellen von Apache Hadoop-Clustern in HDInsight mit Resource Manager-Vorlagen.
Wenn Sie kein Azure-Abonnement besitzen, können Sie ein kostenloses Konto erstellen, bevor Sie beginnen.
Erstellen von Clustern
Hinweis
Das Feature, das eine sichere Übertragung vorschreibt, erzwingt eine sichere Verbindung für alle Anforderungen, die an Ihr Konto gerichtet werden. Dieses Feature wird erst ab HDInsight-Clusterversion 3.6 unterstützt. Weitere Informationen finden Sie unter Erstellen von Apache Hadoop-Clustern mit Speicherkonten mit sicherer Übertragung in Azure HDInsight.
Melden Sie sich beim Azure-Portal an.
Klicken Sie im oberen Menü auf + Ressource erstellen.
Wählen Sie Analytics>Azure HDInsight aus, um die Seite HDInsight-Cluster erstellen zu öffnen.
Grundlagen
Geben Sie auf der Registerkarte Grundlagen die folgenden Informationen an:
| Eigenschaft | BESCHREIBUNG |
|---|---|
| Subscription | Wählen Sie in der Dropdownliste das Azure-Abonnement aus, das für den Cluster verwendet wird. |
| Resource group | Wählen Sie in der Dropdownliste Ihre vorhandene Ressourcengruppe oder die Option Neu erstellen aus. |
| Clustername | Geben Sie einen global eindeutigen Namen ein. |
| Region | Wählen Sie in der Dropdownliste eine Region für die Erstellung des Clusters aus. |
| Verfügbarkeitszone | Geben Sie optional eine Verfügbarkeitszone an, in der Ihr Cluster bereitgestellt werden soll. |
| Clustertyp | Klicken Sie auf Clustertyp auswählen, um eine Liste zu öffnen. Wählen Sie in der Liste den gewünschten Clustertyp aus. Es gibt unterschiedliche Typen von HDInsight-Clustern. Diese entsprechen der Workload oder Technologie, für die der Cluster optimiert wurde. Es gibt keine unterstützte Methode zum Erstellen eines Clusters, in dem mehrere Typen kombiniert sind. |
| Version | Wählen Sie in der Dropdownliste eine Version aus. Verwenden Sie die Standardversion, wenn Sie nicht wissen, was Sie auswählen sollen. Weitere Informationen finden Sie unter HDInsight-Clusterversionen. |
| Benutzername für Clusteranmeldung | Geben Sie den Benutzernamen an, der Standardwert ist admin. |
| Kennwort für Clusteranmeldung | Geben Sie das Kennwort an. |
| Bestätigen Sie das Clusteranmeldekennwort. | Geben Sie das Kennwort erneut ein. |
| SSH-Benutzername (Secure Shell) | Geben Sie den Benutzernamen an, der Standardwert ist sshuser. |
| Verwenden Sie ein Clusteranmeldekennwort für SSH | Aktivieren Sie das Kontrollkästchen Clusteranmeldekennwort für SSH verwenden, wenn Sie möchten, dass das SSH-Kennwort mit dem zuvor angegebenen Administratorkennwort identisch ist. Falls nicht, müssen Sie entweder ein KENNWORT oder einen ÖFFENTLICHEN SCHLÜSSEL zum Authentifizieren des SSH-Benutzers eingeben. Ein öffentlicher Schlüssel ist der von uns empfohlene Ansatz. Wählen Sie unten die Option Auswählen, um die Konfiguration der Anmeldeinformationen zu speichern. Weitere Informationen finden Sie unter Herstellen einer Verbindung mit HDInsight (Hadoop) per SSH. |
Wählen Sie Weiter: Speicher>> aus, um zur nächsten Registerkarte zu gelangen.
Storage
Warnung
Ab dem 15. Juni 2020 können Kunden keinen neuen Dienstprinzipal mit HDInsight mehr erstellen. Weitere Informationen finden Sie unter Gewusst wie: Erstellen einer Microsoft Entra ID-Anwendung und eines Dienstprinzipals mit Ressourcenzugriff über das Portal.
Primärer Speicher
Wählen Sie in der Dropdownliste für Primärer Speichertyp Ihren Standardspeichertyp aus. Die später auszufüllenden Felder fallen je nach Ihrer Auswahl unterschiedlich aus. Für Azure Storage:
Wählen Sie für Auswahlmethode entweder Aus Liste auswählen oder Zugriffsschlüssel verwenden aus.
- Wählen Sie Aus Liste auswählen und dann Ihr Primäres Speicherkonto in der Dropdownliste aus, oder wählen Sie Neu erstellen aus.
- Geben Sie für Zugriffsschlüssel verwenden Ihren Speicherkontonamen ein. Geben Sie dann den Zugriffsschlüssel an.
Übernehmen Sie für Container den Standardwert, oder geben Sie einen neuen ein.
Zusätzliche Azure Storage-Instanzen
Optional: Wählen Sie Azure Storage hinzufügen für zusätzlichen Clusterspeicher aus. Die Verwendung eines zusätzlichen Speicherkontos in einer anderen Region als im HDInsight-Cluster wird nicht unterstützt.
Metastore-Einstellungen
Optional: Geben Sie eine vorhandene SQL-Datenbank-Instanz an, um Apache Hive-, Apache Oozie- oder Apache Ambari-Metadaten außerhalb des Clusters zu speichern. Die für den Metastore verwendete Azure SQL-Datenbank muss für die Konnektivität mit anderen Azure-Diensten, z. B. Azure HDInsight, konfiguriert sein. Verwenden Sie beim Erstellen eines Metastore für die Namen einer Datenbank keine Binde- oder Gedankenstriche. Diese Zeichen können dazu führen, dass der Prozess der Clustererstellung fehlschlägt.
Wichtig
Der Standardmetastore stellt für Clusterformen, die Metastores unterstützen, eine Azure SQL-Datenbank-Instanz mit einem Basic-Tarif mit einer Begrenzung auf fünf DTUs (nicht aktualisierbar) bereit. Er eignet sich für grundlegende Testzwecke. Bei großen Workloads bzw. Produktionsworkloads empfiehlt sich die Migration zu einem externen Metastore.
Wählen Sie Weiter: Sicherheit + Netzwerkbetrieb>> aus, um zur nächsten Registerkarte zu gelangen.
Sicherheit + Netzwerkbetrieb
Geben Sie auf der Registerkarte Sicherheit + Netzwerkbetrieb die folgenden Informationen an:
| Eigenschaft | BESCHREIBUNG |
|---|---|
| Sicherheitspaket für Unternehmen | Optional: Aktivieren Sie das Kontrollkästchen, um das Enterprise-Sicherheitspaket zu verwenden. Weitere Informationen finden Sie unter Konfigurieren eines HDInsight-Clusters mit Enterprise-Sicherheitspaket (Enterprise Security Package, ESP) mithilfe von Microsoft Entra Domain Services. |
| TLS | Optional: Wählen Sie in der Dropdownliste eine TLS-Version aus. Weitere Informationen finden Sie unter Transport Layer Security. |
| Virtuelles Netzwerk | Optional: Wählen Sie in der Dropdownliste ein vorhandenes virtuelles Netzwerk und Subnetz aus. Weitere Informationen finden Sie unter Planen eines virtuellen Netzwerks für Azure HDInsight. Der Artikel enthält die spezifischen Konfigurationsanforderungen für das virtuelle Netzwerk. |
| Datenträgerverschlüsselungseinstellungen | Optional: Aktivieren Sie das Kontrollkästchen, um die Verschlüsselung zu verwenden. Weitere Informationen finden Sie unter Datenträgerverschlüsselung mit kundenseitig verwalteten Schlüsseln. |
| Kafka-REST-Proxy | Diese Einstellung ist nur für den Clustertyp Kafka verfügbar. Weitere Informationen finden Sie unter Interagieren mit Apache Kafka-Clustern in Azure HDInsight mithilfe eines REST-Proxys. |
| Identity | Optional: Wählen Sie in der Dropdownliste eine vorhandene, vom Benutzer zugewiesene Dienstidentität aus. Weitere Informationen finden Sie unter Verwaltete Identitäten in Azure HDInsight. |
Wählen Sie Konfiguration + Preise>> aus, um zur nächsten Registerkarte zu gelangen.
Konfiguration + Preise
Geben Sie auf der Registerkarte Konfiguration + Preise die folgenden Informationen an:
| Eigenschaft | BESCHREIBUNG |
|---|---|
| + Anwendung hinzufügen | Optional: Wählen Sie beliebige Anwendungen aus. Diese Anwendungen können von Microsoft, unabhängigen Softwareherstellern (Independent Software Vendors, ISVs) oder Ihnen selbst entwickelt werden. Weitere Informationen finden Sie unter Installieren von Anwendungen während der Clustererstellung. |
| Knotengröße | Optional: Wählen Sie einen Knoten anderer Größe aus. |
| Anzahl von Knoten | Optional: Geben Sie die Anzahl der Knoten für den angegebenen Knotentyp ein. Wenn Sie mehr als 32 Workerknoten planen, sollten Sie eine Hauptknotengröße mit mindestens 8 Kernen und 14 GB Arbeitsspeicher (RAM) auswählen. Planen Sie die Knoten entweder während der Clustererstellung oder durch das Skalieren des Clusters nach der Erstellung. |
| Aktivieren der automatischen Skalierung | Optional: Aktivieren Sie das Kontrollkästchen des Features. Weitere Informationen finden Sie unter Automatische Skalierung von Azure HDInsight-Clustern. |
| + Skriptaktion hinzufügen | Optional: Diese Option ist geeignet, wenn Sie einen Cluster bei seiner Erstellung mit einem benutzerdefinierten Skript anpassen möchten. Weitere Informationen zu Skriptaktionen finden Sie unter Anpassen Linux-basierter HDInsight-Cluster mithilfe von Skriptaktionen. |
Wählen Sie Bewerten + erstellen>> aus, um die Clusterkonfiguration zu überprüfen und zur letzten Registerkarte zu wechseln.
`Tags`
Geben Sie auf der Seite Tags die folgenden Informationen ein:
| Eigenschaft | Beschreibung |
|---|---|
| Name | Optional. Geben Sie einen Namen Ihrer Wahl ein, um alle Ressourcen einfach zu identifizieren. |
| Wert | Lassen Sie dieses Feld leer. |
| Resource | Wählen Sie „Alle Ressourcen ausgewählt“ aus. |
Überprüfen + erstellen
Überprüfen Sie die Einstellungen. Wählen Sie Erstellen, um den Cluster zu erstellen.
Die Erstellung des Clusters dauert in der Regel ca. 20 Minuten. Unter Benachrichtigungen können Sie den Bereitstellungsprozess überprüfen.
Nach der Erstellung
Wählen Sie nach Abschluss des Erstellungsprozesses in der Benachrichtigung Bereitstellung erfolgreich die Option Zu Ressource wechseln. Im Clusterfenster werden die folgenden Informationen angezeigt.
Einige der Symbole im Fenster stehen für Folgendes:
| Eigenschaft | BESCHREIBUNG |
|---|---|
| Übersicht | Enthält alle grundlegenden Informationen zum Cluster. Beispiele hierfür sind der Name, die zugehörige Ressourcengruppe, der Standort, das Betriebssystem und die URL für das Cluster-Dashboard. |
| Cluster-Dashboards | Führt Sie zu dem mit dem Cluster verbundenen Ambari-Portal. |
| SSH + Clusteranmeldung | Enthält die Informationen zum Zugreifen auf den Cluster per SSH. |
| Löschen | Löscht den HDInsight-Cluster. |
Löschen des Clusters
Weitere Informationen finden Sie unter Löschen eines HDInsight-Clusters mithilfe von Browser, PowerShell oder Azure-Befehlszeilenschnittstelle.
Problembehandlung
Falls beim Erstellen von HDInsight-Clustern Probleme auftreten, sehen Sie sich die Voraussetzungen für die Zugriffssteuerung an.
Nächste Schritte
Sie haben die Erstellung eines HDInsight-Clusters erfolgreich abgeschlossen. Als Nächstes wird beschrieben, wie Sie mit Ihrem Cluster arbeiten.