Voraussetzungen für Ressourcen
Hinweis
Azure HDInsight on AKS wird am 31. Januar 2025 eingestellt. Vor dem 31. Januar 2025 müssen Sie Ihre Workloads zu Microsoft Fabric oder einem gleichwertigen Azure-Produkt migrieren, um eine abruptes Beendigung Ihrer Workloads zu vermeiden. Die verbleibenden Cluster in Ihrem Abonnement werden beendet und vom Host entfernt.
Bis zum Einstellungsdatum ist nur grundlegende Unterstützung verfügbar.
Wichtig
Diese Funktion steht derzeit als Vorschau zur Verfügung. Die zusätzlichen Nutzungsbedingungen für Microsoft Azure-Vorschauen enthalten weitere rechtliche Bestimmungen, die für Azure-Features in Betaversionen, in Vorschauversionen oder anderen Versionen gelten, die noch nicht allgemein verfügbar gemacht wurden. Informationen zu dieser spezifischen Vorschau finden Sie unter Informationen zur Vorschau von Azure HDInsight on AKS. Bei Fragen oder Funktionsvorschlägen senden Sie eine Anfrage an AskHDInsight mit den entsprechenden Details, und folgen Sie uns für weitere Updates in der Azure HDInsight-Community.
In diesem Artikel werden die Ressourcen beschrieben, die für die ersten Schritte mit HDInsight auf AKS erforderlich sind. Sie deckt die erforderlichen und optionalen Ressourcen und deren Erstellung ab.
Erforderliche Ressourcen
In der folgenden Tabelle sind die erforderlichen Ressourcen dargestellt, die für die Clustererstellung auf der Grundlage der Clustertypen erforderlich sind.
| Workload | Verwaltete Dienstidentität (Managed Service Identity, MSI) | Storage | SQL Server - SQL-Datenbank | Key Vault |
|---|---|---|---|---|
| Trino | ✅ | |||
| Flink | ✅ | ✅ | ||
| Spark | ✅ | ✅ | ||
| Trino, Flink oder Spark mit Hive Metastore (HMS) | ✅ | ✅ | ✅ | ✅ |
Hinweis
MSI wird als Sicherheitsstandard für die Authentifizierung und Autorisierung über Ressourcen hinweg verwendet, mit Ausnahme der SQL-Datenbank. Die Rollenzuweisung erfolgt vor der Bereitstellung, um MSI zum Speichern zu autorisieren, und die geheimen Schlüssel werden im Key Vault der SQL-Datenbank gespeichert. Die Speicherunterstützung ist mit ADLS Gen2 und wird als Datenspeicher für die Berechnungsmodule verwendet und die SQL-Datenbank wird für die Tabellenverwaltung im Hive-Metaspeicher verwendet.
Optionale Ressourcen
- Virtuelles Netzwerk (VNet) und Subnetz: Erstellen eines virtuellen Netzwerks
- Log Analytics-Arbeitsbereich: Erstellen des Log Analytics-Arbeitsbereichs
Hinweis
- VNet erfordert Subnetz ohne ihm zugeordnete vorhandene Routentabellen.
- HDInsight auf AKS ermöglicht es Ihnen, Ihr eigenes VNet und Subnetz bereitzustellen, sodass Sie Ihre Netzwerkanforderungen an die Anforderungen Ihres Unternehmens anpassen können.
- Der Log Analytics-Arbeitsbereich ist optional und muss im Voraus erstellt werden, falls Sie Azure Monitor-Funktionen wie Azure Log Analyticsverwenden möchten.
Sie können die erforderlichen Ressourcen auf zwei Arten erstellen:
Verwenden von ARM-Vorlagen
Mit den folgenden ARM-Vorlagen können Sie die angegebenen erforderlichen Ressourcen erstellen, indem Sie mit einem Klick ein Ressourcenpräfix und weitere Details nach Bedarf verwenden können.
Wenn Sie beispielsweise das Ressourcenpräfix als „Demo“ angeben, werden die folgenden Ressourcen je nach ausgewählter Vorlage in Ihrer Ressourcengruppe erstellt:
- MSI wird mit dem Namen
demoMSIerstellt. - Der Speicher wird mit dem Namen
demostorezusammen mit einem Container mit dem Namendemocontainererstellt. - Der Schlüsseltresor mit dem Namen
demoKeyVaultwird zusammen mit dem geheimen Schlüssel erstellt, der als Parameter in der Vorlage bereitgestellt wird. - Azure SQL-Datenbank mit dem Namen
demoSqlDBwird zusammen mit dem SQL Server mit dem NamedemoSqlServererstellt.
| Workload | Voraussetzungen |
|---|---|
| Trino | Erstellen Sie die erwähnten Ressourcen wie folgt: 1. Managed Service Identity (MSI): Vom Benutzer zugewiesene verwaltete Identität. |
| Flink | Erstellen Sie die erwähnten Ressourcen wie folgt: 1. Managed Service Identity (MSI): Vom Benutzer zugewiesene verwaltete Identität. 2. ADLS Gen2-Speicherkonto und ein Container. Rollenzuweisungen: 1. Weist die Rolle „Besitzer der Speicher-Blob-Daten“ dem vom Benutzer zugewiesenen MSI-Speicherkonto zu. |
| Spark | Erstellen Sie die erwähnten Ressourcen wie folgt: 1. Managed Service Identity (MSI): Vom Benutzer zugewiesene verwaltete Identität. 2. ADLS Gen2-Speicherkonto und ein Container. Rollenzuweisungen: 1. Weist die Rolle „Besitzer der Speicher-Blob-Daten“ dem vom Benutzer zugewiesenen MSI-Speicherkonto zu. |
| Trino, Flink oder Spark mit Hive Metastore (HMS) | Erstellen Sie die erwähnten Ressourcen wie folgt: 1. Managed Service Identity (MSI): Vom Benutzer zugewiesene verwaltete Identität. 2. ADLS Gen2-Speicherkonto und ein Container. 3. Azure SQL-Server und SQL-Datenbank 4. Azure Key Vault und ein geheimer Schlüssel zum Speichern von Anmeldeinformationen für SQL Server-Administratoren. Rollenzuweisungen: 1. Weist die Rolle „Besitzer der Speicher-Blob-Daten“ dem vom Benutzer zugewiesenen MSI-Speicherkonto zu. 2. Weist der vom Benutzer zugewiesenen MSI-Datei im Key Vault die Rolle „Benutzer von geheimen Schlüsseln für den Key Vault“ zu. |
Hinweis
Wenn Sie diese ARM-Vorlagen verwenden, muss ein Benutzer über die Berechtigung zum Erstellen neuer Ressourcen verfügen und den Ressourcen im Abonnement Rollen zuweisen.
Über das Azure-Portal
Erstellen einer benutzerseitig zugewiesenen verwalteten Identität (MSI)
Eine verwaltete Identität ist eine in Microsoft Entra ID registrierte Identität (Microsoft Entra ID), deren Anmeldeinformationen von Azure verwaltet werden. Bei verwalteten Identitäten müssen Sie keine Dienstprinzipale in Microsoft Entra ID registrieren, um Anmeldeinformationen wie Zertifikate zu verwalten.
HDInsight auf AKS basiert auf der vom Benutzer zugewiesenen MSI für die Kommunikation zwischen verschiedenen Komponenten.
Erstellen eines Speicherkontos – ADLS Gen 2
Das Speicherkonto wird als Standardspeicherort für Clusterprotokolle und andere Ausgaben verwendet. Aktivieren Sie während der Erstellung des Speicherkontos den hierarchischen Namespace, der als ADLS Gen2-Speicher verwendet werden soll.
Zuweisen einer Rolle: Zuweisen der Rolle „Besitzer der Speicher-Blob-Daten“ zur vom Benutzer zugewiesenen MSI-Datei, die für dieses Speicherkonto erstellt wurde.
Erstellen eines Containers: Erstellen Sie nach dem Erstellen des Speicherkontos einen Container im Speicherkonto.
Hinweis
Die Option zum Erstellen eines Containers während der Clustererstellung ist ebenfalls verfügbar.
Erstellen einer Azure SQL-Datenbank
Erstellen Sie eine Azure SQL-Datenbank, die während der Clustererstellung als externer Metastore verwendet werden soll, oder Sie können eine vorhandene SQL-Datenbank verwenden. Stellen Sie jedoch sicher, dass die folgenden Eigenschaften festgelegt sind.
Erforderliche Eigenschaften, die für SQL Server und SQL-Datenbank aktiviert werden sollen-
| Ressourcentyp | Eigenschaft | Beschreibung |
|---|---|---|
| SQL Server | Authentifizierungsmethode | Verwenden Sie beim Erstellen eines SQL Servers die „Authentifizierungsmethode“ als 
|
| SQL-Datenbank | Azure-Diensten und -Ressourcen den Zugriff auf diesen Server erlauben | Aktivieren Sie diese Eigenschaft unter dem Blatt „Networking“ in Ihrer SQL-Datenbank im Azure-Portal. |
Hinweis
- Derzeit wird Azure SQL-Datenbank als einziger integrierter Metastore unterstützt.
- Aufgrund von Hive-Einschränkungen wird das Zeichen „-“ (Bindestrich) im Metastore-Datenbanknamen nicht unterstützt.
- Azure SQL-Datenbank sollte sich in derselben Region wie Ihr Cluster befinden.
- Die Option zum Erstellen einer SQL-Datenbank während der Clustererstellung ist ebenfalls verfügbar. Sie müssen jedoch die Clustererstellungsseite aktualisieren, um die neu erstellte Datenbank in der Dropdownliste anzuzeigen.
Erstellen eines Azure Key Vault
Key Vault ermöglicht Ihnen das Speichern des SQL Server-Administratorkennworts während der SQL-Datenbankerstellung. Die HDInsight on AKS-Plattform verarbeitet die Anmeldeinformationen nicht direkt. Daher ist es erforderlich, Ihre wichtigen Anmeldeinformationen im Azure Key Vault zu speichern.
Zuweisen einer Rolle: Weisen Sie der vom Benutzer zugewiesenen MSI, die als Teil der erforderlichen Ressourcen für diesen Key Vault erstellt wurde, die Rolle „Benutzer von geheimen Schlüsseln für den Key Vault“ zu.
Geheimen Schlüssel erstellen: In diesem Schritt können Sie Ihr SQL Server-Administratorkennwort als geheimen Schlüssel in Azure Key Vault speichern. Fügen Sie Ihr Kennwort im Feld „Wert“ hinzu, während Sie einen geheimen Schlüssel erstellen.
Hinweis
- Notieren Sie sich den geheimen Namen, da dieser während der Clustererstellung erforderlich ist.
- Sie müssen ihrer Identität oder Ihrem Konto eine Rolle "Administrator des Key Vaults" zugewiesen haben, um einen geheimen Schlüssel im Key Vault mithilfe des Azure-Portals hinzuzufügen. Navigieren Sie zum Key Vault, und führen Sie die Schritte zum Zuweisen der Rolle aus.