Voraussetzungen für Ressourcen

In diesem Artikel werden die Ressourcen beschrieben, die für die ersten Schritte mit HDInsight auf AKS erforderlich sind. Sie deckt die erforderlichen und optionalen Ressourcen und deren Erstellung ab.

Erforderliche Ressourcen

In der folgenden Tabelle sind die erforderlichen Ressourcen dargestellt, die für die Clustererstellung auf der Grundlage der Clustertypen erforderlich sind.

Workload	Verwaltete Dienstidentität (Managed Service Identity, MSI)	Storage	SQL Server - SQL-Datenbank	Key Vault
Trino	✅
Flink	✅	✅
Spark	✅	✅
Trino, Flink oder Spark mit Hive Metastore (HMS)	✅	✅	✅	✅

Hinweis

MSI wird als Sicherheitsstandard für die Authentifizierung und Autorisierung über Ressourcen hinweg verwendet, mit Ausnahme der SQL-Datenbank. Die Rollenzuweisung erfolgt vor der Bereitstellung, um MSI zum Speichern zu autorisieren, und die geheimen Schlüssel werden im Key Vault der SQL-Datenbank gespeichert. Die Speicherunterstützung ist mit ADLS Gen2 und wird als Datenspeicher für die Berechnungsmodule verwendet und die SQL-Datenbank wird für die Tabellenverwaltung im Hive-Metaspeicher verwendet.

Optionale Ressourcen

• Virtuelles Netzwerk (VNet) und Subnetz: Erstellen eines virtuellen Netzwerks
• Log Analytics-Arbeitsbereich: Erstellen des Log Analytics-Arbeitsbereichs

Hinweis

• VNet erfordert Subnetz ohne ihm zugeordnete vorhandene Routentabellen.
• HDInsight auf AKS ermöglicht es Ihnen, Ihr eigenes VNet und Subnetz bereitzustellen, sodass Sie Ihre Netzwerkanforderungen an die Anforderungen Ihres Unternehmens anpassen können.
• Der Log Analytics-Arbeitsbereich ist optional und muss im Voraus erstellt werden, falls Sie Azure Monitor-Funktionen wie Azure Log Analyticsverwenden möchten.

Sie können die erforderlichen Ressourcen auf zwei Arten erstellen:

• Einsatzbereite ARM-Vorlagen
• Über das Azure-Portal

Verwenden von ARM-Vorlagen

Mit den folgenden ARM-Vorlagen können Sie die angegebenen erforderlichen Ressourcen erstellen, indem Sie mit einem Klick ein Ressourcenpräfix und weitere Details nach Bedarf verwenden können.

Wenn Sie beispielsweise das Ressourcenpräfix als „Demo“ angeben, werden die folgenden Ressourcen je nach ausgewählter Vorlage in Ihrer Ressourcengruppe erstellt:

• MSI wird mit dem Namen demoMSI erstellt.
• Der Speicher wird mit dem Namen demostore zusammen mit einem Container mit dem Namen democontainer erstellt.
• Der Schlüsseltresor mit dem Namen demoKeyVault wird zusammen mit dem geheimen Schlüssel erstellt, der als Parameter in der Vorlage bereitgestellt wird.
• Azure SQL-Datenbank mit dem Namen demoSqlDB wird zusammen mit dem SQL Server mit dem Name demoSqlServer erstellt.

Workload	Voraussetzungen
Trino	Erstellen Sie die erwähnten Ressourcen wie folgt: 1. Managed Service Identity (MSI): Vom Benutzer zugewiesene verwaltete Identität.
Flink	Erstellen Sie die erwähnten Ressourcen wie folgt: 1. Managed Service Identity (MSI): Vom Benutzer zugewiesene verwaltete Identität. 2. ADLS Gen2-Speicherkonto und ein Container. Rollenzuweisungen: 1. Weist die Rolle „Besitzer der Speicher-Blob-Daten“ dem vom Benutzer zugewiesenen MSI-Speicherkonto zu.
Spark	Erstellen Sie die erwähnten Ressourcen wie folgt: 1. Managed Service Identity (MSI): Vom Benutzer zugewiesene verwaltete Identität. 2. ADLS Gen2-Speicherkonto und ein Container. Rollenzuweisungen: 1. Weist die Rolle „Besitzer der Speicher-Blob-Daten“ dem vom Benutzer zugewiesenen MSI-Speicherkonto zu.
Trino, Flink oder Spark mit Hive Metastore (HMS)	Erstellen Sie die erwähnten Ressourcen wie folgt: 1. Managed Service Identity (MSI): Vom Benutzer zugewiesene verwaltete Identität. 2. ADLS Gen2-Speicherkonto und ein Container. 3. Azure SQL-Server und SQL-Datenbank 4. Azure Key Vault und ein geheimer Schlüssel zum Speichern von Anmeldeinformationen für SQL Server-Administratoren. Rollenzuweisungen: 1. Weist die Rolle „Besitzer der Speicher-Blob-Daten“ dem vom Benutzer zugewiesenen MSI-Speicherkonto zu. 2. Weist der vom Benutzer zugewiesenen MSI-Datei im Key Vault die Rolle „Benutzer von geheimen Schlüsseln für den Key Vault“ zu.

Hinweis

Wenn Sie diese ARM-Vorlagen verwenden, muss ein Benutzer über die Berechtigung zum Erstellen neuer Ressourcen verfügen und den Ressourcen im Abonnement Rollen zuweisen.

Über das Azure-Portal

Erstellen einer benutzerseitig zugewiesenen verwalteten Identität (MSI)

Eine verwaltete Identität ist eine in Microsoft Entra ID registrierte Identität (Microsoft Entra ID), deren Anmeldeinformationen von Azure verwaltet werden. Bei verwalteten Identitäten müssen Sie keine Dienstprinzipale in Microsoft Entra ID registrieren, um Anmeldeinformationen wie Zertifikate zu verwalten.

HDInsight auf AKS basiert auf der vom Benutzer zugewiesenen MSI für die Kommunikation zwischen verschiedenen Komponenten.

Erstellen eines Speicherkontos – ADLS Gen 2

Das Speicherkonto wird als Standardspeicherort für Clusterprotokolle und andere Ausgaben verwendet. Aktivieren Sie während der Erstellung des Speicherkontos den hierarchischen Namespace, der als ADLS Gen2-Speicher verwendet werden soll.

1. Zuweisen einer Rolle: Zuweisen der Rolle „Besitzer der Speicher-Blob-Daten“ zur vom Benutzer zugewiesenen MSI-Datei, die für dieses Speicherkonto erstellt wurde.

2. Erstellen eines Containers: Erstellen Sie nach dem Erstellen des Speicherkontos einen Container im Speicherkonto.

Hinweis

Die Option zum Erstellen eines Containers während der Clustererstellung ist ebenfalls verfügbar.

Erstellen einer Azure SQL-Datenbank

Erstellen Sie eine Azure SQL-Datenbank, die während der Clustererstellung als externer Metastore verwendet werden soll, oder Sie können eine vorhandene SQL-Datenbank verwenden. Stellen Sie jedoch sicher, dass die folgenden Eigenschaften festgelegt sind.

Erforderliche Eigenschaften, die für SQL Server und SQL-Datenbank aktiviert werden sollen-

Ressourcentyp	Eigenschaft	Beschreibung
SQL Server	Authentifizierungsmethode	Verwenden Sie beim Erstellen eines SQL Servers die „Authentifizierungsmethode“ als
SQL-Datenbank	Azure-Diensten und -Ressourcen den Zugriff auf diesen Server erlauben	Aktivieren Sie diese Eigenschaft unter dem Blatt „Networking“ in Ihrer SQL-Datenbank im Azure-Portal.

Hinweis

• Derzeit wird Azure SQL-Datenbank als einziger integrierter Metastore unterstützt.
• Aufgrund von Hive-Einschränkungen wird das Zeichen „-“ (Bindestrich) im Metastore-Datenbanknamen nicht unterstützt.
• Azure SQL-Datenbank sollte sich in derselben Region wie Ihr Cluster befinden.
• Die Option zum Erstellen einer SQL-Datenbank während der Clustererstellung ist ebenfalls verfügbar. Sie müssen jedoch die Clustererstellungsseite aktualisieren, um die neu erstellte Datenbank in der Dropdownliste anzuzeigen.

Erstellen eines Azure Key Vault

Key Vault ermöglicht Ihnen das Speichern des SQL Server-Administratorkennworts während der SQL-Datenbankerstellung. Die HDInsight on AKS-Plattform verarbeitet die Anmeldeinformationen nicht direkt. Daher ist es erforderlich, Ihre wichtigen Anmeldeinformationen im Azure Key Vault zu speichern.

1. Zuweisen einer Rolle: Weisen Sie der vom Benutzer zugewiesenen MSI, die als Teil der erforderlichen Ressourcen für diesen Key Vault erstellt wurde, die Rolle „Benutzer von geheimen Schlüsseln für den Key Vault“ zu.

2. Geheimen Schlüssel erstellen: In diesem Schritt können Sie Ihr SQL Server-Administratorkennwort als geheimen Schlüssel in Azure Key Vault speichern. Fügen Sie Ihr Kennwort im Feld „Wert“ hinzu, während Sie einen geheimen Schlüssel erstellen.

Hinweis

• Notieren Sie sich den geheimen Namen, da dieser während der Clustererstellung erforderlich ist.
• Sie müssen ihrer Identität oder Ihrem Konto eine Rolle "Administrator des Key Vaults" zugewiesen haben, um einen geheimen Schlüssel im Key Vault mithilfe des Azure-Portals hinzuzufügen. Navigieren Sie zum Key Vault, und führen Sie die Schritte zum Zuweisen der Rolle aus.