Prérequis pour les ressources

Cet article détaille les ressources requises pour la prise en main de HDInsight sur AKS. Il couvre les ressources nécessaires et facultatives et la façon de les créer.

Ressources nécessaires

Le tableau suivant illustre les ressources nécessaires à la création d’un cluster en fonction des types de cluster.

Charge de travail	Identité du service administré (MSI)	Stockage	SQL Server - SQL Database	Key Vault
Trino	✅
Flink	✅	✅
Spark	✅	✅
Trino, Flink ou Spark avec metastore Hive (HMS)	✅	✅	✅	✅

Remarque

MSI est utilisé comme norme de sécurité pour l’authentification et l’autorisation entre les ressources, à l’exception de SQL Database. L’attribution de rôle se produit avant le déploiement pour autoriser MSI au stockage et les secrets sont stockés dans le coffre de clés pour SQL Database. La prise en charge du stockage est avec ADLS Gen2 et est utilisée comme magasin de données pour les moteurs de calcul, et SQL Database est utilisée pour la gestion des tables sur le metastore Hive.

Ressources facultatives

• Un réseau virtuel et un sous-réseau existants :Créer un réseau virtuel
• Un espace de travail Log Analytics : Créer un espace de travail Log Analytics

Remarque

• Le réseau virtuel nécessite un sous-réseau sans table de routage existante associée.
• HDInsight sur AKS vous permet d’apporter votre propre réseau virtuel et sous-réseau, ce qui vous permet de personnaliser vos exigences réseau en fonction des besoins de votre entreprise.
• L’espace de travail Log Analytics est facultatif et doit être créé à l’avance si vous souhaitez utiliser des fonctionnalités Azure Monitor telles que Azure Log Analytics.

Vous pouvez créer les ressources nécessaires de deux manières :

• Modèles ARM prêts à l’emploi
• Avec le portail Azure

Utilisation de modèles ARM

Les modèles ARM suivants vous permettent de créer les ressources nécessaires spécifiées, en un clic à l’aide d’un préfixe de ressource et plus de détails selon les besoins.

Par exemple, si vous fournissez un préfixe de ressource comme « démonstration », les ressources suivantes sont créées dans votre groupe de ressources en fonction du modèle que vous sélectionnez :

• MSI est créé avec le nom demoMSI.
• Le stockage est créé avec un nom en tant que demostore ainsi qu’un conteneur en tant que democontainer.
• Le coffre de clés est créé avec le nom demoKeyVault ainsi que le secret fourni en tant que paramètre dans le modèle.
• La base de données Azure SQL est créée avec un nom en tant que demoSqlDB avec le serveur SQL avec le nom demoSqlServer.

Charge de travail	Prérequis
Trino	Créer les ressources mentionnées comme suit : 1. MSI (Managed Service Identity) : identité managée affectée par l’utilisateur.
Flink	Créer les ressources mentionnées comme suit : 1. MSI (Managed Service Identity) : identité managée affectée par l’utilisateur. 2. Créer un compte de stockage ADLS Gen2 et un conteneur. Affectations de rôles : 1. Attribue le rôle « Propriétaire de données blob du stockage » à l’identité managée affectée par l’utilisateur sur le compte de stockage.
Spark	Créer les ressources mentionnées comme suit : 1. MSI (Managed Service Identity) : identité managée affectée par l’utilisateur. 2. Créer un compte de stockage ADLS Gen2 et un conteneur. Affectations de rôles : 1. Attribue le rôle « Propriétaire de données blob du stockage » à l’identité managée affectée par l’utilisateur sur le compte de stockage.
Trino, Flink ou Spark avec metastore Hive (HMS)	Créer les ressources mentionnées comme suit : 1. MSI (Managed Service Identity) : identité managée affectée par l’utilisateur. 2. Créer un compte de stockage ADLS Gen2 et un conteneur. 3. Azure SQL Server et SQL Database. 4. Azure Key Vault et un secret pour stocker les informations d’identification de l’administrateur SQL Server. Affectations de rôles : 1. Attribue le rôle « Propriétaire de données blob du stockage » à l’identité managée affectée par l’utilisateur sur le compte de stockage. 2. Attribue le rôle « Utilisateur des secrets Key Vault » à l’identité MSI affectée par l’utilisateur sur Key Vault.

Remarque

L'utilisateur doit avoir l’autorisation de créer de nouvelles ressources et d'attribuer des rôles aux ressources dans l’abonnement pour utiliser ces modèles ARM.

Avec le portail Azure

Créer une identité managée affectée par l’utilisateur (MSI)

Une identité managée est une identité inscrite dans Microsoft Entra ID (Microsoft Entra ID) dont les informations d’identification sont gérées par Azure. Grâce aux identités managées, vous n’avez pas besoin d’inscrire des principaux de service dans Microsoft Entra ID, ni de tenir à jour les informations d’identification telles que les certificats.

HDInsight sur AKS s’appuie sur l’identité affectée par l’utilisateur (MSI) pour la communication entre différents composants.

Créer un compte de stockage – ADLS Gen 2

Le compte de stockage est utilisé comme emplacement par défaut des journaux de cluster et autres sorties. Activez l’espace de noms hiérarchique pendant la création du compte de stockage à utiliser comme stockage ADLS Gen2.

1. Attribuer un rôle : attribuez le rôle « Propriétaire des données blob de stockage » au MSI affecté par l’utilisateur créé à ce compte de stockage.

2. Créer un conteneur : après avoir créé le compte de stockage, créez un conteneur dans le compte de stockage.

Remarque

L’option permettant de créer un conteneur lors de la création du cluster est également disponible.

Créer une base de données Azure SQL Database

Créez une base de données Azure SQL à utiliser comme metastore externe lors de la création du cluster ou vous pouvez utiliser une base de données SQL existante. Toutefois, vérifiez que les propriétés suivantes sont définies.

Propriétés nécessaires à activer pour SQL Server et SQL Database-

Type de ressource	Propriété	Description
SQL Server	Méthode d'authentification	Lors de la création d’un serveur SQL Server, utilisez « Méthode d’authentification » comme
SQL Database	Autoriser les services et les ressources Azure à accéder à ce serveur	Activez cette propriété sous le panneau Mise en réseau dans votre base de données SQL dans le portail Azure.

Remarque

• Actuellement, nous prenons en charge Azure SQL Database en tant que metastore intégré.
• En raison des limitations de Hive, le caractère « - » (trait d’union) n’est pas pris en charge dans le nom de la base de données metastore.
• Azure SQL Database doit se trouver dans la même région que votre cluster.
• L’option permettant de créer une base de données SQL lors de la création du cluster est également disponible. Toutefois, vous devez actualiser la page de création du cluster pour que la base de données nouvellement créée apparaisse dans la liste déroulante.

Créer un Azure Key Vault

Key Vault vous permet de stocker le mot de passe administrateur SQL Server défini lors de la création de la base de données SQL. HDInsight sur la plateforme AKS ne gère pas directement les informations d'identification. Par conséquent, il est nécessaire de stocker vos informations d’identification importantes dans le Key Vault.

1. Attribuer un rôle : attribuez un rôle « Utilisateur des secrets Key Vault » à l’identité affectée par l’utilisateur créée dans le cadre des ressources nécessaires à ce Key Vault.

2. Créer un secret : cette étape vous permet de conserver le mot de passe administrateur de votre SQL Server comme secret dans Azure Key Vault. Ajoutez votre mot de passe dans le champ « Valeur » lors de la création d’un secret.

Remarque

• Assurez-vous de noter le nom du secret, car vous en aurez besoin lors de la création du cluster.
• Vous devez disposer d’un rôle « Administrateur Key Vault » attribué à votre identité ou compte pour ajouter un secret dans Key Vault à l’aide du portail Azure. Accédez au coffre de clés et suivez les étapes décrivant comment attribuer le rôle.