Prérequis pour les ressources
Remarque
Nous allons mettre hors service Azure HDInsight sur AKS le 31 janvier 2025. Avant le 31 janvier 2025, vous devrez migrer vos charges de travail vers Microsoft Fabric ou un produit Azure équivalent afin d’éviter leur arrêt brutal. Les clusters restants de votre abonnement seront arrêtés et supprimés de l’hôte.
Seul le support de base est disponible jusqu’à la date de mise hors service.
Important
Cette fonctionnalité est disponible actuellement en mode Aperçu. Les Conditions d’utilisation supplémentaires pour les préversions de Microsoft Azure contiennent davantage de conditions légales qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou ne se trouvant pas encore en disponibilité générale. Pour plus d’informations sur cette préversion spécifique, consultez les Informations sur la préversion d’Azure HDInsight sur AKS. Pour toute question ou pour des suggestions à propos des fonctionnalités, veuillez envoyer vos requêtes et leurs détails sur AskHDInsight, et suivez-nous sur la Communauté Azure HDInsight pour plus de mises à jour.
Cet article détaille les ressources requises pour la prise en main de HDInsight sur AKS. Il couvre les ressources nécessaires et facultatives et la façon de les créer.
Ressources nécessaires
Le tableau suivant illustre les ressources nécessaires à la création d’un cluster en fonction des types de cluster.
| Charge de travail | Identité du service administré (MSI) | Stockage | SQL Server - SQL Database | Key Vault |
|---|---|---|---|---|
| Trino | ✅ | |||
| Flink | ✅ | ✅ | ||
| Spark | ✅ | ✅ | ||
| Trino, Flink ou Spark avec metastore Hive (HMS) | ✅ | ✅ | ✅ | ✅ |
Remarque
MSI est utilisé comme norme de sécurité pour l’authentification et l’autorisation entre les ressources, à l’exception de SQL Database. L’attribution de rôle se produit avant le déploiement pour autoriser MSI au stockage et les secrets sont stockés dans le coffre de clés pour SQL Database. La prise en charge du stockage est avec ADLS Gen2 et est utilisée comme magasin de données pour les moteurs de calcul, et SQL Database est utilisée pour la gestion des tables sur le metastore Hive.
Ressources facultatives
- Un réseau virtuel et un sous-réseau existants :Créer un réseau virtuel
- Un espace de travail Log Analytics : Créer un espace de travail Log Analytics
Remarque
- Le réseau virtuel nécessite un sous-réseau sans table de routage existante associée.
- HDInsight sur AKS vous permet d’apporter votre propre réseau virtuel et sous-réseau, ce qui vous permet de personnaliser vos exigences réseau en fonction des besoins de votre entreprise.
- L’espace de travail Log Analytics est facultatif et doit être créé à l’avance si vous souhaitez utiliser des fonctionnalités Azure Monitor telles que Azure Log Analytics.
Vous pouvez créer les ressources nécessaires de deux manières :
Utilisation de modèles ARM
Les modèles ARM suivants vous permettent de créer les ressources nécessaires spécifiées, en un clic à l’aide d’un préfixe de ressource et plus de détails selon les besoins.
Par exemple, si vous fournissez un préfixe de ressource comme « démonstration », les ressources suivantes sont créées dans votre groupe de ressources en fonction du modèle que vous sélectionnez :
- MSI est créé avec le nom
demoMSI. - Le stockage est créé avec un nom en tant que
demostoreainsi qu’un conteneur en tant quedemocontainer. - Le coffre de clés est créé avec le nom
demoKeyVaultainsi que le secret fourni en tant que paramètre dans le modèle. - La base de données Azure SQL est créée avec un nom en tant que
demoSqlDBavec le serveur SQL avec le nomdemoSqlServer.
| Charge de travail | Prérequis |
|---|---|
| Trino | Créer les ressources mentionnées comme suit : 1. MSI (Managed Service Identity) : identité managée affectée par l’utilisateur. |
| Flink | Créer les ressources mentionnées comme suit : 1. MSI (Managed Service Identity) : identité managée affectée par l’utilisateur. 2. Créer un compte de stockage ADLS Gen2 et un conteneur. Affectations de rôles : 1. Attribue le rôle « Propriétaire de données blob du stockage » à l’identité managée affectée par l’utilisateur sur le compte de stockage. |
| Spark | Créer les ressources mentionnées comme suit : 1. MSI (Managed Service Identity) : identité managée affectée par l’utilisateur. 2. Créer un compte de stockage ADLS Gen2 et un conteneur. Affectations de rôles : 1. Attribue le rôle « Propriétaire de données blob du stockage » à l’identité managée affectée par l’utilisateur sur le compte de stockage. |
| Trino, Flink ou Spark avec metastore Hive (HMS) | Créer les ressources mentionnées comme suit : 1. MSI (Managed Service Identity) : identité managée affectée par l’utilisateur. 2. Créer un compte de stockage ADLS Gen2 et un conteneur. 3. Azure SQL Server et SQL Database. 4. Azure Key Vault et un secret pour stocker les informations d’identification de l’administrateur SQL Server. Affectations de rôles : 1. Attribue le rôle « Propriétaire de données blob du stockage » à l’identité managée affectée par l’utilisateur sur le compte de stockage. 2. Attribue le rôle « Utilisateur des secrets Key Vault » à l’identité MSI affectée par l’utilisateur sur Key Vault. |
Remarque
L'utilisateur doit avoir l’autorisation de créer de nouvelles ressources et d'attribuer des rôles aux ressources dans l’abonnement pour utiliser ces modèles ARM.
Avec le portail Azure
Créer une identité managée affectée par l’utilisateur (MSI)
Une identité managée est une identité inscrite dans Microsoft Entra ID (Microsoft Entra ID) dont les informations d’identification sont gérées par Azure. Grâce aux identités managées, vous n’avez pas besoin d’inscrire des principaux de service dans Microsoft Entra ID, ni de tenir à jour les informations d’identification telles que les certificats.
HDInsight sur AKS s’appuie sur l’identité affectée par l’utilisateur (MSI) pour la communication entre différents composants.
Créer un compte de stockage – ADLS Gen 2
Le compte de stockage est utilisé comme emplacement par défaut des journaux de cluster et autres sorties. Activez l’espace de noms hiérarchique pendant la création du compte de stockage à utiliser comme stockage ADLS Gen2.
Attribuer un rôle : attribuez le rôle « Propriétaire des données blob de stockage » au MSI affecté par l’utilisateur créé à ce compte de stockage.
Créer un conteneur : après avoir créé le compte de stockage, créez un conteneur dans le compte de stockage.
Remarque
L’option permettant de créer un conteneur lors de la création du cluster est également disponible.
Créer une base de données Azure SQL Database
Créez une base de données Azure SQL à utiliser comme metastore externe lors de la création du cluster ou vous pouvez utiliser une base de données SQL existante. Toutefois, vérifiez que les propriétés suivantes sont définies.
Propriétés nécessaires à activer pour SQL Server et SQL Database-
| Type de ressource | Propriété | Description |
|---|---|---|
| SQL Server | Méthode d'authentification | Lors de la création d’un serveur SQL Server, utilisez « Méthode d’authentification » comme 
|
| SQL Database | Autoriser les services et les ressources Azure à accéder à ce serveur | Activez cette propriété sous le panneau Mise en réseau dans votre base de données SQL dans le portail Azure. |
Remarque
- Actuellement, nous prenons en charge Azure SQL Database en tant que metastore intégré.
- En raison des limitations de Hive, le caractère « - » (trait d’union) n’est pas pris en charge dans le nom de la base de données metastore.
- Azure SQL Database doit se trouver dans la même région que votre cluster.
- L’option permettant de créer une base de données SQL lors de la création du cluster est également disponible. Toutefois, vous devez actualiser la page de création du cluster pour que la base de données nouvellement créée apparaisse dans la liste déroulante.
Créer un Azure Key Vault
Key Vault vous permet de stocker le mot de passe administrateur SQL Server défini lors de la création de la base de données SQL. HDInsight sur la plateforme AKS ne gère pas directement les informations d'identification. Par conséquent, il est nécessaire de stocker vos informations d’identification importantes dans le Key Vault.
Attribuer un rôle : attribuez un rôle « Utilisateur des secrets Key Vault » à l’identité affectée par l’utilisateur créée dans le cadre des ressources nécessaires à ce Key Vault.
Créer un secret : cette étape vous permet de conserver le mot de passe administrateur de votre SQL Server comme secret dans Azure Key Vault. Ajoutez votre mot de passe dans le champ « Valeur » lors de la création d’un secret.
Remarque
- Assurez-vous de noter le nom du secret, car vous en aurez besoin lors de la création du cluster.
- Vous devez disposer d’un rôle « Administrateur Key Vault » attribué à votre identité ou compte pour ajouter un secret dans Key Vault à l’aide du portail Azure. Accédez au coffre de clés et suivez les étapes décrivant comment attribuer le rôle.