Clusters Apache Hadoop avec des comptes de stockage avec transfert sécurisé dans Azure HDInsight

  • Article

La fonctionnalité Transfert sécurisé requis améliore la sécurité de votre compte de stockage Azure en appliquant toutes les demandes à votre compte via une connexion sécurisée. Cette fonctionnalité et le schéma wasbs pris en charge par les clusters HDInsight 3.6 ou version ultérieure.

Important

L’activation du transfert de stockage sécurisé après la création d’un cluster peut entraîner des erreurs lors de l’utilisation de votre compte de stockage, et n’est donc pas recommandée. Il est préférable de créer un cluster à l’aide d’un compte de stockage sur lequel le transfert sécurisé est déjà activé.

Comptes de stockage

Portail Azure

Par défaut, la propriété Transfert sécurisé requis est activée quand vous créez un compte de stockage dans le Portail Azure.

Pour mettre à jour un compte de stockage existant avec le Portail Azure, consultez Exiger un transfert sécurisé avec le Portail Azure.

PowerShell

Pour la cmdlet PowerShell New-AzStorageAccount, vérifiez que le paramètre -EnableHttpsTrafficOnly est défini sur 1.

Pour mettre à jour un compte de stockage existant avec PowerShell, consultez Exiger un transfert sécurisé avec PowerShell.

Azure CLI

Pour la commande Azure CLI az storage account create, vérifiez que le paramètre --https-only est défini sur true.

Pour mettre à jour un compte de stockage existant avec Azure CLI, consultez Exiger un transfert sécurisé avec Azure CLI.

Erreurs du transfert sécurisé

Si vous avez activé par inadvertance l’option « Exiger un transfert sécurisé » après la création du cluster HDInsight, vous pouvez voir des messages d’erreur semblables à ce qui suit :

com.microsoft.azure.storage.StorageException: The account being accessed does not support http.

Pour les clusters HBase uniquement, vous pouvez essayer les étapes suivantes afin de restaurer la fonctionnalité de cluster :

  1. Arrêtez HBase à partir d’Ambari.
  2. Arrêtez HDFS dans Ambari.
  3. Dans Ambari, accédez à HDFS --> Configs --> Advanced --> fs.defaultFS
  4. Remplacez wasb par wasbs, puis enregistrez-le.
  5. Si vous utilisez la fonctionnalité des écritures accélérées, vous devez également changer « hbase.rootDir » dans les configurations hbase en remplaçant wasb par wasbs.
  6. Redémarrez tous les services nécessaires.

Ajouter d’autres comptes de stockage

Plusieurs options vous permettent d’ajouter des comptes de stockage dotés du transfert sécurisé :

  • Modifiez le modèle Azure Resource Manager dans la dernière section.
  • Créez un cluster à l’aide du portail Azure et indiquez le compte de stockage lié.
  • Utilisez l’action de script pour ajouter des comptes de stockage doté du transfert sécurisé à un cluster HDInsight existant. Pour plus d’informations, consultez Ajouter des comptes de stockage à HDInsight.

Étapes suivantes