Apache Hadoop-kluster med säkra överföringslagringskonton i Azure HDInsight
Funktionen Säker överföring krävs förbättrar säkerheten för ditt Azure Storage-konto genom att kräva att alla förfrågningar till ditt konto görs via en säker anslutning. Den här funktionen och wasbs-schemat som stöds av HDInsight-klusterversion 3.6 eller senare.
Viktigt!
Om du aktiverar säker lagringsöverföring när du har skapat ett kluster kan det leda till fel med ditt lagringskonto och rekommenderas inte. Det är bättre att skapa ett nytt kluster med ett lagringskonto med säker överföring redan aktiverat.
Lagringskonton
Azure Portal
Som standard aktiveras den nödvändiga egenskapen för säker överföring när du skapar ett lagringskonto i Azure-portalen.
Information om hur du uppdaterar ett befintligt lagringskonto med Azure-portalen finns i Kräv säker överföring med Azure-portalen.
PowerShell
För PowerShell-cmdleten New-AzStorageAccount kontrollerar du att parametern -EnableHttpsTrafficOnly
är inställd på 1
.
Information om hur du uppdaterar ett befintligt lagringskonto med PowerShell finns i Kräv säker överföring med PowerShell.
Azure CLI
För Azure CLI-kommandot az storage account create kontrollerar du att parametern --https-only
är inställd på true
.
Information om hur du uppdaterar ett befintligt lagringskonto med Azure CLI finns i Kräv säker överföring med Azure CLI.
Fel vid säker överföring
Om du av misstag har aktiverat alternativet Kräv säker överföring när du har skapat HDInsight-klustret kan du få felmeddelanden enligt följande:
com.microsoft.azure.storage.StorageException: The account being accessed does not support http.
Endast för Hbase-kluster kan du prova följande steg för att återställa klusterfunktionerna:
- Stoppa HBase från Ambari.
- Stoppa HDFS från Ambari.
- I Ambari går du till HDFS –-> Configs --> Advanced --> fs.defaultFS
- Ändra wasb till wasbs och spara den.
- Om du använder funktionen Accelererade skrivningar måste även hbase.rootDir under hbase-konfigurationerna ändras från wasb till wasbs.
- Starta om alla nödvändiga tjänster.
Lägga till fler lagringskonton
Det finns flera alternativ för att lägga till säkrare överföringsaktiverade lagringskonton:
- Ändra Azure Resource Manager-mallen i det sista avsnittet.
- Skapa ett kluster med hjälp av Azure-portalen och ange ett länkat lagringskonto.
- Använd skriptåtgärd för att lägga till säkrare överföringsaktiverade lagringskonton till ett befintligt HDInsight-kluster. Mer information finns i Lägga till fler lagringskonton i HDInsight.
Nästa steg
- Användning av Azure Storage (WASB) i stället för Apache Hadoop HDFS som standarddatalager
- Mer information om hur HDInsight använder Azure Storage finns i Använda Azure Storage med HDInsight.
- Mer information om hur du överför data till HDInsight finns i Överföra data till HDInsight.