Apache Hadoop-Cluster mit Speicherkonten mit sicherer Übertragung in Azure HDInsight
Das Feature Sichere Übertragung erforderlich erhöht die Sicherheit Ihres Azure Storage-Kontos, indem alle Anforderungen für Ihr Konto über eine sichere Verbindung übertragen werden müssen. Dieses Feature und das WASBS-Schema werden von HDInsight-Clusterversion 3.6 oder höher unterstützt.
Wichtig
Das Aktivieren der sicheren Speicherübertragung nach dem Erstellen eines Clusters kann zu Fehlern bei der Verwendung Ihres Speicherkontos führen und wird daher nicht empfohlen. Es ist besser, einen neuen Cluster mit einem Speicherkonto zu erstellen, bei dem die sichere Übertragung bereits aktiviert ist.
Speicherkonten
Azure-Portal
Standardmäßig ist die Eigenschaft für erforderliche sichere Übertragung aktiviert, wenn Sie ein Speicherkonto im Azure-Portal erstellen.
Informationen zum Aktualisieren eines vorhandenen Speicherkontos über das Azure-Portal finden Sie unter Erfordern sicherer Übertragung über das Azure-Portal.
PowerShell
Stellen Sie für das PowerShell-Cmdlet New-AzStorageAccount sicher, dass der Parameter -EnableHttpsTrafficOnly
auf 1
festgelegt ist.
Informationen zum Aktualisieren eines vorhandenen Speicherkontos mit PowerShell finden Sie unter Erfordern sicherer Übertragung mit PowerShell.
Azure CLI
Stellen Sie für den Azure CLI-Befehl az storage account create sicher, dass der Parameter --https-only
auf true
festgelegt ist.
Informationen zum Aktualisieren eines vorhandenen Speicherkontos über die Azure-Befehlszeilenschnittstelle finden Sie unter Erfordern sicherer Übertragung über die Azure-Befehlszeilenschnittstelle.
Fehler bei der sicheren Übertragung
Wenn Sie nach dem Erstellen des HDInsight-Clusters versehentlich die Option „Require secure transfer“ (Sichere Übertragung erforderlich) aktiviert haben, werden möglicherweise Fehlermeldungen wie die folgende angezeigt:
com.microsoft.azure.storage.StorageException: The account being accessed does not support http.
Nur bei HBase-Clustern können Sie die folgenden Schritte ausführen, um die Clusterfunktionalität wiederherzustellen:
- Beenden Sie HBase über Ambari.
- Beenden Sie das HDFS über Ambari.
- Navigieren Sie in Ambari zu HDFS --> Configs --> Advanced --> fs.defaultFS (HDFS --> Konfigurationen --> Erweitert --> fs.defaultFS).
- Ändern Sie „wasb“ in „wasbs“, und speichern Sie diese Änderung.
- Wenn Sie das Feature für beschleunigte Schreibvorgänge verwenden, muss für HBase-Konfigurationen bei „hbase.rootDir“ ebenfalls „wasb“ in „wasbs“ geändert werden.
- Starten Sie alle erforderlichen Dienste neu.
Hinzufügen weiterer Speicherkonten
Weitere Speicherkonten mit sicherer Übertragung können auf unterschiedliche Weise hinzugefügt werden:
- Ändern Sie die Azure Resource Manager-Vorlage im letzten Abschnitt.
- Erstellen Sie über das Azure-Portal einen Cluster, und geben Sie ein verknüpftes Speicherkonto an.
- Verwenden Sie die Skriptaktion, um einem vorhandenen HDInsight-Cluster weitere Speicherkonten mit sicherer Übertragung hinzuzufügen. Weitere Informationen finden Sie unter Hinzufügen weiterer Speicherkonten zu HDInsight.
Nächste Schritte
- Verwendung von Azure Storage (WASB) anstelle von Apache Hadoop HDFS als Standarddatenspeicher
- Informationen zur Verwendung von Azure Storage durch HDInsight finden Sie unter Verwenden von Azure Storage mit HDInsight.
- Informationen zum Hochladen von Daten in HDInsight finden Sie im Artikel zum Hochladen von Daten für Hadoop-Aufträge in HDInsight.