Кластеры Apache Hadoop с учетными записями хранения с безопасной передачей в Azure HDInsight
Функция Secure transfer required (Необходима безопасная передача) усиливает безопасность учетной записи хранения Azure путем принудительной передачи всех запросов к вашей учетной записи через безопасное подключение. Эта функция и схема wasbs, поддерживаемая кластером HDInsight версии 3.6 или более поздней.
Внимание
Включение безопасного перемещения хранилища после создания кластера может привести к ошибкам при использовании учетной записи хранения, а поэтому не рекомендуется. Лучше создать кластер, используя учетную запись хранения с уже включенным безопасным перемещением.
Учетные записи хранения
Портал Azure
При создании учетной записи хранения на портале Azure свойство обязательного безопасного перемещения включается по умолчанию.
О том, как обновить существующую учетную запись хранения на портале Azure, см. в разделе Обязательное безопасное перемещение с помощью портала Azure.
PowerShell
Убедитесь, что у командлета PowerShell New-AzStorageAccount параметр -EnableHttpsTrafficOnly
имеет значение 1
.
О том, как обновить существующую учетную запись хранения с помощью PowerShell, см. в разделе Обязательное безопасное перемещение с помощью PowerShell.
Azure CLI
Убедитесь, что у команды Azure CLI az storage account create параметр --https-only
имеет значение true
.
О том, как обновить существующую учетную запись хранения с помощью Azure CLI, см. в разделе Обязательное безопасное перемещение с помощью Azure CLI.
Ошибки безопасной передачи
Если вы случайно включили параметр "Требовать безопасную передачу" после создания кластера HDInsight, может появиться сообщение об ошибках следующим образом:
com.microsoft.azure.storage.StorageException: The account being accessed does not support http.
Только для кластеров HBase: можно выполнить следующие действия, чтобы восстановить функциональность кластера.
- Остановите HBase в Ambari.
- Остановите AMS из Ambari.
- В Ambari перейдите в HDFS-- > Configs-- > Advanced-- > fs.defaultFS
- Измените wasb на wasbs и сохраните.
- Если вы используете функцию ускорения записи, то параметр hbase.rootDir в конфигурации hbase также должен быть изменен с wasb на wasbs.
- Перезапустите все необходимые службы.
Добавление дополнительных учетных записей хранения
Существует несколько вариантов добавления более безопасных учетных записей хранения с поддержкой передачи:
- Измените шаблон Azure Resource Manager в предыдущем разделе.
- Создайте кластер с помощью портала Azure и укажите связанную учетную запись хранения.
- Используйте действие скрипта для добавления более безопасных учетных записей хранения с поддержкой передачи в существующий кластер HDInsight. Дополнительные сведения см. в статье "Добавление дополнительных учетных записей хранения в HDInsight".
Следующие шаги
- использование службы хранилища Azure (WASB) вместо Apache Hadoop HDFS в качестве хранилища данных по умолчанию.
- Сведения о том, как HDInsight использует службу хранилища Azure, см. в статье Использование службы хранилища Azure в HDInsight.
- Сведения об отправке данных в HDInsight см. в статье Отправка данных в HDInsight.