Обучение
Сертификация
Сертифицировано майкрософт: помощник администратора Azure - Certifications
Демонстрация ключевых навыков для настройки, управления, защиты и администрирования ключевых профессиональных функций в Microsoft Azure.
Этот браузер больше не поддерживается.
Выполните обновление до Microsoft Edge, чтобы воспользоваться новейшими функциями, обновлениями для системы безопасности и технической поддержкой.
С помощью Azure PowerShell можно управлять развертыванием и управлением рабочими нагрузками в Azure и автоматизировать их развертывание и управление ими. В этой статье описано, как управлять кластерами Apache Hadoop в Azure HDInsight с помощью модуля Az PowerShell. Список командлетов HDInsight PowerShell см. в справочнике Az.HDInsight.
Если у вас нет подписки Azure, создайте бесплатную учетную запись, прежде чем приступить к работе.
Примечание
Мы рекомендуем использовать модуль Azure Az PowerShell для взаимодействия с Azure. Чтобы начать работу, см. статью Установка Azure PowerShell. Дополнительные сведения см. в статье Перенос Azure PowerShell с AzureRM на Az.
Установленный модуль Az PowerShell.
Сведения о создании кластеров см. в статье "Создание кластеров на основе Linux в HDInsight с помощью Azure PowerShell".
Чтобы вывести список всех кластеров в текущей подписке, выполните следующую команду:
Get-AzHDInsightCluster
Чтобы отобразить сведения о конкретном кластере в текущей подписке, используйте следующую команду:
Get-AzHDInsightCluster -ClusterName <Cluster Name>
Чтобы удалить кластер, используйте следующую команду:
Remove-AzHDInsightCluster -ClusterName <Cluster Name>
Можно также удалить кластер, удалив группу ресурсов, которая содержит этот кластер. При удалении группы ресурсов удаляются все ресурсы группы, включая учетную запись хранения по умолчанию.
Remove-AzResourceGroup -Name <Resource Group Name>
Вы можете использовать функцию масштабирования кластера, чтобы изменить количество рабочих узлов, используемых кластером, работающим в HDInsight, без необходимости повторного создания кластера. Чтобы изменить размер кластера Hadoop с помощью PowerShell, выполните следующую команду на клиентском компьютере:
Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>
Подробнее о масштабировании кластеров см. в статье Масштабирование кластеров HDInsight.
Параметр Set-AzHDInsightGatewayCredential задает учетные данные HTTP шлюза кластера HDInsight.
$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"
Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential
В следующем сценарии PowerShell показано получение имени учетной записи хранения по умолчанию и связанной информации.
#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"
$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStorageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]
echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStorageType"
if ($defaultStorageType -eq "blob")
{
$defaultBlobContainerName = $cluster.DefaultStorageContainer
$defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
$defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey
echo "Default Blob container name: $defaultBlobContainerName"
echo "Default Storage account key: $defaultStorageAccountKey"
}
В режиме Azure Resource Manager каждый кластер HDInsight принадлежит группе ресурсов Azure. Чтобы найти группу ресурсов, используйте следующую команду:
$clusterName = "<HDInsight Cluster Name>"
$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup
Чтобы использовать следующие продукты для отправки заданий, следуйте инструкциям из ссылок:
Сведения о передаче данных в Хранилище BLOB-объектов Azure см. в статье "Отправка данных в HDInsight".
Обучение
Сертификация
Сертифицировано майкрософт: помощник администратора Azure - Certifications
Демонстрация ключевых навыков для настройки, управления, защиты и администрирования ключевых профессиональных функций в Microsoft Azure.
Документация
Управление кластерами Azure HDInsight с помощью Azure CLI
Узнайте, как использовать Azure CLI для управления кластерами Azure HDInsight. Типы кластеров включают Apache Hadoop, Spark, HBase, Kafka, Интерактивный запрос.
Узнайте, как создавать и удалять кластеры Azure HDInsight с помощью выполняемых в облаке скриптов, оформленных в виде runbook службы автоматизации Azure.
Управление кластерами Apache Hadoop в HDInsight с помощью портала Azure
Сведения о том, как создавать кластеры Azure HDInsight и управлять ими с помощью портала Azure.