Обучение
Сертификация
Сертифицировано майкрософт: помощник администратора Azure - Certifications
Демонстрация ключевых навыков для настройки, управления, защиты и администрирования ключевых профессиональных функций в Microsoft Azure.
Этот браузер больше не поддерживается.
Выполните обновление до Microsoft Edge, чтобы воспользоваться новейшими функциями, обновлениями для системы безопасности и технической поддержкой.
С помощью служба автоматизации Azure можно создавать скрипты, которые выполняются в облаке и управляют ресурсами Azure по запросу или на основе расписания. В этой статье описывается создание runbook с инструкциями PowerShell для создания и удаления кластеров Azure HDInsight.
В этом руководстве описано следующее:
Если у вас еще нет подписки Azure, создайте бесплатную учетную запись, прежде чем начинать работу.
Войдите на портал Azure.
Выберите учетные записи службы автоматизации.
В разделе "Общие ресурсы" выберите коллекцию modules.
Введите AzureRM.Profile в поле и нажмите клавишу ВВОД для поиска. Выберите полученный результат поиска.
На экране AzureRM.profile щелкните Импортировать. Установите флажок для обновления модулей Azure и нажмите кнопку "ОК".
Вернитесь в коллекцию модулей. В разделе "Общие ресурсы" выберите коллекцию modules.
Введите HDInsight и выберите AzureRM.HDInsight.
На панели AzureRM.HDInsight нажмите кнопку "Импорт>ОК".
Выберите Учетные данные в разделе Общие ресурсы.
Щелкните Добавить учетные данные.
Введите необходимые сведения на панели "Создать учетные данные ". Эти учетные данные используются для хранения пароля кластера. Вы используете его для входа в Ambari.
Свойство | Значение |
---|---|
Имя. | cluster-password |
User name | admin |
Пароль | SECURE_PASSWORD |
Подтверждение пароля | SECURE_PASSWORD |
Нажмите кнопку создания.
Повторите тот же процесс для нового пароля ssh-password с именем пользователя sshuser и паролем вашего выбора. Нажмите кнопку создания. Эти учетные данные используются для хранения пароля протокола Secure Shell для кластера.
В разделе Автоматизация процессов щелкните Модули Runbook.
Нажмите кнопку Создать Runbook.
В области создания модуля Runbook введите имя модуля Runbook, например hdinsight-cluster-create. Выберите PowerShell из раскрывающегося списка типов Runbook.
Нажмите кнопку создания.
Введите следующий код на экране "Изменить Runbook PowerShell" и нажмите кнопку "Опубликовать".
Param
(
[Parameter (Mandatory= $true)]
[String] $subscriptionID,
[Parameter (Mandatory= $true)]
[String] $resourceGroup,
[Parameter (Mandatory= $true)]
[String] $storageAccount,
[Parameter (Mandatory= $true)]
[String] $containerName,
[Parameter (Mandatory= $true)]
[String] $clusterName
)
### Authenticate to Azure
$Conn = Get-AutomationConnection -Name 'AzureRunAsConnection'
Add-AzureRMAccount -ServicePrincipal -Tenant $Conn.TenantID -ApplicationId $Conn.ApplicationID -CertificateThumbprint $Conn.CertificateThumbprint
# Set cluster variables
$storageAccountKey = (Get-AzureRmStorageAccountKey –Name $storageAccount –ResourceGroupName $resourceGroup)[0].value
# Setting cluster credentials
#Automation credential for Cluster Admin
$clusterCreds = Get-AutomationPSCredential –Name 'cluster-password'
#Automation credential for user to SSH into cluster
$sshCreds = Get-AutomationPSCredential –Name 'ssh-password'
$clusterType = "Hadoop" #Use any supported cluster type (Hadoop, HBase, etc.)
$clusterOS = "Linux"
$clusterWorkerNodes = 3
$clusterNodeSize = "Standard_D3_v2"
$location = Get-AzureRmStorageAccount –StorageAccountName $storageAccount –ResourceGroupName $resourceGroup | %{$_.Location}
### Provision HDInsight cluster
New-AzureRmHDInsightCluster –ClusterName $clusterName –ResourceGroupName $resourceGroup –Location $location –DefaultStorageAccountName "$storageAccount.blob.core.windows.net" –DefaultStorageAccountKey $storageAccountKey -DefaultStorageContainer $containerName –ClusterType $clusterType –OSType $clusterOS –Version “3.6” –HttpCredential $clusterCreds –SshCredential $sshCreds –ClusterSizeInNodes $clusterWorkerNodes –HeadNodeSize $clusterNodeSize –WorkerNodeSize $clusterNodeSize
В разделе Автоматизация процессов щелкните Модули Runbook.
Нажмите кнопку Создать Runbook.
В области создания модуля Runbook введите имя модуля Runbook, например hdinsight-cluster-delete. Выберите PowerShell из раскрывающегося списка типов Runbook.
Нажмите кнопку создания.
Введите следующий код на экране "Изменить Runbook PowerShell" и нажмите кнопку "Опубликовать".
Param
(
[Parameter (Mandatory= $true)]
[String] $clusterName
)
### Authenticate to Azure
$Conn = Get-AutomationConnection -Name 'AzureRunAsConnection'
Add-AzureRMAccount -ServicePrincipal -Tenant $Conn.TenantID -ApplicationId $Conn.ApplicationID -CertificateThumbprint $Conn.CertificateThumbprint
Remove-AzureRmHDInsightCluster -ClusterName $clusterName
В этом разделе объясняется, как запускать модули Runbook.
Просмотрите список модулей Runbook для учетной записи службы автоматизации. В разделе Автоматизация процессов щелкните Модули Runbook.
Выберите hdinsight-cluster-create или имя, которое вы использовали при создании модуля Runbook для создания кластера.
Нажмите кнопку "Пуск ", чтобы запустить модуль Runbook немедленно. Вы также можете настроить периодическое выполнение runbook. Дополнительные сведения см. в разделе "Планирование модуля Runbook" в службе автоматизации.
Введите необходимые параметры для скрипта и нажмите кнопку "ОК". На этом шаге создается новый кластер HDInsight с именем, указанным в параметре CLUSTERNAME .
Удалите кластер, выбрав созданный модуль Runbook hdinsight-cluster-delete . Нажмите кнопку "Пуск", введите параметр CLUSTERNAME и нажмите кнопку "ОК".
Если ресурс больше не нужен, удалите созданную учетную запись службы автоматизации, чтобы избежать непредвиденных расходов. Перейдите к портал Azure, выберите группу ресурсов, в которой вы создали учетную запись службы автоматизации, выберите учетную запись службы автоматизации и нажмите кнопку "Удалить".
Обучение
Сертификация
Сертифицировано майкрософт: помощник администратора Azure - Certifications
Демонстрация ключевых навыков для настройки, управления, защиты и администрирования ключевых профессиональных функций в Microsoft Azure.
Документация
Управление кластерами Azure HDInsight с помощью Azure CLI
Узнайте, как использовать Azure CLI для управления кластерами Azure HDInsight. Типы кластеров включают Apache Hadoop, Spark, HBase, Kafka, Интерактивный запрос.
Рекомендации по управлению кластером — Azure HDInsight
Ознакомьтесь с рекомендациями по управлению кластерами HDInsight.
Управление кластерами Apache Hadoop в HDInsight с помощью портала Azure
Сведения о том, как создавать кластеры Azure HDInsight и управлять ими с помощью портала Azure.