Add-AzureHDInsightConfigValues
Добавляет настройку значения конфигурации Hadoop или настройку общей библиотеки Hive в конфигурацию кластера HDInsight.
Примечание.
Командлеты, на которые ссылается эта документация, предназначены для управления устаревшими ресурсами Azure, используюющими API Azure Service Manager (ASM). Этот устаревший модуль PowerShell не рекомендуется при создании новых ресурсов, так как ASM планируется выйти на пенсию. Дополнительные сведения см. в статье о выходе на пенсию в Azure Service Manager.
Модуль Az PowerShell — это рекомендуемый модуль PowerShell для управления ресурсами Azure Resource Manager (ARM) с помощью PowerShell.
Синтаксис
Add-AzureHDInsightConfigValues
-Config <AzureHDInsightConfig>
[-Core <Hashtable>]
[-Yarn <Hashtable>]
[-Hdfs <Hashtable>]
[-Hive <AzureHDInsightHiveConfiguration>]
[-MapReduce <AzureHDInsightMapReduceConfiguration>]
[-Oozie <AzureHDInsightOozieConfiguration>]
[-Storm <Hashtable>]
[-Spark <Hashtable>]
[-HBase <AzureHDInsightHBaseConfiguration>]
[-Profile <AzureSMProfile>]
[<CommonParameters>] Описание
Эта версия Azure PowerShell HDInsight устарела. Эти командлеты будут удалены 1 января 2017 г. Используйте более новую версию Azure PowerShell HDInsight.
Сведения об использовании нового HDInsight для создания кластера см. в статье "Создание кластеров под управлением Linux в HDInsight с помощью Azure PowerShell". Сведения о том, как отправлять задания с помощью Azure PowerShell и других подходов, см. в статье "Отправка заданий Hadoop в HDInsight". Справочные сведения о Azure PowerShell HDInsight см. в разделе "Командлеты Azure HDInsight".
Командлет Add-AzureHDInsightConfigValues добавляет настройку значения конфигурации Hadoop, например Core-site.xml или Hive-site.xml, или настройку общей библиотеки Hive в конфигурацию кластера Azure HDInsight.
Командлет добавляет пользовательские значения конфигурации в указанный объект конфигурации. Пользовательские параметры добавляются в файлы конфигурации соответствующих служб Hadoop при развертывании кластера.
Примеры
Пример 1. Настройка кластера
PS C:\>$HiveConfigValues = New-Object 'Microsoft.WindowsAzure.Management.HDInsight.Cmdlet.DataObjects.AzureHDInsightHiveConfiguration'
PS C:\> $HiveConfigValues.Configuration = @{ hive.exec.compress.output = true }
PS C:\> $HiveConfigValues.AdditionalLibraries = New-Object 'Microsoft.WindowsAzure.Management.HDInsight.Cmdlet.DataObjects.AzureHDInsightDefaultStorageAccount'
PS C:\> $HiveConfigValues.AdditionalLibraries.StorageAccountName = "MyStorageAccount.blob.core.windows.net"
PS C:\> $HiveConfigValues.AdditionalLibraries.StorageAccountKey = (Get-AzureStorageKey -StorageAccountName "MyStorageAccount").Primary
PS C:\> $HiveConfigValues.AdditionalLibraries.StorageContainerName = "MySharedLibContainer"
PS C:\> $OozieConfigValues = New-Object 'Microsoft.WindowsAzure.Management.HDInsight.Cmdlet.DataObjects.AzureHDInsightOozieConfiguration'
PS C:\> $OozieConfigValues.Configuration = @{ hive.exec.compress.output = true }
PS C:\> $MapredConfigValues = New-Object 'Microsoft.WindowsAzure.Management.HDInsight.Cmdlet.DataObjects.AzureHDInsightMapReduceConfiguration'
PS C:\> $MapredConfigValues.Configuration = @{ mapred.map.max.attempts = 2 }
PS C:\> $MapredConfigValues.CapacitySchedulerConfiguration = @{ mapred.capacity-scheduler.init-poll-interval = 1000 }
PS C:\> $Config = New-AzureHDInsightClusterConfig -ClusterSizeInNodes 4
| Set-AzureHDInsightDefaultStorage -StorageAccountName MyStorageAccount.blob.core.windows.net -StorageAccountKey (Get-AzureStorageKey -StorageAccountName "MyStorageAccount").Primary -StorageContainerName "MyStorageContainer"
| Add-AzureHDInsightConfigValues -Core @{ io.file.buffer.size = 300000 } -MapReduce $MapredConfigValues -Hive $HiveConfigValues -Oozie $OozieConfigValues
PS C:\> $Config | New-AzureHDInsightCluster -Subscription $SubId -Credential $Creds -Name "MyCluster" -Location "North Europe"Первая команда создает новый объект AzureHDInsightHiveConfiguration , а затем сохраняет его в переменной $HiveConfigValues.
Следующие пять команд создают значения конфигурации для Hive и сохраняют эти значения как элементы $HiveConfigValues.
Седьмая команда создает объект AzureHDInsightOozieConfiguration , а затем сохраняет его в переменной $OozieConfigValues. Восьмая команда создает значение конфигурации для Oozie, а затем сохраняет эти значения в качестве члена $OozieConfigValues.
Девятая команда создает объект AzureHDInsightMapReduceConfiguration , а затем сохраняет его в переменной $MapredConfigValues. Следующие две команды создают значения конфигурации для MapReduce и сохраняют эти значения как элементы $MapredConfigValues.
Двенадцатая команда использует командлет New-AzureHDInsightClusterConfig для создания конфигурации кластера HDInsight, а затем сохраняет его в переменной $Config. Команда использует оператор конвейера для передачи $Config командлету Set-AzureHDInsightDefaultStorage для обновления параметра хранилища по умолчанию и командлета Add-AzureHDInsightConfigValues для добавления новых значений конфигурации в конфигурацию кластера.
Последняя команда использует оператор конвейера для передачи $Config командлету New-AzureHDInsightCluster для создания нового кластера HDInsight с настроенными параметрами.
Параметры
-Config
Указывает объект конфигурации, в который необходимо добавить конфигурацию Hadoop.
| Тип: | AzureHDInsightConfig |
| Position: | Named |
| Default value: | None |
| Обязательно: | True |
| Принять входные данные конвейера: | True |
| Принять подстановочные знаки: | False |
-Core
Задает набор значений конфигурации Hadoop для Core-site.xml.
| Тип: | Hashtable |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-HBase
Задает набор значений конфигурации HBase для Hbase-site.xml.
| Тип: | AzureHDInsightHBaseConfiguration |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-Hdfs
Задает набор значений конфигурации Hadoop для Hdfs-site.xml.
| Тип: | Hashtable |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-Hive
Задает объект настройки для службы Hadoop Hive, включая набор значений конфигурации Hadoop для Hive-site.xml и общих библиотек Hive.
| Тип: | AzureHDInsightHiveConfiguration |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-MapReduce
Задает объект настройки для MapReduce и планировщик емкости.
| Тип: | AzureHDInsightMapReduceConfiguration |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-Oozie
Задает объект настройки для службы Hadoop Oozie, включая набор значений конфигурации Hadoop для Oozie-site.xml.
| Тип: | AzureHDInsightOozieConfiguration |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-Profile
Указывает профиль Azure, из которого считывается этот командлет. Если профиль не указан, этот командлет считывается из локального профиля по умолчанию.
| Тип: | AzureSMProfile |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-Spark
Указывает объект настройки для Apache Spark.
| Тип: | Hashtable |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-Storm
Указывает объект настройки для Apache Storm.
| Тип: | Hashtable |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-Yarn
Задает объект настройки для Hadoop YARN, указав набор настраиваемых значений конфигурации YARN для Yarn-site.xml.
| Тип: | Hashtable |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |