Sdílet prostřednictvím

Add-AzureHDInsightConfigValues

  • Reference
Modul:
Azure

Přidá vlastní nastavení konfigurační hodnoty Hadoopu nebo vlastní nastavení sdílené knihovny Hive do konfigurace clusteru HDInsight.

Poznámka:

Rutiny, na které odkazuje tato dokumentace, slouží ke správě starších prostředků Azure, které používají rozhraní API Azure Service Manageru (ASM). Tento starší modul PowerShellu se nedoporučuje při vytváření nových prostředků, protože ASM je naplánované pro vyřazení z provozu. Další informace najdete v části Vyřazení Azure Service Manageru.

Modul Az PowerShell je doporučený modul PowerShellu pro správu prostředků Azure Resource Manageru (ARM) pomocí PowerShellu.

Syntax

Add-AzureHDInsightConfigValues
   -Config <AzureHDInsightConfig>
   [-Core <Hashtable>]
   [-Yarn <Hashtable>]
   [-Hdfs <Hashtable>]
   [-Hive <AzureHDInsightHiveConfiguration>]
   [-MapReduce <AzureHDInsightMapReduceConfiguration>]
   [-Oozie <AzureHDInsightOozieConfiguration>]
   [-Storm <Hashtable>]
   [-Spark <Hashtable>]
   [-HBase <AzureHDInsightHBaseConfiguration>]
   [-Profile <AzureSMProfile>]
   [<CommonParameters>]

Description

Tato verze Azure PowerShell HDInsight je zastaralá. Tyto rutiny budou odebrány do 1. ledna 2017. Použijte novější verzi služby Azure PowerShell HDInsight.

Informace o použití nové služby HDInsight k vytvoření clusteru najdete v tématu Vytváření clusterů založených na Linuxu ve službě HDInsight pomocí Azure PowerShellu. Informace o tom, jak odesílat úlohy pomocí Azure PowerShellu a dalších přístupů, najdete v tématu Odesílání úloh Hadoop ve službě HDInsight. Referenční informace o službě Azure PowerShell HDInsight najdete v tématu Rutiny Azure HDInsight.

Rutina Add-AzureHDInsightConfigValues přidá přizpůsobení konfigurační hodnoty Hadoopu, jako je Core-site.xml nebo Hive-site.xml, nebo vlastní nastavení sdílené knihovny Hive do konfigurace clusteru Azure HDInsight.

Rutina přidá vlastní hodnoty konfigurace do zadaného objektu konfigurace. Vlastní nastavení se při nasazení clusteru přidají do konfiguračních souborů příslušných služeb Hadoop.

Příklady

Příklad 1: Konfigurace clusteru

PS C:\>$HiveConfigValues = New-Object 'Microsoft.WindowsAzure.Management.HDInsight.Cmdlet.DataObjects.AzureHDInsightHiveConfiguration'
PS C:\> $HiveConfigValues.Configuration = @{ hive.exec.compress.output = true }
PS C:\> $HiveConfigValues.AdditionalLibraries = New-Object 'Microsoft.WindowsAzure.Management.HDInsight.Cmdlet.DataObjects.AzureHDInsightDefaultStorageAccount'
PS C:\> $HiveConfigValues.AdditionalLibraries.StorageAccountName = "MyStorageAccount.blob.core.windows.net"
PS C:\> $HiveConfigValues.AdditionalLibraries.StorageAccountKey = (Get-AzureStorageKey -StorageAccountName "MyStorageAccount").Primary
PS C:\> $HiveConfigValues.AdditionalLibraries.StorageContainerName = "MySharedLibContainer"
PS C:\> $OozieConfigValues = New-Object 'Microsoft.WindowsAzure.Management.HDInsight.Cmdlet.DataObjects.AzureHDInsightOozieConfiguration'
PS C:\> $OozieConfigValues.Configuration = @{ hive.exec.compress.output = true }
PS C:\> $MapredConfigValues = New-Object 'Microsoft.WindowsAzure.Management.HDInsight.Cmdlet.DataObjects.AzureHDInsightMapReduceConfiguration'
PS C:\> $MapredConfigValues.Configuration = @{ mapred.map.max.attempts = 2 }
PS C:\> $MapredConfigValues.CapacitySchedulerConfiguration = @{ mapred.capacity-scheduler.init-poll-interval = 1000 }
PS C:\> $Config = New-AzureHDInsightClusterConfig -ClusterSizeInNodes 4
    | Set-AzureHDInsightDefaultStorage -StorageAccountName MyStorageAccount.blob.core.windows.net -StorageAccountKey (Get-AzureStorageKey -StorageAccountName "MyStorageAccount").Primary -StorageContainerName "MyStorageContainer"
    | Add-AzureHDInsightConfigValues -Core @{ io.file.buffer.size = 300000 } -MapReduce $MapredConfigValues -Hive $HiveConfigValues -Oozie $OozieConfigValues
PS C:\> $Config | New-AzureHDInsightCluster -Subscription $SubId -Credential $Creds -Name "MyCluster" -Location "North Europe"

První příkaz vytvoří nový objekt AzureHDInsightHiveConfiguration a pak ho uloží do proměnné $HiveConfigValues.

Následujících pět příkazů vytvoří konfigurační hodnoty pro Hive a uloží je jako členy $HiveConfigValues.

Sedmý příkaz vytvoří objekt AzureHDInsightOozieConfiguration a pak ho uloží do proměnné $OozieConfigValues. Osmý příkaz vytvoří konfigurační hodnotu pro Oozie a pak uloží hodnoty jako člen $OozieConfigValues.

Devátý příkaz vytvoří objekt AzureHDInsightMapReduceConfiguration a pak ho uloží do proměnné $MapredConfigValues. Následující dva příkazy vytvoří konfigurační hodnoty pro MapReduce a uloží je jako členy $MapredConfigValues.

Dvanáctý příkaz pomocí rutiny New-AzureHDInsightClusterConfig vytvoří konfiguraci clusteru HDInsight a pak ji uloží do proměnné $Config. Příkaz pomocí operátoru kanálu předává $Config rutině Set-AzureHDInsightDefaultStorage k aktualizaci výchozího nastavení úložiště a rutině Add-AzureHDInsightConfigValues pro přidání nových konfiguračních hodnot do konfigurace clusteru.

Poslední příkaz pomocí operátoru kanálu předává $Config rutině New-AzureHDInsightCluster k vytvoření nového clusteru HDInsight s přizpůsobeným nastavením.

Parametry

-Config

Určuje objekt konfigurace, do kterého chcete přidat konfiguraci Hadoop.

Typ:AzureHDInsightConfig
Position:Named
výchozí hodnota:None
Vyžadováno:True
Accept pipeline input:True
Accept wildcard characters:False

-Core

Určuje sadu hodnot konfigurace Systému Hadoop pro Core-site.xml.

Typ:Hashtable
Position:Named
výchozí hodnota:None
Vyžadováno:False
Accept pipeline input:False
Accept wildcard characters:False

-HBase

Určuje sadu hodnot konfigurace HBase pro Hbase-site.xml.

Typ:AzureHDInsightHBaseConfiguration
Position:Named
výchozí hodnota:None
Vyžadováno:False
Accept pipeline input:False
Accept wildcard characters:False

-Hdfs

Určuje sadu hodnot konfigurace Systému Hadoop pro Hdfs-site.xml.

Typ:Hashtable
Position:Named
výchozí hodnota:None
Vyžadováno:False
Accept pipeline input:False
Accept wildcard characters:False

-Hive

Určuje objekt přizpůsobení pro službu Hadoop Hive, včetně sady konfiguračních hodnot Systému Hadoop pro sdílené knihovny Hive-site.xml a Hive.

Typ:AzureHDInsightHiveConfiguration
Position:Named
výchozí hodnota:None
Vyžadováno:False
Accept pipeline input:False
Accept wildcard characters:False

-MapReduce

Určuje objekt přizpůsobení pro MapReduce a plánovač kapacity.

Typ:AzureHDInsightMapReduceConfiguration
Position:Named
výchozí hodnota:None
Vyžadováno:False
Accept pipeline input:False
Accept wildcard characters:False

-Oozie

Určuje objekt přizpůsobení pro službu Hadoop Oozie, včetně sady konfiguračních hodnot Hadoop pro Oozie-site.xml.

Typ:AzureHDInsightOozieConfiguration
Position:Named
výchozí hodnota:None
Vyžadováno:False
Accept pipeline input:False
Accept wildcard characters:False

-Profile

Určuje profil Azure, ze kterého se tato rutina čte. Pokud nezadáte profil, tato rutina načte z místního výchozího profilu.

Typ:AzureSMProfile
Position:Named
výchozí hodnota:None
Vyžadováno:False
Accept pipeline input:False
Accept wildcard characters:False

-Spark

Určuje objekt přizpůsobení pro Apache Spark.

Typ:Hashtable
Position:Named
výchozí hodnota:None
Vyžadováno:False
Accept pipeline input:False
Accept wildcard characters:False

-Storm

Určuje objekt přizpůsobení pro Apache Storm.

Typ:Hashtable
Position:Named
výchozí hodnota:None
Vyžadováno:False
Accept pipeline input:False
Accept wildcard characters:False

-Yarn

Určuje objekt přizpůsobení pro Hadoop YARN určující sadu přizpůsobených konfiguračních hodnot YARN pro Yarn-site.xml.

Typ:Hashtable
Position:Named
výchozí hodnota:None
Vyžadováno:False
Accept pipeline input:False
Accept wildcard characters:False