New-AzHDInsightCluster
Crée un cluster Azure HDInsight dans le groupe de ressources spécifié pour l’abonnement actuel.
Syntax
New-AzHDInsightCluster
[-Location] <String>
[-ResourceGroupName] <String>
[-ClusterName] <String>
[-ClusterSizeInNodes] <Int32>
[-HttpCredential] <PSCredential>
[[-StorageAccountResourceId] <String>]
[[-StorageAccountKey] <String>]
[-StorageAccountType <StorageType>]
[-Config <AzureHDInsightConfig>]
[-OozieMetastore <AzureHDInsightMetastore>]
[-HiveMetastore <AzureHDInsightMetastore>]
[-AmbariDatabase <AzureHDInsightMetastore>]
[-AdditionalStorageAccounts <System.Collections.Generic.Dictionary`2[System.String,System.String]>]
[-Configurations <System.Collections.Generic.Dictionary`2[System.String,System.Collections.Generic.Dictionary`2[System.String,System.String]]>]
[-ScriptActions <System.Collections.Generic.Dictionary`2[Microsoft.Azure.Management.HDInsight.Models.ClusterNodeType,System.Collections.Generic.List`1[Microsoft.Azure.Commands.HDInsight.Models.Management.AzureHDInsightScriptAction]]>]
[-StorageContainer <String>]
[-StorageRootPath <String>]
[-StorageFileSystem <String>]
[-Version <String>]
[-HeadNodeSize <String>]
[-WorkerNodeSize <String>]
[-EdgeNodeSize <String>]
[-KafkaManagementNodeSize <String>]
[-ZookeeperNodeSize <String>]
[-ClusterType <String>]
[-ComponentVersion <System.Collections.Generic.Dictionary`2[System.String,System.String]>]
[-VirtualNetworkId <String>]
[-SubnetName <String>]
[-OSType <String>]
[-ClusterTier <String>]
[-SshCredential <PSCredential>]
[-SshPublicKey <String>]
[-ObjectId <Guid>]
[-ApplicationId <Guid>]
[-CertificatePassword <String>]
[-AadTenantId <Guid>]
[-SecurityProfile <AzureHDInsightSecurityProfile>]
[-DisksPerWorkerNode <Int32>]
[-MinSupportedTlsVersion <String>]
[-AssignedIdentity <String>]
[-StorageAccountManagedIdentity <String>]
[-EncryptionAlgorithm <String>]
[-EncryptionKeyName <String>]
[-EncryptionKeyVersion <String>]
[-EncryptionVaultUri <String>]
[-EncryptionInTransit <Boolean>]
[-EncryptionAtHost <Boolean>]
[-AutoscaleConfiguration <AzureHDInsightAutoscale>]
[-EnableIDBroker]
[-KafkaClientGroupId <String>]
[-KafkaClientGroupName <String>]
[-ResourceProviderConnection <String>]
[-PrivateLink <String>]
[-EnableComputeIsolation]
[-ComputeIsolationHostSku <String>]
[-Zone <String[]>]
[-PrivateLinkConfiguration <AzureHDInsightPrivateLinkConfiguration[]>]
[-DefaultProfile <IAzureContextContainer>]
[<CommonParameters>]
New-AzHDInsightCluster
[-Location] <String>
[-ResourceGroupName] <String>
[-ClusterName] <String>
[-ClusterSizeInNodes] <Int32>
[-HttpCredential] <PSCredential>
[[-StorageAccountResourceId] <String>]
[[-StorageAccountKey] <String>]
[-StorageAccountType <StorageType>]
[-Config <AzureHDInsightConfig>]
[-OozieMetastore <AzureHDInsightMetastore>]
[-HiveMetastore <AzureHDInsightMetastore>]
[-AmbariDatabase <AzureHDInsightMetastore>]
[-AdditionalStorageAccounts <System.Collections.Generic.Dictionary`2[System.String,System.String]>]
[-Configurations <System.Collections.Generic.Dictionary`2[System.String,System.Collections.Generic.Dictionary`2[System.String,System.String]]>]
[-ScriptActions <System.Collections.Generic.Dictionary`2[Microsoft.Azure.Management.HDInsight.Models.ClusterNodeType,System.Collections.Generic.List`1[Microsoft.Azure.Commands.HDInsight.Models.Management.AzureHDInsightScriptAction]]>]
[-StorageContainer <String>]
[-StorageRootPath <String>]
[-StorageFileSystem <String>]
[-Version <String>]
[-HeadNodeSize <String>]
[-WorkerNodeSize <String>]
[-EdgeNodeSize <String>]
[-KafkaManagementNodeSize <String>]
[-ZookeeperNodeSize <String>]
[-ClusterType <String>]
[-ComponentVersion <System.Collections.Generic.Dictionary`2[System.String,System.String]>]
[-VirtualNetworkId <String>]
[-SubnetName <String>]
[-OSType <String>]
[-ClusterTier <String>]
[-SshCredential <PSCredential>]
[-SshPublicKey <String>]
[-ObjectId <Guid>]
[-ApplicationId <Guid>]
[-CertificateFilePath <String>]
[-CertificatePassword <String>]
[-AadTenantId <Guid>]
[-SecurityProfile <AzureHDInsightSecurityProfile>]
[-DisksPerWorkerNode <Int32>]
[-MinSupportedTlsVersion <String>]
[-AssignedIdentity <String>]
[-StorageAccountManagedIdentity <String>]
[-EncryptionAlgorithm <String>]
[-EncryptionKeyName <String>]
[-EncryptionKeyVersion <String>]
[-EncryptionVaultUri <String>]
[-EncryptionInTransit <Boolean>]
[-EncryptionAtHost <Boolean>]
[-AutoscaleConfiguration <AzureHDInsightAutoscale>]
[-EnableIDBroker]
[-KafkaClientGroupId <String>]
[-KafkaClientGroupName <String>]
[-ResourceProviderConnection <String>]
[-PrivateLink <String>]
[-EnableComputeIsolation]
[-ComputeIsolationHostSku <String>]
[-Zone <String[]>]
[-PrivateLinkConfiguration <AzureHDInsightPrivateLinkConfiguration[]>]
[-DefaultProfile <IAzureContextContainer>]
[<CommonParameters>]
New-AzHDInsightCluster
[-Location] <String>
[-ResourceGroupName] <String>
[-ClusterName] <String>
[-ClusterSizeInNodes] <Int32>
[-HttpCredential] <PSCredential>
[[-StorageAccountResourceId] <String>]
[[-StorageAccountKey] <String>]
[-StorageAccountType <StorageType>]
[-Config <AzureHDInsightConfig>]
[-OozieMetastore <AzureHDInsightMetastore>]
[-HiveMetastore <AzureHDInsightMetastore>]
[-AmbariDatabase <AzureHDInsightMetastore>]
[-AdditionalStorageAccounts <System.Collections.Generic.Dictionary`2[System.String,System.String]>]
[-Configurations <System.Collections.Generic.Dictionary`2[System.String,System.Collections.Generic.Dictionary`2[System.String,System.String]]>]
[-ScriptActions <System.Collections.Generic.Dictionary`2[Microsoft.Azure.Management.HDInsight.Models.ClusterNodeType,System.Collections.Generic.List`1[Microsoft.Azure.Commands.HDInsight.Models.Management.AzureHDInsightScriptAction]]>]
[-StorageContainer <String>]
[-StorageRootPath <String>]
[-StorageFileSystem <String>]
[-Version <String>]
[-HeadNodeSize <String>]
[-WorkerNodeSize <String>]
[-EdgeNodeSize <String>]
[-KafkaManagementNodeSize <String>]
[-ZookeeperNodeSize <String>]
[-ClusterType <String>]
[-ComponentVersion <System.Collections.Generic.Dictionary`2[System.String,System.String]>]
[-VirtualNetworkId <String>]
[-SubnetName <String>]
[-OSType <String>]
[-ClusterTier <String>]
[-SshCredential <PSCredential>]
[-SshPublicKey <String>]
[-ObjectId <Guid>]
[-ApplicationId <Guid>]
[-CertificateFileContents <Byte[]>]
[-CertificatePassword <String>]
[-AadTenantId <Guid>]
[-SecurityProfile <AzureHDInsightSecurityProfile>]
[-DisksPerWorkerNode <Int32>]
[-MinSupportedTlsVersion <String>]
[-AssignedIdentity <String>]
[-StorageAccountManagedIdentity <String>]
[-EncryptionAlgorithm <String>]
[-EncryptionKeyName <String>]
[-EncryptionKeyVersion <String>]
[-EncryptionVaultUri <String>]
[-EncryptionInTransit <Boolean>]
[-EncryptionAtHost <Boolean>]
[-AutoscaleConfiguration <AzureHDInsightAutoscale>]
[-EnableIDBroker]
[-KafkaClientGroupId <String>]
[-KafkaClientGroupName <String>]
[-ResourceProviderConnection <String>]
[-PrivateLink <String>]
[-EnableComputeIsolation]
[-ComputeIsolationHostSku <String>]
[-Zone <String[]>]
[-PrivateLinkConfiguration <AzureHDInsightPrivateLinkConfiguration[]>]
[-DefaultProfile <IAzureContextContainer>]
[<CommonParameters>]
Description
New-AzHDInsightCluster crée un cluster Azure HDInsight à l’aide des paramètres spécifiés ou à l’aide d’un objet de configuration créé à l’aide de l’applet de commande New-AzHDInsightClusterConfig.
L’applet de commande peut appeler sous l’API Microsoft Graph en fonction des paramètres d’entrée :
- GET /servicePrincipals/{id}
Exemples
Exemple 1 : Créer un cluster Azure HDInsight
# Primary storage account info
$storageAccountResourceGroupName = "Group"
$storageAccountResourceId = "yourstorageaccountresourceid"
$storageAccountName = "yourstorageacct001"
$storageAccountKey = Get-AzStorageAccountKey `
-ResourceGroupName $storageAccountResourceGroupName `
-Name $storageAccountName | Where-Object {$_.KeyName -eq "key1"} | ForEach-Object{$_.Value}
$storageContainer = "container002"
# Cluster configuration info
$location = "East US 2"
$clusterResourceGroupName = "Group"
$clusterName = "your-hadoop-002"
$clusterCreds = Get-Credential
# If the cluster's resource group doesn't exist yet, run:
# New-AzResourceGroup -Name $clusterResourceGroupName -Location $location
# Create the cluster
New-AzHDInsightCluster `
-ClusterType Hadoop `
-ClusterSizeInNodes 4 `
-ResourceGroupName $clusterResourceGroupName `
-ClusterName $clusterName `
-HttpCredential $clusterCreds `
-Location $location `
-StorageAccountResourceId $storageAccountResourceId `
-StorageAccountKey $storageAccountKey `
-StorageContainer $storageContainer `
-SshCredential $clusterCreds
Cette commande crée un cluster dans l’abonnement actuel.
Exemple 2 : Créer un cluster avec chiffrement de disque de clé gérée par le client
# Primary storage account info
$storageAccountResourceGroupName = "Group"
$storageAccountResourceId = "yourstorageaccountresourceid"
$storageAccountName = "yourstorageacct001"
$storageAccountKey = Get-AzStorageAccountKey `
-ResourceGroupName $storageAccountResourceGroupName `
-Name $storageAccountName | Where-Object {$_.KeyName -eq "key1"} | ForEach-Object{$_.Value}
$storageContainer = "container002"
# Cluster configuration info
$location = "East US 2"
$clusterResourceGroupName = "Group"
$clusterName = "your-cmk-cluster"
$clusterCreds = Get-Credential
# Customer-managed Key info
$assignedIdentity = "your-ami-resource-id"
$encryptionKeyName = "new-key"
$encryptionVaultUri = "https://MyKeyVault.vault.azure.net"
$encryptionKeyVersion = "00000000000000000000000000000000"
# If the cluster's resource group doesn't exist yet, run:
# New-AzResourceGroup -Name $clusterResourceGroupName -Location $location
# Create the cluster
New-AzHDInsightCluster `
-ClusterType Spark `
-ClusterSizeInNodes 4 `
-ResourceGroupName $clusterResourceGroupName `
-ClusterName $clusterName `
-HttpCredential $clusterCreds `
-Location $location `
-StorageAccountResourceId $storageAccountResourceId `
-StorageAccountKey $storageAccountKey `
-StorageContainer $storageContainer `
-SshCredential $clusterCreds `
-AssignedIdentity $assignedIdentity `
-EncryptionKeyName $encryptionKeyName `
-EncryptionVaultUri $encryptionVaultUri `
-EncryptionKeyVersion $encryptionKeyVersion
Exemple 3 : Créer un cluster Azure HDInsight qui active le chiffrement en transit
# Primary storage account info
$storageAccountResourceGroupName = "Group"
$storageAccountResourceId = "yourstorageaccountresourceid"
$storageAccountName = "yourstorageacct001"
$storageAccountKey = Get-AzStorageAccountKey `
-ResourceGroupName $storageAccountResourceGroupName `
-Name $storageAccountName | Where-Object {$_.KeyName -eq "key1"} | ForEach-Object{$_.Value}
$storageContainer = "container002"
# Cluster configuration info
$location = "East US 2"
$clusterResourceGroupName = "Group"
$clusterName = "your-hadoop-002"
$clusterCreds = Get-Credential
# If the cluster's resource group doesn't exist yet, run:
# New-AzResourceGroup -Name $clusterResourceGroupName -Location $location
# Create the cluster
New-AzHDInsightCluster `
-ClusterType Hadoop `
-ClusterSizeInNodes 4 `
-ResourceGroupName $clusterResourceGroupName `
-ClusterName $clusterName `
-HttpCredential $clusterCreds `
-Location $location `
-StorageAccountResourceId $storageAccountResourceId `
-StorageAccountKey $storageAccountKey `
-StorageContainer $storageContainer `
-SshCredential $clusterCreds `
-EncryptionInTransit $true
Exemple 4 : Créer un cluster Azure HDInsight avec une fonctionnalité de liaison sortante et privée de relais
# Primary storage account info
$storageAccountResourceGroupName = "Group"
$storageAccountResourceId = "yourstorageaccountresourceid"
$storageAccountName = "yourstorageacct001"
$storageAccountKey = Get-AzStorageAccountKey `
-ResourceGroupName $storageAccountResourceGroupName `
-Name $storageAccountName | Where-Object {$_.KeyName -eq "key1"} | ForEach-Object{$_.Value}
$storageContainer = "container002"
# Cluster configuration info
$location = "East US 2"
$clusterResourceGroupName = "Group"
$clusterName = "your-hadoop-002"
$clusterCreds = Get-Credential
# If the cluster's resource group doesn't exist yet, run:
# New-AzResourceGroup -Name $clusterResourceGroupName -Location $location
# Virtual network info
$virtualNetworkId="yourvnetresourceid"
$subnetName="yoursubnetname"
# Create the cluster
New-AzHDInsightCluster `
-ClusterType Hadoop `
-ClusterSizeInNodes 4 `
-ResourceGroupName $clusterResourceGroupName `
-ClusterName $clusterName `
-HttpCredential $clusterCreds `
-Location $location `
-StorageAccountResourceId $storageAccountResourceId `
-StorageAccountKey $storageAccountKey `
-StorageContainer $storageContainer `
-SshCredential $clusterCreds `
-VirtualNetworkId $virtualNetworkId -SubnetName $subnetName `
-ResourceProviderConnection Outbound -PrivateLink Enabled
Exemple 5 : Créer un cluster Azure HDInsight qui active le chiffrement sur l’hôte
# Primary storage account info
$storageAccountResourceGroupName = "Group"
$storageAccountResourceId = "yourstorageaccountresourceid"
$storageAccountName = "yourstorageacct001"
$storageAccountKey = Get-AzStorageAccountKey `
-ResourceGroupName $storageAccountResourceGroupName `
-Name $storageAccountName | Where-Object {$_.KeyName -eq "key1"} | ForEach-Object{$_.Value}
$storageContainer = "container002"
# Cluster configuration info
$location = "East US 2"
$clusterResourceGroupName = "Group"
$clusterName = "your-hadoop-002"
$clusterCreds = Get-Credential
# If the cluster's resource group doesn't exist yet, run:
# New-AzResourceGroup -Name $clusterResourceGroupName -Location $location
# Create the cluster
New-AzHDInsightCluster `
-ClusterType Hadoop `
-ClusterSizeInNodes 4 `
-ResourceGroupName $clusterResourceGroupName `
-ClusterName $clusterName `
-HttpCredential $clusterCreds `
-Location $location `
-StorageAccountResourceId $storageAccountResourceId `
-StorageAccountKey $storageAccountKey `
-StorageContainer $storageContainer `
-SshCredential $clusterCreds `
-EncryptionAtHost $true
Exemple 6 : Créez un cluster Azure HDInsight qui active la mise à l’échelle automatique.
# Primary storage account info
$storageAccountResourceGroupName = "Group"
$storageAccountResourceId = "yourstorageaccountresourceid"
$storageAccountName = "yourstorageacct001"
$storageAccountKey = Get-AzStorageAccountKey `
-ResourceGroupName $storageAccountResourceGroupName `
-Name $storageAccountName | Where-Object {$_.KeyName -eq "key1"} | ForEach-Object{$_.Value}
$storageContainer = "container002"
# Cluster configuration info
$location = "East US 2"
$clusterResourceGroupName = "Group"
$clusterName = "your-hadoop-002"
$clusterCreds = Get-Credential
# If the cluster's resource group doesn't exist yet, run:
# New-AzResourceGroup -Name $clusterResourceGroupName -Location $location
# Create autoscale configuration
$autoscaleConfiguration=New-AzHDInsightClusterAutoscaleConfiguration `
-MinWorkerNodeCount 3 -MaxWorkerNodeCount 5
# Create the cluster
New-AzHDInsightCluster `
-ClusterType Hadoop `
-ClusterSizeInNodes 4 `
-ResourceGroupName $clusterResourceGroupName `
-ClusterName $clusterName `
-HttpCredential $clusterCreds `
-Location $location `
-StorageAccountResourceId $storageAccountResourceId `
-StorageAccountKey $storageAccountKey `
-StorageContainer $storageContainer `
-SshCredential $clusterCreds `
-AutoscaleConfiguration $autoscaleConfiguration
Exemple 7 : Créez un cluster Azure HDInsight avec le proxy rest Kafka.
# Primary storage account info
$storageAccountResourceGroupName = "Group"
$storageAccountResourceId = "yourstorageaccountresourceid"
$storageAccountName = "yourstorageacct001"
$storageAccountKey = Get-AzStorageAccountKey `
-ResourceGroupName $storageAccountResourceGroupName `
-Name $storageAccountName | Where-Object {$_.KeyName -eq "key1"} | ForEach-Object{$_.Value}
$storageContainer = "container002"
# Cluster configuration info
$location = "East US 2"
$clusterResourceGroupName = "Group"
$clusterName = "your-hadoop-002"
$clusterCreds = Get-Credential
# If the cluster's resource group doesn't exist yet, run:
# New-AzResourceGroup -Name $clusterResourceGroupName -Location $location
# Kafka Rest Proxy configuration info
$kafkaClientGroupName = "yourclientgroupname"
$kafkaClientGroupId = "yourclientgroupid"
$kafkaManagementNodeSize = "Standard_D4_v2"
$disksPerWorkerNode = 2
# Create the cluster
New-AzHDInsightCluster `
-ClusterType Kafka `
-ClusterSizeInNodes 4 `
-ResourceGroupName $clusterResourceGroupName `
-ClusterName $clusterName `
-HttpCredential $clusterCreds `
-Location $location `
-StorageAccountResourceId $storageAccountResourceId `
-StorageAccountKey $storageAccountKey `
-StorageContainer $storageContainer `
-SshCredential $clusterCreds `
-KafkaClientGroupId $kafkaClientGroupId -KafkaClientGroupName $kafkaClientGroupName `
-KafkaManagementNodeSize $kafkaManagementNodeSize -DisksPerWorkerNode $disksPerWorkerNode
Exemple 8 : Créez un cluster Azure HDInsight avec stockage Azure Data Lake Gen2.
# Primary storage account info
$storageAccountResourceGroupName = "Group"
$storageAccountResourceId = "yourstorageaccountresourceid"
$storageManagedIdentity = "yourstorageusermanagedidentity"
$storageFileSystem = "filesystem01"
$storageAccountType = "AzureDataLakeStorageGen2"
# Cluster configuration info
$location = "East US 2"
$clusterResourceGroupName = "Group"
$clusterName = "your-hadoop-002"
$clusterCreds = Get-Credential
# If the cluster's resource group doesn't exist yet, run:
# New-AzResourceGroup -Name $clusterResourceGroupName -Location $location
# Create the cluster
New-AzHDInsightCluster `
-ClusterType Hadoop `
-ClusterSizeInNodes 3 `
-ResourceGroupName $clusterResourceGroupName `
-ClusterName $clusterName `
-HttpCredential $clusterCreds `
-Location $location `
-StorageAccountResourceId $storageAccountResourceId `
-StorageAccountManagedIdentity $storageManagedIdentity `
-StorageFileSystem $storageFileSystem `
-StorageAccountType $storageAccountType `
-SshCredential $clusterCreds
Exemple 9 : Créez un cluster Azure HDInsight avec Enterprise Security Package(ESP) et activez hdInsight ID Broker.
# Primary storage account info
$storageAccountResourceGroupName = "Group"
$storageAccountResourceId = "yourstorageaccountresourceid"
$storageAccountKey = "yourstorageaccountaccesskey"
$storageContainer = "yourcontainer01"
# Cluster configuration info
$location = "East US 2"
$clusterResourceGroupName = "Group"
$clusterName = "your-hadoop-002"
$clusterCreds = Get-Credential
# If the cluster's resource group doesn't exist yet, run:
# New-AzResourceGroup -Name $clusterResourceGroupName -Location $location
# ESP configuration
$domainResourceId = "your Azure AD Domin Service resource id"
$domainUser = "yourdomainuser"
$domainPassword = "yourdoaminpasswd"
$domainPassword = ConvertTo-SecureString $domainPassword -AsPlainText -Force
$domainCredential = New-Object System.Management.Automation.PSCredential($domainUser, $domainPassword)
$clusterUserGroupDns = "dominusergroup"
$ldapUrls = "ldaps://{your domain name}:636"
$clusterTier = "Premium"
$vnetId = "yourvnetid"
$subnetName = "yoursubnetname"
$assignedIdentity = "your user managed assigned identity resourcee id"
#Create security profile
$config= New-AzHDInsightClusterConfig|Add-AzHDInsightSecurityProfile -DomainResourceId $domainResourceId -DomainUserCredential $domainCredential -LdapsUrls $ldapUrls -ClusterUsersGroupDNs $clusterUserGroupDns
# Create the cluster
New-AzHDInsightCluster `
-ClusterTier $clusterTier `
-ClusterType Hadoop `
-ClusterSizeInNodes 3 `
-ResourceGroupName $clusterResourceGroupName `
-ClusterName $clusterName `
-HttpCredential $clusterCreds `
-Location $location `
-StorageAccountResourceId $storageAccountResourceId `
-StorageAccountKey $storageAccountKey `
-StorageContainer $storageContainer `
-SshCredential $clusterCreds `
-VirtualNetworkId $vnetId -SubnetName $subnetName `
-AssignedIdentity $assignedIdentity `
-SecurityProfile $config.SecurityProfile -EnableIDBroker
Exemple 10 : Créez un cluster Azure HDInsight qui permet l’isolation du calcul.
# Primary storage account info
$storageAccountResourceGroupName = "Group"
$storageAccountResourceId = "yourstorageaccountresourceid"
$storageAccountName = "yourstorageacct001"
$storageAccountKey = Get-AzStorageAccountKey `
-ResourceGroupName $storageAccountResourceGroupName `
-Name $storageAccountName | Where-Object {$_.KeyName -eq "key1"} | ForEach-Object{$_.Value}
$storageContainer = "container002"
# Cluster configuration info
$location = "East US 2"
$clusterResourceGroupName = "Group"
$clusterName = "your-hadoop-002"
$clusterCreds = Get-Credential
$workerNodeSize="Standard_E16S_V3" # here is just an example
$headNodeSize="Standard_E8S_V3"
$zookeeperNodeSize="Standard_E2S_V3"
# If the cluster's resource group doesn't exist yet, run:
# New-AzResourceGroup -Name $clusterResourceGroupName -Location $location
# Create the cluster
New-AzHDInsightCluster `
-ClusterType Hadoop `
-ClusterSizeInNodes 4 `
-WorkerNodeSize $workerNodeSize `
-HeadNodeSize $headNodeSize `
-ZookeeperNodeSize $zookeeperNodeSize `
-ResourceGroupName $clusterResourceGroupName `
-ClusterName $clusterName `
-HttpCredential $clusterCreds `
-Location $location `
-StorageAccountResourceId $storageAccountResourceId `
-StorageAccountKey $storageAccountKey `
-StorageContainer $storageContainer `
-SshCredential $clusterCreds `
-EnableComputeIsolation
Exemple 11 : Créer un cluster Azure HDInsight avec une fonctionnalité de configuration de liaison privée
# Primary storage account info
$storageAccountResourceGroupName = "Group"
$storageAccountResourceId = "yourstorageaccountresourceid"
$storageAccountName = "yourstorageacct001"
$storageAccountKey = Get-AzStorageAccountKey `
-ResourceGroupName $storageAccountResourceGroupName `
-Name $storageAccountName | Where-Object {$_.KeyName -eq "key1"} | ForEach-Object{$_.Value}
$storageContainer = "container002"
# Cluster configuration info
$location = "East US 2"
$clusterResourceGroupName = "Group"
$clusterName = "your-hadoop-002"
$clusterCreds = Get-Credential
# If the cluster's resource group doesn't exist yet, run:
# New-AzResourceGroup -Name $clusterResourceGroupName -Location $location
# Virtual network info
$virtualNetworkId="yourvnetresourceid"
$subnetName="yoursubnetname"
$ipConfigName="ipconfig"
$privateIPAllocationMethod="dynamic" # the only supported IP allocation method for private link IP configuration is dynamic
$subnetId=$vnetId+"/subnets/"+$subnetName
# Create Private IP configuration
$ipConfiguration= New-AzHDInsightIPConfiguration -Name $ipConfigName -PrivateIPAllocationMethod $privateIPAllocationMethod -SubnetId $subnetId -Primary
$privateLinkConfigurationName="plconfig"
$groupId="headnode"
# Create private link configuration
$privateLinkConfiguration= New-AzHDInsightPrivateLinkConfiguration -Name $privateLinkConfigurationName -GroupId $groupId -IPConfiguration $ipConfiguration
# Create the cluster
New-AzHDInsightCluster `
-ClusterType Hadoop `
-ClusterSizeInNodes 4 `
-ResourceGroupName $clusterResourceGroupName `
-ClusterName $clusterName `
-HttpCredential $clusterCreds `
-Location $location `
-StorageAccountResourceId $storageAccountResourceId `
-StorageAccountKey $storageAccountKey `
-StorageContainer $storageContainer `
-SshCredential $clusterCreds `
-VirtualNetworkId $virtualNetworkId -SubnetName $subnetName `
-ResourceProviderConnection Outbound -PrivateLink Enabled -PrivateLinkConfiguration $privateLinkConfiguration
Exemple 12 : Créer une fonctionnalité de disponibilité de cluster Azure HDInsight
# Primary storage account info
$storageAccountResourceGroupName = "Group"
$storageAccountResourceId = "yourstorageaccountresourceid"
$storageAccountName = "yourstorageacct001"
$storageAccountKey = Get-AzStorageAccountKey `
-ResourceGroupName $storageAccountResourceGroupName `
-Name $storageAccountName | Where-Object {$_.KeyName -eq "key1"} | ForEach-Object{$_.Value}
$storageContainer = "container002"
# Cluster configuration info
$location = "East US 2"
$clusterResourceGroupName = "Group"
$clusterName = "your-hadoop-002"
$clusterCreds = Get-Credential
# If the cluster's resource group doesn't exist yet, run:
# New-AzResourceGroup -Name $clusterResourceGroupName -Location $location
# Virtual network info
$virtualNetworkId="yourvnetresourceid"
$subnetName="yoursubnetname"
$databaseUserName="yourusername"
$databasePassword="******"
$databasePassword=ConvertTo-SecureString $databasePassword -AsPlainText -Force
$sqlserverCredential=New-Object System.Management.Automation.PSCredential($databaseUserName, $databasePassword)
$sqlserver="yoursqlserver.database.windows.net"
$ambariDatabase="ambaridb"
$hiveDatabase ="hivedb"
$oozieDatabase = "ooziedb"
# availability zone feature requires customer ambari database, hive metatastore and oozie metastore
# Create Ambari database
$config=New-AzHDInsightClusterConfig|Add-AzHDInsightMetastore `
-SqlAzureServerName $sqlserver -DatabaseName $ambariDatabase `
-Credential $sqlserverCredential -MetastoreType AmbariDatabase
# Create Hive metastore
$config=$config|Add-AzHDInsightMetastore `
-SqlAzureServerName $sqlserver -DatabaseName $hiveDatabase `
-Credential $sqlserverCredential -MetastoreType HiveMetastore
# Create Oozie metastore
$config=$config|Add-AzHDInsightMetastore `
-SqlAzureServerName $sqlserver -DatabaseName $oozieDatabase `
-Credential $sqlserverCredential -MetastoreType OozieMetastore
# availability zones
$zones="1"
# Create the cluster
New-AzHDInsightCluster `
-ClusterType Hadoop `
-ClusterSizeInNodes 4 `
-ResourceGroupName $clusterResourceGroupName `
-ClusterName $clusterName `
-HttpCredential $clusterCreds `
-Location $location `
-StorageAccountResourceId $storageAccountResourceId `
-StorageAccountKey $storageAccountKey `
-StorageContainer $storageContainer `
-SshCredential $clusterCreds `
-VirtualNetworkId $virtualNetworkId -SubnetName $subnetName `
-AmbariDatabase $config.AmbariDatabase -HiveMetastore $config.HiveMetastore -OozieMetastore $config.OozieMetastore -Zone $zones
Paramètres
-AadTenantId
Spécifie l’ID de locataire Microsoft Entra qui sera utilisé lors de l’accès à Azure Data Lake Store.
Type: | Guid |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-AdditionalStorageAccounts
Spécifie les comptes Stockage Azure supplémentaires pour le cluster. Vous pouvez également utiliser l’applet de commande Add-AzHDInsight Stockage.
Type: | Dictionary<TKey,TValue>[System.String,System.String] |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-AmbariDatabase
Obtient ou définit la base de données pour ambari.
Type: | AzureHDInsightMetastore |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-ApplicationId
Obtient ou définit l’ID d’application du principal de service pour accéder à Azure Data Lake.
Type: | Guid |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-AssignedIdentity
Obtient ou définit l’identité affectée.
Type: | String |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-AutoscaleConfiguration
Obtient ou définit la configuration de la mise à l’échelle automatique
Type: | AzureHDInsightAutoscale |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-CertificateFileContents
Spécifie le contenu du fichier du certificat qui sera utilisé lors de l’accès à Azure Data Lake Store.
Type: | Byte[] |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-CertificateFilePath
Spécifie le chemin d’accès du fichier au certificat qui sera utilisé pour s’authentifier en tant que principal de service. Le cluster l’utilisera lors de l’accès à Azure Data Lake Store.
Type: | String |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-CertificatePassword
Spécifie le mot de passe du certificat qui sera utilisé pour s’authentifier en tant que principal de service. Le cluster l’utilisera lors de l’accès à Azure Data Lake Store.
Type: | String |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-ClusterName
Spécifie le nom du cluster.
Type: | String |
Position: | 2 |
valeur par défaut: | None |
Obligatoire: | True |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-ClusterSizeInNodes
Spécifie le nombre de nœuds Worker pour le cluster.
Type: | Int32 |
Position: | 3 |
valeur par défaut: | None |
Obligatoire: | True |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-ClusterTier
Spécifie le niveau de cluster HDInsight. Par défaut, il s’agit de Standard. Le niveau Premium ne peut être utilisé qu’avec des clusters Linux et permet l’utilisation de certaines nouvelles fonctionnalités.
Type: | String |
valeurs acceptées: | Standard, Premium |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-ClusterType
Spécifie le type de cluster à créer. Les options sont : Hadoop, HBase, Storm, Spark, INTERACTIVEHIVE, Kafka et RServer
Type: | String |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-ComponentVersion
Type: | Dictionary<TKey,TValue>[System.String,System.String] |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-ComputeIsolationHostSku
Obtient ou définit la référence sku d’hôte dédiée pour l’isolation du calcul.
Type: | String |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-Config
Spécifie l’objet de cluster à utiliser pour créer le cluster. Cet objet peut être créé à l’aide de l’applet de commande New-AzHDInsightClusterConfig.
Type: | AzureHDInsightConfig |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | True |
Accept wildcard characters: | False |
-Configurations
Spécifie les configurations de ce cluster HDInsight. Vous pouvez également utiliser l’applet de commande Add-AzHDInsightConfigValues.
Type: | Dictionary<TKey,TValue>[System.String,System.Collections.Generic.Dictionary`2[System.String,System.String]] |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-DefaultProfile
Informations d’identification, compte, locataire et abonnement utilisés pour la communication avec Azure
Type: | IAzureContextContainer |
Aliases: | AzContext, AzureRmContext, AzureCredential |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-DisksPerWorkerNode
Spécifie le nombre de disques pour le rôle de nœud Worker dans le cluster.
Type: | Int32 |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-EdgeNodeSize
Spécifie la taille de la machine virtuelle pour le nœud de périphérie. Utilisez Get-AzVMSize pour les tailles de machine virtuelle acceptables et consultez la page de tarification de HDInsight. Ce paramètre est valide uniquement pour les clusters RServer.
Type: | String |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-EnableComputeIsolation
Active la fonctionnalité d’isolation de calcul HDInsight.
Type: | SwitchParameter |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-EnableIDBroker
Active la fonctionnalité HdInsight Identity Broker.
Type: | SwitchParameter |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-EncryptionAlgorithm
Obtient ou définit l’algorithme de chiffrement.
Type: | String |
valeurs acceptées: | RSA-OAEP, RSA-OAEP-256, RSA1_5 |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-EncryptionAtHost
Obtient ou définit l’indicateur qui indique si le chiffrement est activé sur l’hôte ou non.
Type: | Nullable<T>[Boolean] |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-EncryptionInTransit
Obtient ou définit l’indicateur qui indique si activer le chiffrement en transit ou non.
Type: | Nullable<T>[Boolean] |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-EncryptionKeyName
Obtient ou définit le nom de la clé de chiffrement.
Type: | String |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-EncryptionKeyVersion
Obtient ou définit la version de la clé de chiffrement.
Type: | String |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-EncryptionVaultUri
Obtient ou définit l’URI du coffre de chiffrement.
Type: | String |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-HeadNodeSize
Spécifie la taille de la machine virtuelle pour le nœud principal. Utilisez Get-AzVMSize pour les tailles de machine virtuelle acceptables et consultez la page de tarification de HDInsight.
Type: | String |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-HiveMetastore
Spécifie la base de données SQL pour stocker les métadonnées Hive. Vous pouvez également utiliser l’applet de commande Add-AzHDInsightMetastore.
Type: | AzureHDInsightMetastore |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-HttpCredential
Spécifie les informations d’identification de connexion au cluster (HTTP) pour le cluster.
Type: | PSCredential |
Position: | 4 |
valeur par défaut: | None |
Obligatoire: | True |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-KafkaClientGroupId
Obtient ou définit l’ID de groupe client pour l’accès au proxy rest Kafka.
Type: | String |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-KafkaClientGroupName
Obtient ou définit le nom du groupe client pour l’accès au proxy rest Kafka.
Type: | String |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-KafkaManagementNodeSize
Obtient ou définit la taille du nœud de gestion Kafka.
Type: | String |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-Location
Spécifie l’emplacement du cluster.
Type: | String |
Position: | 0 |
valeur par défaut: | None |
Obligatoire: | True |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-MinSupportedTlsVersion
Obtient ou définit la version TLS minimale prise en charge.
Type: | String |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-ObjectId
Spécifie l’ID d’objet Microsoft Entra (un GUID) du principal du service Microsoft Entra qui représente le cluster. Le cluster l’utilisera lors de l’accès à Azure Data Lake Store.
Type: | Guid |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-OozieMetastore
Spécifie la base de données SQL pour stocker les métadonnées Oozie. Vous pouvez également utiliser l’applet de commande Add-AzHDInsightMetastore.
Type: | AzureHDInsightMetastore |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-OSType
Spécifie le système d’exploitation du cluster. Les options sont : Windows, Linux
Type: | String |
valeurs acceptées: | Linux |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-PrivateLink
Obtient ou définit le type de liaison privée.
Type: | String |
valeurs acceptées: | Enabled, Disabled |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-PrivateLinkConfiguration
Obtient ou définit la configuration de liaison privée.
Type: | AzureHDInsightPrivateLinkConfiguration[] |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-ResourceGroupName
Spécifie le nom du groupe de ressources.
Type: | String |
Position: | 1 |
valeur par défaut: | None |
Obligatoire: | True |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-ResourceProviderConnection
Obtient ou définit le type de connexion du fournisseur de ressources.
Type: | String |
valeurs acceptées: | Inbound, Outbound |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-ScriptActions
Spécifie les actions de script à exécuter sur le cluster à la fin de la création du cluster. Vous pouvez également utiliser Add-AzHDInsightScriptAction.
Type: | Dictionary<TKey,TValue>[Microsoft.Azure.Management.HDInsight.Models.ClusterNodeType,System.Collections.Generic.List`1[AzureHDInsightScriptAction]] |
valeurs acceptées: | HeadNode, WorkerNode, ZookeeperNode, EdgeNode |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-SecurityProfile
Spécifie les propriétés associées à la sécurité utilisées pour créer un cluster sécurisé. Vous pouvez également utiliser l’applet de commande Add-AzHDInsightSecurityProfile.
Type: | AzureHDInsightSecurityProfile |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-SshCredential
Spécifie les informations d’identification SSH à utiliser pour les connexions SSH. Il s’agit uniquement des clusters Linux.
Type: | PSCredential |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-SshPublicKey
Spécifie la clé publique à utiliser pour les connexions SSH. Il s’agit uniquement des clusters Linux.
Type: | String |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-StorageAccountKey
Obtient ou définit la clé d’accès de compte Stockage pour le compte Stockage.
Type: | String |
Position: | 6 |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-StorageAccountManagedIdentity
Obtient ou définit l’identité managée du compte de stockage.
Type: | String |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-StorageAccountResourceId
Obtient ou définit l’ID de ressource Stockage pour le compte Stockage.
Type: | String |
Position: | 5 |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-StorageAccountType
Obtient ou définit le type du compte de stockage.
Type: | Nullable<T>[StorageType] |
valeurs acceptées: | AzureStorage, AzureDataLakeStore, AzureDataLakeStorageGen2 |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-StorageContainer
Obtient ou définit le nom Stockage Container pour le compte Stockage Azure par défaut
Type: | String |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-StorageFileSystem
Obtient ou définit le système de fichiers pour le compte Azure Data Lake Stockage Gen2 par défaut.
Type: | String |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-StorageRootPath
Obtient ou définit le chemin d’accès à la racine du cluster dans le compte Data Lake Store par défaut.
Type: | String |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-SubnetName
Obtient ou définit le nom du sous-réseau pour ce cluster HDInsight.
Type: | String |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-Version
Spécifie la version HDI du cluster HDInsight.
Type: | String |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-VirtualNetworkId
Spécifie l’ID du réseau virtuel dans lequel approvisionner le cluster.
Type: | String |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-WorkerNodeSize
Spécifie la taille de la machine virtuelle pour le nœud Worker. Utilisez Get-AzVMSize pour les tailles de machine virtuelle acceptables et consultez la page de tarification de HDInsight.
Type: | String |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-Zone
Obtient ou définit les zones de disponibilité.
Type: | String[] |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-ZookeeperNodeSize
Spécifie la taille de la machine virtuelle pour le nœud Zookeeper. Utilisez Get-AzVMSize pour les tailles de machine virtuelle acceptables et consultez la page de tarification de HDInsight. Ce paramètre est valide uniquement pour les clusters HBase ou Storm.
Type: | String |
Position: | Named |
valeur par défaut: | None |
Obligatoire: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
Entrées
Sorties
Notes
Mots clés : azure, azurerm, arm, resource, management, manager, hadoop, hdinsight, hd, insight
Liens associés
Commentaires
https://aka.ms/ContentUserFeedback.
Bientôt disponible : Tout au long de 2024, nous allons supprimer progressivement GitHub Issues comme mécanisme de commentaires pour le contenu et le remplacer par un nouveau système de commentaires. Pour plus d’informations, consultezEnvoyer et afficher des commentaires pour