Azure HDInsight: Azure CLI サンプル

[アーティクル]
09/19/2023

この記事では、一般的なタスクのためのサンプルスクリプトを示します。各例では、変数を適切な値で更新してから、コマンドを実行してください。

前提条件

Azure CLI。手順については、「Azure CLI のインストール」を参照してください。
省略可能: Bash。この記事の例では、Windows 10 上で Bash シェルを使用しています。インストール手順については、「Windows Subsystem for Linux Installation Guide for Windows 10 (Windows 10 用 Windows Subsystem for Linux インストールガイド)」をご覧ください。各例は、少し変更を加えることで、Windows コマンドプロンプトでも使用できます。

az login

# If you have multiple subscriptions, set the one to use
# az account set --subscription "SUBSCRIPTIONID"

az hdinsight create

新しいクラスターを作成します。

既存のストレージアカウントを使用してクラスターを作成する

# set variables
export clusterName=CLUSTERNAME
export resourceGroupName=RESOURCEGROUPNAME
export clusterType=hadoop
export httpCredential='PASSWORD'
export AZURE_STORAGE_ACCOUNT=STORAGEACCOUNTNAME

az hdinsight create \
    --name $clusterName \
    --resource-group $resourceGroupName \
    --type $clusterType \
    --http-password $httpCredential \
    --storage-account $AZURE_STORAGE_ACCOUNT

Enterprise セキュリティパッケージ (ESP) を使用してクラスターを作成する

export clusterName=CLUSTERNAME
export resourceGroupName=RESOURCEGROUPNAME
export clusterType=spark
export httpCredential='PASSWORD'
export AZURE_STORAGE_ACCOUNT=STORAGEACCOUNTNAME
export subnet="/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/MyRG/providers/Microsoft.Network/virtualNetworks/MyVnet/subnets/subnet1"
export domain="/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/MyRG/providers/Microsoft.AAD/domainServices/MyDomain.onmicrosoft.com"
export userAssignedIdentity="/subscriptions/00000000-0000-0000-0000-000000000000/resourcegroups/MyMsiRG/providers/Microsoft.ManagedIdentity/userAssignedIdentities/MyMSI"
export domainAccount=MyAdminAccount@MyDomain.onmicrosoft.com
export groupDNS=MyGroup

az hdinsight create \
    --esp \
    --name $clusterName \
    --resource-group $resourceGroupName \
    --type $clusterType \
    --http-password $httpCredential \
    --storage-account $AZURE_STORAGE_ACCOUNT \
    --subnet $subnet \
    --domain $domain \
    --assign-identity $userAssignedIdentity \
    --cluster-admin-account $domainAccount \
    --cluster-users-group-dns $groupDNS

ディスク暗号化を使用して Kafka クラスターを作成する

export clusterName=CLUSTERNAME
export resourceGroupName=RESOURCEGROUPNAME
export clusterType=kafka
export httpCredential='PASSWORD'
export AZURE_STORAGE_ACCOUNT=STORAGEACCOUNTNAME
export encryptionKeyName=kafkaClusterKey
export encryptionKeyVersion=00000000000000000000000000000000
export encryptionVaultUri=https://MyKeyVault.vault.azure.net
export userAssignedIdentity="/subscriptions/00000000-0000-0000-0000-000000000000/resourcegroups/MyMsiRG/providers/Microsoft.ManagedIdentity/userAssignedIdentities/MyMSI"

az hdinsight create \
    --name $clusterName \
    --resource-group $resourceGroupName \
    --type $clusterType \
    --http-password $httpCredential \
    --storage-account $AZURE_STORAGE_ACCOUNT \
    --workernode-data-disks-per-node 2 \
    --encryption-key-name $encryptionKeyName \
    --encryption-key-version $encryptionKeyVersion \
    --encryption-vault-uri $encryptionVaultUri \
    --assign-identity $userAssignedIdentity

Azure Data Lake Storage Gen2 を使用してクラスターを作成する

export clusterName=CLUSTERNAME
export resourceGroupName=RESOURCEGROUPNAME
export clusterType=spark
export httpCredential='PASSWORD'
export adlgen2=MyStorageAccount
export sami=MyMSI

az hdinsight create \
    --name $clusterName \
    --resource-group $resourceGroupName \
    --type $clusterType \
    --http-password $httpCredential \
    --storage-account $adlgen2 \
    --storage-account-managed-identity $sami

JSON 文字列による構成を使用してクラスターを作成する

export clusterName=CLUSTERNAME
export resourceGroupName=RESOURCEGROUPNAME
export clusterType=spark
export httpCredential='PASSWORD'
export AZURE_STORAGE_ACCOUNT=STORAGEACCOUNTNAME
export clusterConfiguration="{'gateway':{'restAuthCredential.username':'admin'}}"

az hdinsight create \
    --name $clusterName \
    --resource-group $resourceGroupName \
    --type $clusterType \
    --http-password $httpCredential \
    --storage-account $AZURE_STORAGE_ACCOUNT \
    --cluster-configuration $clusterConfiguration

ローカルファイルによる構成を使用してクラスターを作成する

export clusterName=CLUSTERNAME
export resourceGroupName=RESOURCEGROUPNAME
export clusterType=spark
export httpCredential='PASSWORD'
export AZURE_STORAGE_ACCOUNT=STORAGEACCOUNTNAME
export clusterConfiguration=@/mnt/c/HDI/config.json

az hdinsight create \
    --name $clusterName \
    --resource-group $resourceGroupName \
    --type $clusterType \
    --http-password $httpCredential \
    --storage-account $AZURE_STORAGE_ACCOUNT \
    --cluster-configuration $clusterConfiguration

az hdinsight application create

HDInsight クラスター向けのアプリケーションを作成します。

スクリプト URI を使用してアプリケーションを作成する

export resourceGroupName=RESOURCEGROUPNAME
export applicationName=MyApplication
export clusterName=CLUSTERNAME
export scriptURI=https://hdiconfigactions.blob.core.windows.net/linuxhueconfigactionv02/install-hue-uber-v02.sh
export scriptActionName=MyScriptAction
export scriptParameters='"-version latest -port 20000"'

az hdinsight application create \
    --resource-group $resourceGroupName \
    --name $applicationName \
    --cluster-name $clusterName \
    --script-uri $scriptURI  \
    --script-action-name $scriptActionName \
    --script-parameters "$scriptParameters"

スクリプト URI と指定されたエッジノードサイズを使用してアプリケーションを作成する

export resourceGroupName=RESOURCEGROUPNAME
export applicationName=MyApplication
export clusterName=CLUSTERNAME
export scriptURI=https://hdiconfigactions.blob.core.windows.net/linuxhueconfigactionv02/install-hue-uber-v02.sh
export scriptActionName=MyScriptAction
export scriptParameters='"-version latest -port 20000"'
export edgenodeSize=Standard_D4_v2

az hdinsight application create \
    --resource-group $resourceGroupName \
    --name $applicationName \
    --cluster-name $clusterName \
    --script-uri $scriptURI  \
    --script-action-name $scriptActionName \
    --script-parameters "$scriptParameters" \
    --edgenode-size $edgenodeSize

HTTPS エンドポイントを使用してアプリケーションを作成する

export resourceGroupName=RESOURCEGROUPNAME
export applicationName=MyApplication
export clusterName=CLUSTERNAME
export scriptURI=https://hdiconfigactions.blob.core.windows.net/linuxhueconfigactionv02/install-hue-uber-v02.sh
export scriptActionName=MyScriptAction
export scriptParameters='"-version latest -port 20000"'
export destinationPort=8888
export subDomainSuffix=was

az hdinsight application create \
    --resource-group $resourceGroupName \
    --name $applicationName \
    --cluster-name $clusterName \
    --script-uri $scriptURI  \
    --script-action-name $scriptActionName \
    --script-parameters "$scriptParameters" \
    --destination-port $destinationPort \
    --sub-domain-suffix $subDomainSuffix

az hdinsight script-action execute

指定した HDInsight クラスター上でスクリプトアクションを実行します。

スクリプトアクションを実行して成功時に保持する

export resourceGroupName=RESOURCEGROUPNAME
export clusterName=CLUSTERNAME
export scriptActionName=MyScriptAction
export scriptURI=https://hdiconfigactions.blob.core.windows.net/linuxgiraphconfigactionv01/giraph-installer-v01.sh
export roles="headnode workernode"

az hdinsight script-action execute \
    --resource-group $resourceGroupName \
    --cluster-name $clusterName \
    --name $scriptActionName \
    --script-uri $scriptURI  \
    --roles $roles \
    --persist-on-success

Share via

Azure HDInsight: Azure CLI サンプル

前提条件

az hdinsight create

既存のストレージアカウントを使用してクラスターを作成する

Enterprise セキュリティパッケージ (ESP) を使用してクラスターを作成する

ディスク暗号化を使用して Kafka クラスターを作成する

Azure Data Lake Storage Gen2 を使用してクラスターを作成する

JSON 文字列による構成を使用してクラスターを作成する

ローカルファイルによる構成を使用してクラスターを作成する

az hdinsight application create

スクリプト URI を使用してアプリケーションを作成する

スクリプト URI と指定されたエッジノードサイズを使用してアプリケーションを作成する

HTTPS エンドポイントを使用してアプリケーションを作成する

az hdinsight script-action execute

スクリプトアクションを実行して成功時に保持する

その他のリソース

Share via

Azure HDInsight: Azure CLI サンプル

前提条件

az login

az hdinsight create

既存のストレージ アカウントを使用してクラスターを作成する

Enterprise セキュリティ パッケージ (ESP) を使用してクラスターを作成する

ディスク暗号化を使用して Kafka クラスターを作成する

Azure Data Lake Storage Gen2 を使用してクラスターを作成する

JSON 文字列による構成を使用してクラスターを作成する

ローカル ファイルによる構成を使用してクラスターを作成する

az hdinsight application create

スクリプト URI を使用してアプリケーションを作成する

スクリプト URI と指定されたエッジ ノード サイズを使用してアプリケーションを作成する

HTTPS エンドポイントを使用してアプリケーションを作成する

az hdinsight script-action execute

スクリプト アクションを実行して成功時に保持する

その他のリソース

既存のストレージアカウントを使用してクラスターを作成する

Enterprise セキュリティパッケージ (ESP) を使用してクラスターを作成する

ローカルファイルによる構成を使用してクラスターを作成する

スクリプト URI と指定されたエッジノードサイズを使用してアプリケーションを作成する

スクリプトアクションを実行して成功時に保持する