HDInsight-fürtök létrehozása az Azure CLI használatával

  • Cikk

A dokumentum lépései végigvezetik a HDInsight 4.0-fürt Azure CLI-vel történő létrehozásán.

Figyelmeztetés

A HDInsight-fürtök számlázása percenként történik, akár használja őket, akár nem. A használat befejezése után mindenképpen törölje a fürtöt. Megtudhatja , hogyan törölhet HDInsight-fürtöt.

If you don't have an Azure subscription, create an Azure free account before you begin.

Előfeltételek

Fürt létrehozása

  1. Jelentkezzen be az Azure-előfizetésbe. Ha az Azure Cloud Shell használatát tervezi, válassza a Kipróbálás lehetőséget a kódblokk jobb felső sarkában. Máskülönben adja meg a következő parancsot:

    az login

# If you have multiple subscriptions, set the one to use
# az account set --subscription "SUBSCRIPTIONID"

  2. Környezeti változók beállítása. A változók használata ebben a cikkben a Bashen alapul. Más környezetekhez kisebb eltérésekre van szükség. A fürtlétrehozás lehetséges paramétereinek teljes listáját az az-hdinsight-create című témakörben találja.

    Paraméter Leírás
    --workernode-count A fürt feldolgozó csomópontjainak száma. Ez a cikk a változót clusterSizeInNodes használja az átadott --workernode-countértékként.
    --version A HDInsight-fürt verziója. Ez a cikk a változót clusterVersion használja az átadott --versionértékként. Lásd még: Támogatott HDInsight-verziók.
    --type A HDInsight-fürt típusa, például: hadoop, interaktív hive, hbase, kafka, spark, rserver, mlservices. Ez a cikk a változót clusterType használja az átadott --typeértékként. Lásd még: Fürttípusok és konfiguráció.
    --component-version A különböző Hadoop-összetevők verziói szóközzel elválasztott verziókban , "component=version" formátumban. Ez a cikk a változót componentVersion használja az átadott --component-versionértékként. Lásd még: Hadoop-összetevők.

    Cserélje le RESOURCEGROUPNAMEa , LOCATION, CLUSTERNAME, STORAGEACCOUNTNAMEés PASSWORD a kívánt értékeket. Módosítsa a többi változó értékeit igény szerint. Ezután adja meg a parancssori felület parancsait.

    export resourceGroupName=RESOURCEGROUPNAME
export location=LOCATION
export clusterName=CLUSTERNAME
export AZURE_STORAGE_ACCOUNT=STORAGEACCOUNTNAME
export httpCredential='PASSWORD'
export sshCredentials='PASSWORD'

export AZURE_STORAGE_CONTAINER=$clusterName
export clusterSizeInNodes=1
export clusterVersion=4.0
export clusterType=hadoop
export componentVersion=Hadoop=3.1

  3. Hozza létre az erőforráscsoportot a következő parancs beírásával:

    az group create \
    --location $location \
    --name $resourceGroupName

    Az érvényes helyek listájához használja a az account list-locations parancsot, majd használja az érték egyik helyét name .

  4. Hozzon létre egy Azure Storage-fiókot a következő parancs megadásával:

    # Note: kind BlobStorage is not available as the default storage account.
az storage account create \
    --name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName \
    --https-only true \
    --kind StorageV2 \
    --location $location \
    --sku Standard_LRS

  5. Bontsa ki az elsődleges kulcsot az Azure Storage-fiókból , és tárolja egy változóban az alábbi parancs megadásával:

    export AZURE_STORAGE_KEY=$(az storage account keys list \
    --account-name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName \
    --query [0].value -o tsv)

  6. Hozzon létre egy Azure Storage-tárolót a következő parancs megadásával:

    az storage container create \
    --name $AZURE_STORAGE_CONTAINER \
    --account-key $AZURE_STORAGE_KEY \
    --account-name $AZURE_STORAGE_ACCOUNT

  7. Hozza létre a HDInsight-fürtöt a következő parancs megadásával:

    az hdinsight create \
    --name $clusterName \
    --resource-group $resourceGroupName \
    --type $clusterType \
    --component-version $componentVersion \
    --http-password $httpCredential \
    --http-user admin \
    --location $location \
    --workernode-count $clusterSizeInNodes \
    --ssh-password $sshCredentials \
    --ssh-user sshuser \
    --storage-account $AZURE_STORAGE_ACCOUNT \
    --storage-account-key $AZURE_STORAGE_KEY \
    --storage-container $AZURE_STORAGE_CONTAINER \
    --version $clusterVersion

    Fontos

    A HDInsight-fürtök különböző típusúak, amelyek megfelelnek a fürt által hangolt számítási feladatnak vagy technológiának. Nincs támogatott módszer olyan fürt létrehozására, amely több típust egyesít, például egy fürtön a HBase-t.

    A fürtlétrehozás folyamata több percet is igénybe vehet. Általában 15 körül.

Clean up resources

A cikk befejezése után érdemes törölni a fürtöt. A HDInsight használatával az adatok az Azure Storage-ban lesznek tárolva, így biztonságosan törölheti a fürtöt, ha nincs használatban. A HDInsight-fürtökért is díjat számítunk fel, még akkor is, ha nincs használatban. Mivel a fürt díjai sokszor nagyobbak, mint a tárolási díjak, érdemes törölni a fürtöket, ha nincsenek használatban.

Az erőforrások eltávolításához adja meg az összes vagy néhány parancsot:

# Remove cluster
az hdinsight delete \
    --name $clusterName \
    --resource-group $resourceGroupName

# Remove storage container
az storage container delete \
    --account-name $AZURE_STORAGE_ACCOUNT \
    --name $AZURE_STORAGE_CONTAINER

# Remove storage account
az storage account delete \
    --name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName

# Remove resource group
az group delete \
    --name $resourceGroupName

Hibaelhárítás

Ha problémába ütközik a HDInsight-fürtök létrehozása során, tekintse meg a hozzáférés-vezérlésre vonatkozó követelményeket.

További lépések

Most, hogy sikeresen létrehozott egy HDInsight-fürtöt az Azure CLI használatával, az alábbiak segítségével megtudhatja, hogyan használhatja a fürtöt:

Apache Hadoop-fürtök

Apache HBase-fürtök