Używanie pustych węzłów brzegowych w klastrach Apache Hadoop w usłudze HDInsight

  • Artykuł

Dowiedz się, jak dodać pusty węzeł brzegowy do klastra usługi HDInsight. Pusty węzeł brzegowy to maszyna wirtualna z systemem Linux z zainstalowanymi i skonfigurowanymi tymi samymi narzędziami klienckimi, co w węzłach głównych. Ale bez uruchomionych usług Apache Hadoop . Możesz użyć węzła brzegowego do uzyskania dostępu do klastra, testowania aplikacji klienckich i hostowania aplikacji klienckich.

Pusty węzeł brzegowy można dodać do istniejącego klastra usługi HDInsight do nowego klastra podczas tworzenia klastra. Dodawanie pustego węzła brzegowego odbywa się przy użyciu szablonu usługi Azure Resource Manager. W poniższym przykładzie pokazano, jak to zrobić przy użyciu szablonu:

"resources": [
    {
        "name": "[concat(parameters('clusterName'),'/', variables('applicationName'))]",
        "type": "Microsoft.HDInsight/clusters/applications",
        "apiVersion": "2015-03-01-preview",
        "dependsOn": [ "[concat('Microsoft.HDInsight/clusters/',parameters('clusterName'))]" ],
        "properties": {
            "marketPlaceIdentifier": "EmptyNode",
            "computeProfile": {
                "roles": [{
                    "name": "edgenode",
                    "targetInstanceCount": 1,
                    "hardwareProfile": {
                        "vmSize": "{}"
                    }
                }]
            },
            "installScriptActions": [{
                "name": "[concat('emptynode','-' ,uniquestring(variables('applicationName')))]",
                "uri": "[parameters('installScriptAction')]",
                "roles": ["edgenode"]
            }],
            "uninstallScriptActions": [],
            "httpsEndpoints": [],
            "applicationType": "CustomApplication"
        }
    }
],

Jak pokazano w przykładzie, opcjonalnie możesz wywołać akcję skryptu, aby wykonać dodatkową konfigurację. Na przykład instalowanie platformy Apache Hue w węźle brzegowym. Skrypt akcji musi być publicznie dostępny w Internecie. Jeśli na przykład skrypt jest przechowywany w usłudze Azure Storage, użyj kontenerów publicznych lub publicznych obiektów blob.

Rozmiar maszyny wirtualnej węzła brzegowego musi spełniać wymagania dotyczące rozmiaru maszyny wirtualnej węzła procesu roboczego klastra usługi HDInsight. Aby uzyskać informacje o zalecanych rozmiarach maszyn wirtualnych węzła roboczego, zobacz Tworzenie klastrów Apache Hadoop w usłudze HDInsight.

Po utworzeniu węzła brzegowego możesz nawiązać połączenie z węzłem brzegowym przy użyciu protokołu SSH i uruchomić narzędzia klienckie, aby uzyskać dostęp do klastra Hadoop w usłudze HDInsight.

Ostrzeżenie

Składniki niestandardowe zainstalowane w węźle brzegowym otrzymują pomoc techniczną firmy Microsoft. Może to spowodować rozwiązanie napotkanych problemów. Możesz też kierować się do zasobów społeczności, aby uzyskać dalszą pomoc. Poniżej przedstawiono niektóre z najbardziej aktywnych witryn, aby uzyskać pomoc od społeczności:

Jeśli używasz technologii Apache, możesz znaleźć pomoc za pośrednictwem witryn projektu Apache w witrynach https://apache.org, takich jak witryna apache Hadoop .

Ważne

Obrazy z systemem Ubuntu stają się dostępne do utworzenia nowego klastra usługi HDInsight w ciągu 3 miesięcy od opublikowania. Od stycznia 2019 r. uruchomione klastry (w tym węzły brzegowe) nie są automatycznie poprawiane. Klienci muszą używać akcji skryptu lub innych mechanizmów, aby zastosować poprawki działającego klastra. Aby uzyskać więcej informacji, zobacz Stosowanie poprawek systemu operacyjnego dla usługi HDInsight.

Dodawanie węzła brzegowego do istniejącego klastra

W tej sekcji użyjesz szablonu usługi Resource Manager, aby dodać węzeł brzegowy do istniejącego klastra usługi HDInsight. Szablon usługi Resource Manager można znaleźć w witrynie GitHub. Szablon usługi Resource Manager wywołuje akcję skryptu znajdującą się w https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.hdinsight/hdinsight-linux-add-edge-node/scripts/EmptyNodeSetup.shlokalizacji . Skrypt nie wykonuje żadnych akcji. Należy zademonstrować wywołanie akcji skryptu z szablonu usługi Resource Manager.

  1. Wybierz poniższy obraz, aby zalogować się do platformy Azure i otworzyć szablon usługi Azure Resource Manager w witrynie Azure Portal.

    Deploy to Azure button for new cluster

  2. Skonfiguruj następujące właściwości:

    Właściwości Opis
    Subskrypcja Wybierz subskrypcję platformy Azure używaną do tworzenia klastra.
    Grupa zasobów Wybierz grupę zasobów używaną dla istniejącego klastra usługi HDInsight.
    Lokalizacja Wybierz lokalizację istniejącego klastra usługi HDInsight.
    Nazwa klastra Wprowadź nazwę istniejącego klastra usługi HDInsight.

  3. Sprawdź, czy wyrażam zgodę na powyższe warunki i postanowienia, a następnie wybierz pozycję Kup , aby utworzyć węzeł brzegowy.

Ważne

Upewnij się, że wybrano grupę zasobów platformy Azure dla istniejącego klastra usługi HDInsight. W przeciwnym razie zostanie wyświetlony komunikat o błędzie "Nie można wykonać żądanej operacji na zagnieżdżonym zasobie. Nie można odnaleźć zasobu nadrzędnego "<ClusterName>".

Dodawanie węzła brzegowego podczas tworzenia klastra

W tej sekcji użyjesz szablonu usługi Resource Manager do utworzenia klastra usługi HDInsight z węzłem krawędzi. Szablon usługi Resource Manager można znaleźć w galerii szablonów szybkiego startu platformy Azure. Szablon usługi Resource Manager wywołuje akcję skryptu znajdującą się w https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.hdinsight/hdinsight-linux-with-edge-node/scripts/EmptyNodeSetup.shlokalizacji . Skrypt nie wykonuje żadnych akcji. Należy zademonstrować wywołanie akcji skryptu z szablonu usługi Resource Manager.

  1. Utwórz klaster usługi HDInsight, jeśli jeszcze go nie masz. Zobacz Wprowadzenie do korzystania z usługi Hadoop w usłudze HDInsight.

  2. Wybierz poniższy obraz, aby zalogować się do platformy Azure i otworzyć szablon usługi Azure Resource Manager w witrynie Azure Portal.

    Deploy to Azure button for new cluster

  3. Skonfiguruj następujące właściwości:

    Właściwości Opis
    Subskrypcja Wybierz subskrypcję platformy Azure używaną do tworzenia klastra.
    Grupa zasobów Utwórz nową grupę zasobów używaną dla klastra.
    Lokalizacja Wybierz lokalizację dla grupy zasobów.
    Nazwa klastra Wprowadź nazwę nowego klastra do utworzenia.
    Nazwa użytkownika logowania klastra Wprowadź nazwę użytkownika HTTP usługi Hadoop. Nazwa domyślna to admin.
    Hasło logowania klastra Wprowadź hasło użytkownika HTTP usługi Hadoop.
    Nazwa użytkownika SSH Wprowadź nazwę użytkownika SSH. Domyślna nazwa to sshuser.
    Hasło SSH Wprowadź hasło użytkownika SSH.
    Instalowanie akcji skryptu Zachowaj wartość domyślną, aby przejść przez ten artykuł.

    Niektóre właściwości zostały zakodowane na stałe w szablonie: typ klastra, liczba węzłów procesu roboczego klastra, rozmiar węzła krawędzi i nazwa węzła krawędzi.

  4. Sprawdź, czy wyrażam zgodę na powyższe warunki i postanowienia, a następnie wybierz pozycję Kup , aby utworzyć klaster z węzłem krawędzi.

Dodawanie wielu węzłów brzegowych

Do klastra usługi HDInsight można dodać wiele węzłów brzegowych. Konfigurację wielu węzłów brzegowych można wykonać tylko przy użyciu szablonów usługi Azure Resource Manager. Zobacz przykładowy szablon na początku tego artykułu. Zaktualizuj element targetInstanceCount , aby odzwierciedlić liczbę węzłów brzegowych, które chcesz utworzyć.

Uzyskiwanie dostępu do węzła brzegowego

Punkt końcowy SSH węzła krawędzi to <EdgeNodeName>.<>Nazwa_klastra—ssh.azurehdinsight.net:22. Na przykład new-edgenode.myedgenode0914-ssh.azurehdinsight.net:22.

Węzeł krawędzi jest wyświetlany jako aplikacja w witrynie Azure Portal. Portal udostępnia informacje dotyczące uzyskiwania dostępu do węzła brzegowego przy użyciu protokołu SSH.

Aby zweryfikować punkt końcowy SSH węzła brzegowego

  1. Zaloguj się w witrynie Azure Portal.
  2. Otwórz klaster usługi HDInsight za pomocą węzła brzegowego.
  3. Wybierz Aplikacje. Zostanie wyświetlony węzeł krawędzi. Nazwa domyślna to new-edgenode.
  4. Wybierz węzeł krawędzi. Zostanie wyświetlony punkt końcowy SSH.

Aby użyć programu Hive w węźle krawędzi

  1. Połącz się z węzłem brzegowym za pomocą protokołu SSH. Aby uzyskać informacje, zobacz Używanie protokołu SSH w usłudze HDInsight.

  2. Po nawiązaniu połączenia z węzłem brzegowym przy użyciu protokołu SSH użyj następującego polecenia, aby otworzyć konsolę programu Hive:

    hive

  3. Uruchom następujące polecenie, aby wyświetlić tabele programu Hive w klastrze:

    show tables;

Usuwanie węzła krawędzi

Węzeł krawędzi można usunąć z witryny Azure Portal.

  1. Zaloguj się w witrynie Azure Portal.
  2. Otwórz klaster usługi HDInsight za pomocą węzła brzegowego.
  3. Wybierz Aplikacje. Zostanie wyświetlona lista węzłów krawędzi.
  4. Kliknij prawym przyciskiem myszy węzeł krawędzi, który chcesz usunąć, a następnie wybierz polecenie Usuń.
  5. Wybierz Tak, aby potwierdzić.

Następne kroki

W tym artykule przedstawiono sposób dodawania węzła brzegowego i uzyskiwania dostępu do węzła brzegowego. Więcej informacji można znaleźć w następujących artykułach: