Używanie pustych węzłów brzegowych w klastrach Apache Hadoop w usłudze HDInsight

Artykuł
12/05/2022
Czas czytania: 5 min

Dowiedz się, jak dodać pusty węzeł brzegowy do klastra usługi HDInsight. Pusty węzeł brzegowy to maszyna wirtualna z systemem Linux z tymi samymi narzędziami klienckimi zainstalowanymi i skonfigurowanymi w węzłach głównych. Ale bez uruchomionych usług Apache Hadoop . Możesz użyć węzła brzegowego do uzyskiwania dostępu do klastra, testowania aplikacji klienckich i hostowania aplikacji klienckich.

Pusty węzeł brzegowy można dodać do istniejącego klastra usługi HDInsight do nowego klastra podczas tworzenia klastra. Dodawanie pustego węzła brzegowego odbywa się przy użyciu szablonu usługi Azure Resource Manager. W poniższym przykładzie pokazano, jak to zrobić przy użyciu szablonu:

"resources": [
    {
        "name": "[concat(parameters('clusterName'),'/', variables('applicationName'))]",
        "type": "Microsoft.HDInsight/clusters/applications",
        "apiVersion": "2015-03-01-preview",
        "dependsOn": [ "[concat('Microsoft.HDInsight/clusters/',parameters('clusterName'))]" ],
        "properties": {
            "marketPlaceIdentifier": "EmptyNode",
            "computeProfile": {
                "roles": [{
                    "name": "edgenode",
                    "targetInstanceCount": 1,
                    "hardwareProfile": {
                        "vmSize": "{}"
                    }
                }]
            },
            "installScriptActions": [{
                "name": "[concat('emptynode','-' ,uniquestring(variables('applicationName')))]",
                "uri": "[parameters('installScriptAction')]",
                "roles": ["edgenode"]
            }],
            "uninstallScriptActions": [],
            "httpsEndpoints": [],
            "applicationType": "CustomApplication"
        }
    }
],

Jak pokazano w przykładzie, możesz opcjonalnie wywołać akcję skryptu , aby wykonać dodatkową konfigurację. Na przykład instalowanie platformy Apache Hue w węźle brzegowym. Skrypt akcji skryptu musi być publicznie dostępny w internecie. Jeśli na przykład skrypt jest przechowywany w usłudze Azure Storage, użyj kontenerów publicznych lub publicznych obiektów blob.

Rozmiar maszyny wirtualnej węzła brzegowego musi spełniać wymagania dotyczące rozmiaru maszyny wirtualnej węzła roboczego klastra usługi HDInsight. Aby uzyskać informacje o zalecanych rozmiarach maszyn wirtualnych węzła roboczego, zobacz Create Apache Hadoop clusters in HDInsight (Tworzenie klastrów apache Hadoop w usłudze HDInsight).

Po utworzeniu węzła brzegowego możesz nawiązać połączenie z węzłem brzegowym przy użyciu protokołu SSH i uruchomić narzędzia klienckie, aby uzyskać dostęp do klastra Hadoop w usłudze HDInsight.

Ostrzeżenie

Składniki niestandardowe instalowane w węźle brzegowym otrzymują rozsądną pomoc techniczną od Microsoft. Może to spowodować rozwiązywanie napotkanych problemów. Możesz też kierować się do zasobów społeczności, aby uzyskać dalszą pomoc. Poniżej przedstawiono niektóre z najbardziej aktywnych witryn, aby uzyskać pomoc od społeczności:

Jeśli używasz technologii Apache, możesz znaleźć pomoc za pośrednictwem witryn projektu Apache w witrynach https://apache.orgprogramu , takich jak witryna platformy Apache Hadoop .

Ważne

Obrazy z systemem Ubuntu stają się dostępne do utworzenia nowego klastra usługi HDInsight w ciągu 3 miesięcy od opublikowania. Od stycznia 2019 r. uruchomione klastry (w tym węzły brzegowe) nie są automatycznie poprawiane. Klienci muszą używać akcji skryptu lub innych mechanizmów w celu stosowania poprawek do uruchomionego klastra. Aby uzyskać więcej informacji, zobacz Stosowanie poprawek systemu operacyjnego dla usługi HDInsight.

Dodawanie węzła brzegowego do istniejącego klastra

W tej sekcji użyjesz szablonu Resource Manager, aby dodać węzeł brzegowy do istniejącego klastra usługi HDInsight. Szablon Resource Manager można znaleźć w witrynie GitHub. Szablon Resource Manager wywołuje akcję skryptu znajdującą się w lokalizacji https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.hdinsight/hdinsight-linux-add-edge-node/scripts/EmptyNodeSetup.sh. Skrypt nie wykonuje żadnych akcji. Należy zademonstrować wywołanie akcji skryptu z szablonu Resource Manager.

Wybierz poniższy obraz, aby zalogować się do platformy Azure i otworzyć szablon usługi Azure Resource Manager w Azure Portal.

Skonfiguruj następujące właściwości:

Właściwość	Opis
Subskrypcja	Wybierz subskrypcję platformy Azure używaną do tworzenia klastra.
Grupa zasobów	Wybierz grupę zasobów używaną dla istniejącego klastra usługi HDInsight.
Lokalizacja	Wybierz lokalizację istniejącego klastra usługi HDInsight.
Nazwa klastra	Wprowadź nazwę istniejącego klastra usługi HDInsight.

Sprawdź , czy wyrażam zgodę na powyższe warunki i postanowienia, a następnie wybierz pozycję Kup , aby utworzyć węzeł brzegowy.

Ważne

Upewnij się, że wybrano grupę zasobów platformy Azure dla istniejącego klastra usługi HDInsight. W przeciwnym razie zostanie wyświetlony komunikat o błędzie "Nie można wykonać żądanej operacji na zagnieżdżonym zasobie. Nie znaleziono zasobu nadrzędnego "<ClusterName>".

Dodawanie węzła brzegowego podczas tworzenia klastra

W tej sekcji użyjesz szablonu Resource Manager do utworzenia klastra usługi HDInsight z węzłem brzegowym. Szablon Resource Manager można znaleźć w galerii szablonów szybkiego startu platformy Azure. Szablon Resource Manager wywołuje akcję skryptu znajdującą się w lokalizacji https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.hdinsight/hdinsight-linux-with-edge-node/scripts/EmptyNodeSetup.sh. Skrypt nie wykonuje żadnych akcji. Należy zademonstrować wywołanie akcji skryptu z szablonu Resource Manager.

Utwórz klaster usługi HDInsight, jeśli jeszcze go nie masz. Zobacz Wprowadzenie do korzystania z usługi Hadoop w usłudze HDInsight.
Wybierz poniższy obraz, aby zalogować się do platformy Azure i otworzyć szablon usługi Azure Resource Manager w Azure Portal.

Skonfiguruj następujące właściwości:

Właściwość	Opis
Subskrypcja	Wybierz subskrypcję platformy Azure używaną do tworzenia klastra.
Grupa zasobów	Utwórz nową grupę zasobów używaną dla klastra.
Lokalizacja	Wybierz lokalizację dla grupy zasobów.
Nazwa klastra	Wprowadź nazwę nowego klastra do utworzenia.
Nazwa użytkownika logowania klastra	Wprowadź nazwę użytkownika HTTP usługi Hadoop. Nazwa domyślna to admin.
Hasło logowania klastra	Wprowadź hasło użytkownika HTTP usługi Hadoop.
Nazwa użytkownika Ssh	Wprowadź nazwę użytkownika SSH. Domyślna nazwa to sshuser.
Hasło Ssh	Wprowadź hasło użytkownika SSH.
Akcja instalowania skryptu	Zachowaj wartość domyślną dla przechodzenia przez ten artykuł.

Niektóre właściwości zostały zakodowane na stałe w szablonie: typ klastra, liczba węzłów procesu roboczego klastra, rozmiar węzła krawędzi i nazwa węzła edge.

Sprawdź , czy zgadzam się na powyższe warunki i postanowienia, a następnie wybierz pozycję Kup , aby utworzyć klaster z węzłem brzegowym.

Dodawanie wielu węzłów brzegowych

Do klastra usługi HDInsight można dodać wiele węzłów brzegowych. Konfigurację wielu węzłów brzegowych można wykonać tylko przy użyciu szablonów usługi Azure Resource Manager. Zobacz przykładowy szablon na początku tego artykułu. Zaktualizuj element targetInstanceCount , aby odzwierciedlić liczbę węzłów brzegowych, które chcesz utworzyć.

Uzyskiwanie dostępu do węzła brzegowego

Punkt końcowy ssh węzła krawędzi to <EdgeNodeName>.< ClusterName-ssh.azurehdinsight.net:22>. Na przykład new-edgenode.myedgenode0914-ssh.azurehdinsight.net:22.

Węzeł krawędzi jest wyświetlany jako aplikacja w Azure Portal. Portal udostępnia informacje dotyczące uzyskiwania dostępu do węzła brzegowego przy użyciu protokołu SSH.

Aby zweryfikować punkt końcowy SSH węzła brzegowego

Zaloguj się w witrynie Azure Portal.
Otwórz klaster usługi HDInsight z węzłem brzegowym.
Wybierz pozycję Aplikacje. Zostanie wyświetlony węzeł krawędzi. Nazwa domyślna to new-edgenode.
Wybierz węzeł krawędzi. Zostanie wyświetlony punkt końcowy SSH.

Aby użyć programu Hive w węźle krawędzi

Połącz się z węzłem brzegowym za pomocą protokołu SSH. Aby uzyskać informacje, zobacz Używanie protokołu SSH w usłudze HDInsight.
Po nawiązaniu połączenia z węzłem krawędzi przy użyciu protokołu SSH użyj następującego polecenia, aby otworzyć konsolę programu Hive:
```
hive
```
Uruchom następujące polecenie, aby wyświetlić tabele programu Hive w klastrze:
```
show tables;
```

Usuwanie węzła brzegowego

Węzeł krawędzi można usunąć z Azure Portal.

Zaloguj się w witrynie Azure Portal.
Otwórz klaster usługi HDInsight z węzłem krawędzi.
Wybierz pozycję Aplikacje. Zostanie wyświetlona lista węzłów krawędzi.
Kliknij prawym przyciskiem myszy węzeł krawędzi, który chcesz usunąć, a następnie wybierz polecenie Usuń.
Kliknij przycisk Tak, aby potwierdzić.

Następne kroki

W tym artykule przedstawiono sposób dodawania węzła brzegowego i uzyskiwania dostępu do węzła brzegowego. Więcej informacji można znaleźć w następujących artykułach:

Instalowanie aplikacji usługi HDInsight: dowiedz się, jak instalować aplikacje usługi HDInsight w klastrach.
Instalowanie niestandardowych aplikacji usługi HDInsight: dowiedz się, jak wdrożyć nieopublikowaną aplikację usługi HDInsight w usłudze HDInsight.
Publikowanie aplikacji usługi HDInsight: dowiedz się, jak opublikować niestandardowe aplikacje usługi HDInsight w portalu Azure Marketplace.
MSDN: instalowanie aplikacji usługi HDInsight: dowiedz się, jak zdefiniować aplikacje usługi HDInsight.
Dostosowywanie klastrów usługi HDInsight opartych na systemie Linux przy użyciu akcji skryptu: dowiedz się, jak instalować dodatkowe aplikacje za pomocą akcji skryptu.
Tworzenie klastrów Apache Hadoop opartych na systemie Linux w usłudze HDInsight przy użyciu szablonów Resource Manager: dowiedz się, jak wywoływać szablony Resource Manager w celu tworzenia klastrów usługi HDInsight.