Zarządzanie klastrami Apache Hadoop w usłudze HDInsight przy użyciu witryny Azure Portal

  • Artykuł

Za pomocą witryny Azure Portal można zarządzać klastrami Apache Hadoop w usłudze Azure HDInsight. Użyj selektora kart, aby uzyskać informacje na temat zarządzania klastrami Hadoop w usłudze HDInsight przy użyciu innych narzędzi.

Wymagania wstępne

Istniejący klaster Apache Hadoop w usłudze HDInsight. Zobacz Tworzenie klastrów opartych na systemie Linux w usłudze HDInsight przy użyciu witryny Azure Portal.

Wprowadzenie

Zaloguj się do usługi https://portal.azure.com.

Wyświetlanie i wyświetlanie klastrów

Strona Klastry usługi HDInsight zawiera listę istniejących klastrów. W portalu:

  1. Wybierz pozycję Wszystkie usługi z menu po lewej stronie.
  2. Wybierz pozycję Klastry usługi HDInsight w obszarze ANALIZA.

Strona główna klastra

Wybierz nazwę klastra na stronie Klastry usługi HDInsight. Spowoduje to otwarcie widoku Przegląd , który wygląda podobnie do poniższego obrazu:

Azure portal HDInsight cluster essentials.

Menu u góry:

Element opis
Przesuń Przenosi klaster do innej grupy zasobów lub innej subskrypcji.
Delete Usuwa klaster.
Odśwież Odświeża widok.

Menu po lewej stronie:

  • Menu w lewym górnym rogu

    Element opis
    Omówienie Zawiera ogólne informacje dotyczące klastra.
    Dziennik aktywności Pokazywanie dzienników aktywności i wykonywanie zapytań o nie.
    Kontrola dostępu (IAM) Użyj przypisań ról. Zobacz Przypisywanie ról platformy Azure do zarządzania dostępem do zasobów subskrypcji platformy Azure.
    Tagi Umożliwia ustawienie par klucz/wartość w celu zdefiniowania niestandardowej taksonomii usług w chmurze. Można na przykład utworzyć klucz o nazwie project, a następnie użyć wspólnej wartości dla wszystkich usług skojarzonych z określonym projektem.
    Diagnozowanie i rozwiązywanie problemów Wyświetl informacje dotyczące rozwiązywania problemów.
    Szybki start Wyświetla informacje ułatwiające rozpoczęcie korzystania z usługi HDInsight.
    Narzędzia Informacje pomocy dotyczące narzędzi związanych z usługą HDInsight.

  • menu Ustawienia

    Element opis
    Rozmiar klastra Sprawdzanie, zwiększanie i zmniejszanie liczby węzłów roboczych klastra. Zobacz Skalowanie klastrów.
    Limity przydziału Wyświetl używane i dostępne rdzenie dla subskrypcji.
    SSH + dane logowania klastra Przedstawia instrukcje nawiązywania połączenia z klastrem przy użyciu połączenia protokołu Secure Shell (SSH). Aby uzyskać więcej informacji, zobacz Używanie protokołu SSH w usłudze HDInsight.
    Data Lake Storage Gen1 Skonfiguruj dostęp do usługi Data Lake Storage Gen1. Zobacz Szybki start: konfigurowanie klastrów w usłudze HDInsight.
    Konta magazynu Wyświetl konta magazynu i klucze. Konta magazynu są konfigurowane podczas procesu tworzenia klastra.
    Aplikacje Dodawanie/usuwanie aplikacji usługi HDInsight. Zobacz Instalowanie niestandardowych aplikacji usługi HDInsight.
    Działania skryptu Uruchom skrypty powłoki Bash w klastrze. Zobacz Dostosowywanie klastrów usługi HDInsight opartych na systemie Linux przy użyciu akcji skryptu.
    Zewnętrzne magazyny metadanych Wyświetl magazyny metadanych Apache Hive i Apache Oozie. Magazyny metadanych można skonfigurować tylko podczas procesu tworzenia klastra.
    Partner usługi HDInsight Dodaj/usuń bieżącego partnera usługi HDInsight.
    Właściwości Wyświetl właściwości klastra.
    Blokady Dodaj blokadę, aby zapobiec modyfikacji lub usunięciu klastra.
    Eksportowanie szablonu Wyświetlanie i eksportowanie szablonu usługi Azure Resource Manager dla klastra. Obecnie można wyeksportować tylko zależne konto usługi Azure Storage. Zobacz Tworzenie klastrów Apache Hadoop opartych na systemie Linux w usłudze HDInsight przy użyciu szablonów usługi Azure Resource Manager.

  • Menu Monitorowanie

    Element opis
    Alerty Zarządzanie alertami i akcjami.
    Metryki Monitorowanie metryk klastra w dziennikach usługi Azure Monitor.
    Ustawienia diagnostyki Ustawienia gdzie przechowywać metryki diagnostyki.
    Azure Monitor Monitorowanie klastra w usłudze Azure Monitor.

  • Menu Pomocy technicznej i rozwiązywania problemów

    Element opis
    Kondycja zasobów Zobacz Omówienie usługi Azure Resource Health.
    Nowy wniosek o pomoc techniczną Umożliwia utworzenie biletu pomocy technicznej z pomocą techniczną firmy Microsoft.

Właściwości klastra

Na stronie głównej klastra w obszarze Ustawienia wybierz pozycję Właściwości.

Element opis
NAZWA HOSTA Nazwa klastra.
ADRES URL KLASTRA Adres URL interfejsu internetowego systemu Ambari.
Prywatny punkt końcowy Prywatny punkt końcowy klastra.
Secure Shell (SSH) Nazwa użytkownika i nazwa hosta do użycia w uzyskiwaniu dostępu do klastra za pośrednictwem protokołu SSH.
STAN Jeden z: przerwany, zaakceptowany, ClusterStorageProvisioned, AzureVMConfiguration, HDInsightConfiguration, Operational, Running, Error, Deleted, Timeout, DeleteQueued, DeleteTimeout, DeleteTimeout, DeleteError, PatchQueued, CertRolloverQueued, ResizeQueued lub ClusterCustomization.
REGION Lokalizacja platformy Azure. Aby uzyskać listę obsługiwanych lokalizacji platformy Azure, zobacz pole listy rozwijanej Region w cenniku usługi HDInsight.
DATA UTWORZENIA Data wdrożenia klastra.
SYSTEM OPERACYJNY System Windows lub Linux.
TYP Hadoop, HBase, Spark.
Wersja Zobacz Wersje usługi HDInsight.
Wersja minimalna protokołu TLS Wersja protokołu TLS.
SUBSKRYPCJA Nazwa subskrypcji.
DOMYŚLNE ŹRÓDŁO DANYCH Domyślny system plików klastra.
Rozmiary węzłów roboczych Wybrany rozmiar maszyny wirtualnej węzłów roboczych.
Rozmiar węzła głównego Wybrany rozmiar maszyny wirtualnej węzłów głównych.
Sieć wirtualna Nazwa sieci wirtualnej, którą wdrożono w klastrze, jeśli została wybrana podczas wdrażania.

Przenoszenie klastrów

Klaster usługi HDInsight można przenieść do innej grupy zasobów platformy Azure lub innej subskrypcji.

Na stronie głównej klastra:

  1. Wybierz pozycję Przenieś z górnego menu.
  2. Wybierz pozycję Przenieś do innej grupy zasobów lub Przenieś do innej subskrypcji.
  3. Postępuj zgodnie z instrukcjami z nowej strony.

Usuwanie klastrów

Usunięcie klastra nie powoduje usunięcia domyślnego konta magazynu ani żadnych połączonych kont magazynu. Klaster można utworzyć ponownie przy użyciu tych samych kont magazynu i tych samych magazynów metadanych. Zalecamy użycie nowego domyślnego kontenera obiektów blob podczas ponownego tworzenia klastra.

Na stronie głównej klastra:

  1. Wybierz pozycję Usuń z górnego menu.
  2. Postępuj zgodnie z instrukcjami z nowej strony.

Zobacz również Wstrzymaj/zamknij klastry.

Dodawanie kolejnych kont magazynu

Po utworzeniu klastra można dodać dodatkowe konta usługi Azure Storage i konta usługi Azure Data Lake Storage. Aby uzyskać więcej informacji, zobacz Dodawanie kolejnych kont magazynu do usługi HDInsight.

Skalowanie klastrów

Funkcja skalowania klastra umożliwia zmianę liczby węzłów roboczych używanych przez klaster usługi Azure HDInsight bez konieczności ponownego tworzenia klastra.

Aby uzyskać pełne informacje, zobacz Skalowanie klastrów usługi HDInsight.

Wstrzymywanie/zamykanie klastrów

Większość zadań hadoop to zadania wsadowe, które są uruchamiane tylko od czasu do czasu. W przypadku większości klastrów Hadoop istnieje duży czas, przez który klaster nie jest używany do przetwarzania. W usłudze HDInsight dane są przechowywane w usłudze Azure Storage, dzięki czemu można bezpiecznie usunąć klaster, gdy nie jest używany. Opłaty są również naliczane za klaster usługi HDInsight, nawet jeśli nie jest używany. Ponieważ opłaty za klaster są wielokrotnie większe niż opłaty za magazyn, warto usunąć klastry, gdy nie są używane.

Istnieje wiele sposobów programowania procesu:

Aby uzyskać informacje o cenach, zobacz Cennik usługi HDInsight. Aby usunąć klaster z portalu, zobacz Usuwanie klastrów

Uaktualnianie klastrów

Zobacz Uaktualnianie klastra usługi HDInsight do nowszej wersji.

Otwieranie internetowego interfejsu użytkownika systemu Apache Ambari

System Ambari udostępnia intuicyjny, łatwy w użyciu internetowy interfejs użytkownika zarządzania platformą Hadoop wspierany przez interfejsy API RESTful. System Ambari umożliwia administratorom systemu zarządzanie klastrami Hadoop i monitorowanie ich.

Na stronie głównej klastra:

  1. Wybierz pozycję Pulpity nawigacyjne klastra.

    HDInsight Apache Hadoop cluster menu.

  2. Wybierz pozycję Strona główna systemu Ambari na nowej stronie.

  3. Wprowadź nazwę użytkownika i hasło klastra. Domyślna nazwa użytkownika klastra to administrator.

Aby uzyskać więcej informacji, zobacz Manage HDInsight clusters by using the Apache Ambari Web UI (Zarządzanie klastrami usługi HDInsight przy użyciu internetowego interfejsu użytkownika platformy Apache Ambari).

Zmienianie haseł

Klaster usługi HDInsight może mieć dwa konta użytkowników. Konto użytkownika klastra usługi HDInsight (konto użytkownika HTTP) i konto użytkownika SSH są tworzone podczas procesu tworzenia. Możesz użyć portalu, aby zmienić hasło konta użytkownika klastra i akcje skryptu, aby zmienić konto użytkownika SSH.

Zmienianie hasła użytkownika klastra

Uwaga

Zmiana hasła użytkownika klastra (administratora) może spowodować niepowodzenie akcji skryptu dla tego klastra. Jeśli masz jakiekolwiek utrwalone akcje skryptu przeznaczone dla węzłów procesu roboczego, te skrypty mogą zakończyć się niepowodzeniem po dodaniu węzłów do klastra za pomocą operacji zmiany rozmiaru. Aby uzyskać więcej informacji na temat akcji skryptu, zobacz Dostosowywanie klastrów usługi HDInsight przy użyciu akcji skryptu.

Na stronie głównej klastra:

  1. Wybierz pozycję SSH + Logowanie do klastra w obszarze Ustawienia.
  2. Wybierz pozycję Resetuj poświadczenia.
  3. Wprowadź i potwierdź nowe hasło w polach tekstowych.
  4. Wybierz przycisk OK.

Hasło jest zmieniane we wszystkich węzłach w klastrze.

Zmienianie hasła użytkownika SSH lub klucza publicznego

  1. Za pomocą edytora tekstów zapisz następujący tekst jako plik o nazwie changecredentials.sh.

    Ważne

    Musisz użyć edytora, który używa LF jako zakończenia wiersza. Jeśli edytor używa crLF, skrypt nie działa.

    #! /bin/bash
USER=$1
PASS=$2
usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER

  2. Przekaż plik do lokalizacji magazynu, do którego można uzyskać dostęp z usługi HDInsight przy użyciu adresu HTTP lub HTTPS. Na przykład publiczny magazyn plików, taki jak OneDrive lub Azure Blob Storage. Zapisz identyfikator URI (adres HTTP lub HTTPS) w pliku, ponieważ ten identyfikator URI jest wymagany w następnym kroku.

  3. Na stronie głównej klastra wybierz pozycję Akcje skryptu w obszarze Ustawienia.

  4. Na stronie Akcje skryptu wybierz pozycję Prześlij nowy.

  5. Na stronie akcji Prześlij skrypt wprowadź następujące informacje:

Uwaga

Hasła SSH nie mogą zawierać następujących znaków:

" ' ` / \ < % ~ | $ & ! #

Pole Wartość
Typ skryptu Wybierz pozycję — Niestandardowe z listy rozwijanej.
Nazwisko "Zmienianie poświadczeń protokołu SSH"
Identyfikator URI skryptu powłoki Bash Identyfikator URI do pliku changecredentials.sh
Typy węzłów: (Head, Worker, Nimbus, Supervisor lub Zookeeper). √ dla wszystkich typów węzłów wymienionych
Parametry Wprowadź nazwę użytkownika SSH, a następnie nowe hasło. Powinna istnieć jedna spacja między nazwą użytkownika a hasłem.
Utrw tę akcję skryptu... Pozostaw to pole niezaznaczone.
  1. Wybierz pozycję Utwórz , aby zastosować skrypt. Po zakończeniu działania skryptu możesz nawiązać połączenie z klastrem przy użyciu protokołu SSH z nowymi poświadczeniami.

Znajdowanie identyfikatora subskrypcji

Każdy klaster jest powiązany z subskrypcją platformy Azure. Identyfikator subskrypcji platformy Azure jest widoczny na stronie głównej klastra.

Znajdowanie grupy zasobów

W trybie usługi Azure Resource Manager każdy klaster usługi HDInsight jest tworzony za pomocą grupy usługi Azure Resource Manager. Grupa usługi Resource Manager jest widoczna na stronie głównej klastra.

Znajdowanie kont magazynu

Klastry usługi HDInsight używają konta usługi Azure Storage lub usługi Azure Data Lake Storage do przechowywania danych. Każdy klaster usługi HDInsight może mieć jedno domyślne konto magazynu i kilka połączonych kont magazynu. Aby wyświetlić listę kont magazynu, na stronie głównej klastra w obszarze Ustawienia wybierz pozycję Konta magazynu.

Monitorowanie zadań

Zobacz Manage HDInsight clusters by using the Apache Ambari Web UI (Zarządzanie klastrami usługi HDInsight przy użyciu internetowego interfejsu użytkownika platformy Apache Ambari).

Rozmiar klastra

Kafelek Rozmiar klastra ze strony głównejklastra zawiera liczbę rdzeni przydzielonych do tego klastra oraz sposób przydzielania ich dla węzłów w tym klastrze.

Ważne

Aby monitorować usługi udostępniane przez klaster usługi HDInsight, należy użyć sieci Web systemu Ambari lub interfejsu API REST systemu Ambari. Aby uzyskać więcej informacji na temat korzystania z systemu Ambari, zobacz Manage HDInsight clusters using Apache Ambari (Zarządzanie klastrami usługi HDInsight przy użyciu narzędzia Apache Ambari)

Łączenie z klastrem

Następne kroki

W tym artykule przedstawiono podstawowe funkcje administracyjne. Więcej informacji można znaleźć w następujących artykułach: