Tworzenie klastra usługi HDInsight używającego Strefy dostępności

  • Artykuł

Klaster usługi Azure HDInsight składa się z wielu węzłów (węzłów głównych, węzłów procesu roboczego, węzłów bramy i węzłów dozorcy). Domyślnie w regionie obsługującym Strefy dostępności użytkownik nie ma kontroli nad tym, które węzły klastra są aprowidowane w której strefie dostępności.

Dzięki tej nowej funkcji strefy dostępności użytkownik może teraz określić, która strefa dostępności powinna hostować wszystkie węzły klastra usługi HDInsight. Węzły klastra są fizycznie oddzielone od innej strefy dostępności i są odizolowane od awarii w innych Strefy dostępności w tym samym regionie. Ten model wdrażania zapewnia również niedrogie, małe opóźnienia łączności sieciowej w klastrze.

Replikowanie tego modelu wdrażania do wielu Strefy dostępności może zapewnić wyższy poziom dostępności w celu ochrony przed awariami sprzętowymi.

W tym artykule pokazano, jak utworzyć klaster usługi HDInsight w strefie dostępności i jak używać tej funkcji do uzyskania wyższej dostępności.

Zanim rozpoczniesz

Funkcja strefy dostępności jest obsługiwana tylko w przypadku klastrów utworzonych po 15 czerwca. Nie można zaktualizować ustawień strefy dostępności po utworzeniu klastra. Nie można również zaktualizować istniejącego klastra strefy niedostępnej w celu korzystania ze stref dostępności.

Wymagania wstępne i dostępność regionów

Wymagania wstępne:

  • Klastry muszą być tworzone w ramach niestandardowej sieci wirtualnej.
  • Musisz przenieść własną bazę danych SQL db dla bazy danych Ambari i zewnętrznego magazynu metadanych (na przykład magazynu metadanych Hive), aby można było skonfigurować te bazy danych w tej samej strefie dostępności.

Klastry usługi HDInsight można obecnie tworzyć przy użyciu stref dostępności w następujących regionach:

  • Australia Wschodnia
  • Brazylia Południowa
  • Kanada Środkowa
  • Central US
  • East US
  • Wschodnie stany USA 2
  • Francja Środkowa
  • Niemcy Środkowo-Zachodnie
  • Japonia Wschodnia
  • Korea Środkowa
  • Europa Północna
  • Southeast Asia
  • South Central US
  • Południowe Zjednoczone Królestwo
  • US Gov Wirginia
  • West Europe
  • Zachodnie stany USA 2

Omówienie stref dostępności dla klastrów usługi HDInsight

Strefy dostępności to unikatowe lokalizacje fizyczne w obrębie regionu. Każda strefa składa się z co najmniej jednego centrum danych wyposażonego w niezależne zasilanie, chłodzenie i sieć. Na platformie Azure region zawiera co najmniej jedną Strefy dostępności. Ta fizyczna separacja stref dostępności w regionie chroni aplikacje i dane przed awariami centrum danych. Aby uzyskać więcej informacji, zobacz Co to są strefy dostępności na platformie Azure.

Klastry usługi Azure HDInsight można skonfigurować do wdrożenia w jednej strefie dostępności. Wszystkie węzły w tym klastrze usługi HDInsight, w tym dwa węzły główne, trzy węzły dozorcy, dwa węzły bramy i węzły robocze zostaną umieszczone w określonej strefie dostępności. Na przykład istnieją trzy strefy dostępności w regionie Wschodnie stany USA. Klaster usługi HDInsight w regionie Wschodnie stany USA można utworzyć ze wszystkimi węzłami w strefie dostępności 1.

Użycie stref dostępności z klastrem usługi HDInsight w ten sposób może zapewnić korzyści zarówno w zakresie wydajności, jak i kosztów:

  • Lepsza wydajność z powodu małych opóźnień łączności sieciowej
  • Niższy koszt: transfer danych w tej samej strefie dostępności jest bezpłatny. Transfer danych w strefie dostępności spowoduje naliczanie dodatkowych kosztów sieci.

Jeśli aplikacja wymaga wysokiej dostępności w wielu strefach dostępności, możesz utworzyć jeden podstawowy klaster usługi HDInsight w jednej strefie dostępności i utworzyć pomocniczy klaster usługi HDInsight w innej strefie dostępności z minimalnym rozmiarem, aby zaoszczędzić koszty. W przypadku tego projektu, jeśli jedna z pozostałych stref dostępności ulegnie awarii, ten klaster usługi HDInsight nie będzie mieć wpływu. Jeśli ta strefa dostępności ulegnie awarii, klienci muszą przełączyć klastry pomocnicze w innej strefie dostępności na podstawową, kierować obciążenie do tego nowego klastra podstawowego i szybko skalować w górę rozmiar klastra, aby pobrać przetwarzanie danych.

Tworzenie klastra usługi HDInsight przy użyciu strefy dostępności

Szablon usługi Azure Resource Manager (ARM) umożliwia uruchomienie klastra usługi HDInsight w określonej strefie dostępności.

W sekcji resources (zasoby) należy dodać sekcję "zones" (strefy) i określić strefę dostępności, do której ma zostać wdrożony ten klaster.

   "resources": [
        {
            "type": "Microsoft.HDInsight/clusters",
            "apiVersion": "2021-06-01",
            "name": "[parameters('cluster name')]",
            "location": "East US 2",
            "zones": [
                "1"
            ],

Weryfikowanie węzłów w jednej strefie dostępności między strefami

Gdy klaster usługi HDInsight jest gotowy, możesz sprawdzić lokalizację, aby sprawdzić, w której strefie dostępności są one wdrażane.

Screenshot sthat hows availability zone info in cluster overview.

Uzyskiwanie odpowiedzi interfejsu API:

 [
        {
            "location": "East US 2",
            "zones": [
                "1"
            ],

Skalowanie klastra w górę

Klaster usługi HDInsight można skalować w górę przy użyciu większej liczby węzłów roboczych. Nowo dodane węzły robocze zostaną umieszczone w tej samej strefie dostępności tego klastra.

Najlepsze rozwiązania

  • Regularnie wykonuje kopię zapasową konfiguracji w bazie danych Ambari.
  • Zaimplementuj logikę, aby łatwo kierować obciążenie do klastra pomocniczego.

Kiedy az ulegnie awarii, czego można oczekiwać

  • Nie można połączyć się z tym klastrem za pomocą protokołu SSH
  • Nie można usunąć ani skalować w górę ani skalować w dół tego klastra
  • Nie można przesyłać zadań ani wyświetlać historii zadań
  • Nadal możesz przesłać nowe żądanie utworzenia klastra w innym regionie