Udostępnij za pośrednictwem


Wymagania wstępne dotyczące zasobów

W tym artykule szczegółowo przedstawiono zasoby wymagane do rozpoczęcia pracy z usługą HDInsight w usłudze AKS. Obejmuje niezbędne i opcjonalne zasoby oraz sposób ich tworzenia.

Niezbędne zasoby

W poniższej tabeli przedstawiono niezbędne zasoby wymagane do utworzenia klastra na podstawie typów klastrów.

Obciążenie Tożsamość usługi zarządzanej (MSI, Managed Service Identity) Storage SQL Server — SQL Database Key Vault
Trino
platforma Spark
Trino, Flink lub Spark z magazynem metadanych Hive (HMS)

Uwaga

Tożsamość usługi zarządzanej jest używana jako standard zabezpieczeń uwierzytelniania i autoryzacji między zasobami, z wyjątkiem usługi SQL Database. Przypisanie roli ma miejsce przed wdrożeniem w celu autoryzowania tożsamości usługi zarządzanej do magazynu, a wpisy tajne są przechowywane w magazynie kluczy dla usługi SQL Database. Obsługa magazynu jest oparta na usłudze ADLS Gen2 i jest używana jako magazyn danych dla aparatów obliczeniowych, a usługa SQL Database jest używana do zarządzania tabelami w magazynie metadanych Hive.

Zasoby opcjonalne

Uwaga

  • Sieć wirtualna wymaga podsieci bez istniejącej tabeli tras skojarzonej z nią.
  • Usługa HDInsight w usłudze AKS umożliwia korzystanie z własnej sieci wirtualnej i podsieci, co umożliwia dostosowanie wymagań sieciowych do potrzeb przedsiębiorstwa.
  • Obszar roboczy usługi Log Analytics jest opcjonalny i należy go utworzyć na wypadek, gdy chcesz korzystać z funkcji usługi Azure Monitor, takich jak Azure Log Analytics.

Niezbędne zasoby można utworzyć na dwa sposoby:

Korzystanie z szablonów usługi ARM

Poniższe szablony usługi ARM umożliwiają utworzenie określonych niezbędnych zasobów, jednym kliknięciem przy użyciu prefiksu zasobu i dodatkowych szczegółów zgodnie z potrzebami.

Jeśli na przykład podasz prefiks zasobu jako "pokaz", w grupie zasobów zostaną utworzone następujące zasoby w zależności od wybranego szablonu —

  • Tożsamość usługi zarządzanej jest tworzona z nazwą .demoMSI
  • Magazyn jest tworzony z nazwą wraz demostore z kontenerem jako democontainer.
  • Magazyn kluczy jest tworzony z nazwą wraz demoKeyVault z wpisem tajnym podanym jako parametr w szablonie.
  • Baza danych Azure SQL Database jest tworzona z nazwą oraz demoSqlDB programem SQL Server o nazwie .demoSqlServer
Obciążenie Wymagania wstępne
Trino Utwórz wymienione zasoby w następujący sposób:
1. Tożsamość usługi zarządzanej (MSI): tożsamość zarządzana przypisana przez użytkownika.

Wdrażanie programu Trino na platformie Azure
Utwórz wymienione zasoby w następujący sposób:
1. Tożsamość usługi zarządzanej (MSI): tożsamość zarządzana przypisana przez użytkownika.
2. Konto magazynu usługi ADLS Gen2 i kontener.

Przypisania ról:
1. Przypisuje rolę "Właściciel danych obiektu blob usługi Storage" do przypisanej przez użytkownika tożsamości usługi zarządzanej na koncie magazynu.

Wdrażanie narzędzia Apache Flink na platformie Azure
platforma Spark Utwórz wymienione zasoby w następujący sposób:
1. Tożsamość usługi zarządzanej (MSI): tożsamość zarządzana przypisana przez użytkownika.
2. Konto magazynu usługi ADLS Gen2 i kontener.

Przypisania ról:
1. Przypisuje rolę "Właściciel danych obiektu blob usługi Storage" do przypisanej przez użytkownika tożsamości usługi zarządzanej na koncie magazynu.

Wdrażanie platformy Spark na platformie Azure
Trino, Flink lub Spark z magazynem metadanych Hive (HMS) Utwórz wymienione zasoby w następujący sposób:
1. Tożsamość usługi zarządzanej (MSI): tożsamość zarządzana przypisana przez użytkownika.
2. Konto magazynu usługi ADLS Gen2 i kontener.
3. Usługi Azure SQL Server i SQL Database.
4. Usługa Azure Key Vault i wpis tajny do przechowywania poświadczeń administratora programu SQL Server.

Przypisania ról:
1. Przypisuje rolę "Właściciel danych obiektu blob usługi Storage" do przypisanej przez użytkownika tożsamości usługi zarządzanej na koncie magazynu.
2. Przypisuje rolę "Użytkownik wpisów tajnych usługi Key Vault" do przypisanej przez użytkownika tożsamości usługi zarządzanej w usłudze Key Vault.

Wdrażanie rozwiązania Trino HMS na platformie Azure

Uwaga

Użycie tych szablonów usługi ARM wymaga od użytkownika uprawnienia do tworzenia nowych zasobów i przypisywania ról do zasobów w subskrypcji.

Przy użyciu witryny Azure Portal

Tworzenie tożsamości zarządzanej przypisanej przez użytkownika (MSI)

Tożsamość zarządzana to tożsamość zarejestrowana w usłudze Microsoft Entra ID (Microsoft Entra ID), której poświadczenia zarządzane przez platformę Azure. W przypadku tożsamości zarządzanych nie musisz rejestrować jednostek usługi w usłudze Microsoft Entra ID, aby obsługiwać poświadczenia, takie jak certyfikaty.

Usługa HDInsight w usłudze AKS korzysta z tożsamości usługi zarządzanej przypisanej przez użytkownika do komunikacji między różnymi składnikami.

Tworzenie konta magazynu — ADLS Gen 2

Konto magazynu jest używane jako domyślna lokalizacja dzienników klastra i innych danych wyjściowych. Włącz hierarchiczną przestrzeń nazw podczas tworzenia konta magazynu do użycia jako magazyn usługi ADLS Gen2.

  1. Przypisz rolę: przypisz rolę "Właściciel danych obiektu blob usługi Storage" do przypisanej przez użytkownika tożsamości usługi zarządzanej utworzonej na tym koncie magazynu.

  2. Utwórz kontener: po utworzeniu konta magazynu utwórz kontener na koncie magazynu.

Uwaga

Dostępna jest również opcja utworzenia kontenera podczas tworzenia klastra.

Tworzenie usługi Azure SQL Database

Utwórz bazę danych Azure SQL Database do użycia jako zewnętrzny magazyn metadanych podczas tworzenia klastra lub możesz użyć istniejącej bazy danych SQL Database. Upewnij się jednak, że ustawiono następujące właściwości.

Wymagane właściwości do włączenia dla programu SQL Server i usługi SQL Database-

Typ zasobu Właściwości opis
SQL Server Metoda uwierzytelniania Podczas tworzenia programu SQL Server użyj metody "Metoda uwierzytelniania" jako
Zrzut ekranu przedstawiający sposób wybierania metody uwierzytelniania.
SQL Database Zezwalaj usługom i zasobom platformy Azure na dostęp do tego serwera Włącz tę właściwość w bloku Sieć w bazie danych SQL w witrynie Azure Portal.

Uwaga

  • Obecnie obsługujemy tylko usługę Azure SQL Database jako wbudowany magazyn metadanych.
  • Ze względu na ograniczenie programu Hive znak "-" (łącznik) w nazwie bazy danych magazynu metadanych nie jest obsługiwany.
  • Usługa Azure SQL Database powinna znajdować się w tym samym regionie co klaster.
  • Dostępna jest również opcja utworzenia bazy danych SQL Database podczas tworzenia klastra. Należy jednak odświeżyć stronę tworzenia klastra, aby nowo utworzona baza danych pojawiła się na liście rozwijanej.

Tworzenie usługi Azure Key Vault

Usługa Key Vault umożliwia przechowywanie hasła administratora programu SQL Server ustawionego podczas tworzenia usługi SQL Database. Usługa HDInsight na platformie AKS nie zajmuje się bezpośrednio poświadczeniami. W związku z tym należy przechowywać ważne poświadczenia w usłudze Key Vault.

  1. Przypisz rolę: przypisz rolę "Użytkownik wpisów tajnych usługi Key Vault" do przypisanej przez użytkownika tożsamości usługi zarządzanej utworzonej w ramach niezbędnych zasobów do tego magazynu kluczy.

  2. Utwórz wpis tajny: ten krok umożliwia przechowywanie hasła administratora programu SQL Server jako wpisu tajnego w usłudze Azure Key Vault. Dodaj hasło w polu "Wartość" podczas tworzenia wpisu tajnego.

Uwaga

  • Pamiętaj, aby zanotować nazwę wpisu tajnego, ponieważ jest to wymagane podczas tworzenia klastra.
  • Aby dodać wpis tajny w usłudze Key Vault przy użyciu witryny Azure Portal, musisz mieć przypisaną rolę "Administrator usługi Key Vault". Przejdź do usługi Key Vault i postępuj zgodnie z instrukcjami dotyczącymi przypisywania roli.