Tworzenie klastra Spark w usłudze HDInsight w usłudze AKS (wersja zapoznawcza)
Uwaga
Wycofamy usługę Azure HDInsight w usłudze AKS 31 stycznia 2025 r. Przed 31 stycznia 2025 r. należy przeprowadzić migrację obciążeń do usługi Microsoft Fabric lub równoważnego produktu platformy Azure, aby uniknąć nagłego zakończenia obciążeń. Pozostałe klastry w ramach subskrypcji zostaną zatrzymane i usunięte z hosta.
Tylko podstawowa pomoc techniczna będzie dostępna do daty wycofania.
Ważne
Ta funkcja jest aktualnie dostępna jako funkcja podglądu. Dodatkowe warunki użytkowania dla wersji zapoznawczych platformy Microsoft Azure obejmują więcej warunków prawnych, które dotyczą funkcji platformy Azure, które znajdują się w wersji beta, w wersji zapoznawczej lub w inny sposób nie zostały jeszcze wydane w wersji ogólnodostępnej. Aby uzyskać informacje o tej konkretnej wersji zapoznawczej, zobacz Informacje o wersji zapoznawczej usługi Azure HDInsight w usłudze AKS. W przypadku pytań lub sugestii dotyczących funkcji prześlij żądanie w usłudze AskHDInsight , aby uzyskać szczegółowe informacje i postępuj zgodnie z nami, aby uzyskać więcej aktualizacji w społeczności usługi Azure HDInsight.
Po zakończeniu kroków wymagań wstępnych i wymagań wstępnych dotyczących subskrypcji i wdrożeniu puli klastrów przejdź do tworzenia klastra Spark za pomocą witryny Azure Portal. Za pomocą witryny Azure Portal można utworzyć klaster Apache Spark w puli klastrów. Następnie możesz utworzyć notes Jupyter Notebook i użyć go do uruchamiania zapytań Spark SQL względem tabel apache Hive.
W witrynie Azure Portal wpisz pule klastrów i wybierz pule klastrów, aby przejść do strony pul klastrów. Na stronie Pule klastrów wybierz pulę klastrów, w której można dodać nowy klaster Spark.
Na określonej stronie puli klastrów kliknij pozycję + Nowy klaster.
Ten krok powoduje otwarcie strony tworzenia klastra.
Właściwości Opis Subskrypcja Subskrypcja platformy Azure, która została zarejestrowana do użycia z usługą HDInsight w usłudze AKS w sekcji Wymagania wstępne, zostanie wstępnie wypełniona Grupa zasobów Ta sama grupa zasobów co pula klastrów zostanie wstępnie wypełniona Region (Region) Ten sam region co pula klastrów i wirtualna zostaną wstępnie wypełnione Pula klastrów Nazwa puli klastrów zostanie wstępnie wypełniona Wersja puli usługi HDInsight Wersja puli klastrów zostanie wstępnie wypełniona z wyboru tworzenia puli Usługa HDInsight w wersji usługi AKS Określanie usługi HDI w wersji usługi AKS Typ klastra Z listy rozwijanej wybierz pozycję Spark Wersja klastra Wybierz wersję obrazu, która ma być używana Nazwa klastra Wprowadź nazwę nowego klastra Tożsamość zarządzana przypisana przez użytkownika Wybierz tożsamość zarządzaną przypisaną przez użytkownika, która będzie działać jako parametry połączenia z magazynem Konto magazynu Wybierz wstępnie utworzone konto magazynu, które ma być używane jako magazyn podstawowy dla klastra Nazwa kontenera Wybierz nazwę kontenera (unikatową) w przypadku wstępnie utworzonego lub utworzenia nowego kontenera Katalog hive (opcjonalnie) Wybierz wstępnie utworzony magazyn metadanych Hive (Azure SQL DB) SQL Database for Hive Z listy rozwijanej wybierz bazę danych SQL Database, w której chcesz dodać tabele hive-metastore. Nazwa użytkownika administratora SQL Wprowadź nazwę użytkownika administratora SQL Magazyn kluczy Z listy rozwijanej wybierz usługę Key Vault zawierającą wpis tajny z hasłem dla nazwy użytkownika administratora SQL Nazwa wpisu tajnego hasła SQL Wprowadź nazwę wpisu tajnego z usługi Key Vault, w której jest przechowywane hasło bazy danych SQL Uwaga
- Obecnie usługa HDInsight obsługuje tylko bazy danych programu MS SQL Server.
- Ze względu na ograniczenie programu Hive znak "-" (łącznik) w nazwie bazy danych magazynu metadanych nie jest obsługiwany.
Wybierz pozycję Dalej: Konfiguracja i cennik , aby kontynuować.
Właściwości opis Rozmiar węzła Wybierz rozmiar węzła do użycia dla węzłów platformy Spark Liczba węzłów procesu roboczego Wybierz liczbę węzłów dla klastra Spark. Spośród nich trzy węzły są zarezerwowane dla usług koordynatora i systemu, pozostałe węzły są przeznaczone dla pracowników platformy Spark, jednego procesu roboczego na węzeł. Na przykład w klastrze z pięcioma węzłami istnieją dwa procesy robocze Skalowanie automatyczne Kliknij przycisk przełącznika, aby włączyć autoskalowanie Typ autoskalu Wybieranie z automatycznego skalowania opartego na obciążeniu lub harmonogramu Graceful decomission limit czasu Określanie limitu czasu likwidu wdzięku Brak domyślnego węzła roboczego Wybieranie liczby węzłów do automatycznego skalowania Strefa czasowa Wybierz strefę czasową Reguły automatycznego skalowania Wybierz dzień, godzinę rozpoczęcia, godzinę zakończenia, nie. węzłów procesu roboczego Włączanie protokołu SSH Jeśli to ustawienie jest włączone, umożliwia zdefiniowanie prefiksu i liczby węzłów SSH Kliknij przycisk Dalej: Integracje , aby włączyć i wybrać pozycję Log Analytics na potrzeby rejestrowania.
Usługa Azure Prometheus do monitorowania i metryk można włączyć po utworzeniu klastra.
Kliknij przycisk Dalej: Tagi , aby przejść do następnej strony.
Na stronie Tagi wprowadź wszelkie tagi, które chcesz dodać do zasobu.
Właściwości Opis Nazwa/nazwisko Opcjonalny. Wprowadź nazwę, taką jak usługa HDInsight w prywatnej wersji zapoznawczej usługi AKS, aby łatwo zidentyfikować wszystkie zasoby skojarzone z zasobami Wartość Pozostaw to pole puste Zasób Wybierz pozycję Wszystkie wybrane zasoby Kliknij przycisk Dalej: Przejrzyj i utwórz.
Na stronie Przeglądanie i tworzenie poszukaj komunikatu Weryfikacja powiodła się w górnej części strony, a następnie kliknij przycisk Utwórz.
Zostanie wyświetlona strona Wdrażanie, na której jest tworzony klaster. Utworzenie klastra trwa od 5 do 10 minut. Po utworzeniu klastra zostanie wyświetlony komunikat Wdrożenie zostanie ukończone . Jeśli odejdziesz od strony, możesz sprawdzić stan Powiadomienia.
Przejdź do strony przeglądu klastra. Możesz tam wyświetlić linki do punktów końcowych.
