Udostępnij za pośrednictwem

Tworzenie klastra Apache Flink® w usłudze HDInsight w usłudze AKS za pomocą witryny Azure Portal

  • Artykuł

Ważne

Ta funkcja jest aktualnie dostępna jako funkcja podglądu. Dodatkowe warunki użytkowania dla wersji zapoznawczych platformy Microsoft Azure obejmują więcej warunków prawnych, które dotyczą funkcji platformy Azure, które znajdują się w wersji beta, w wersji zapoznawczej lub w inny sposób nie zostały jeszcze wydane w wersji ogólnodostępnej. Aby uzyskać informacje o tej konkretnej wersji zapoznawczej, zobacz Informacje o wersji zapoznawczej usługi Azure HDInsight w usłudze AKS. W przypadku pytań lub sugestii dotyczących funkcji prześlij żądanie w usłudze AskHDInsight , aby uzyskać szczegółowe informacje i postępuj zgodnie z nami, aby uzyskać więcej aktualizacji w społeczności usługi Azure HDInsight.

Wykonaj poniższe kroki, aby utworzyć klaster Apache Flink w witrynie Azure Portal.

Wymagania wstępne

Wypełnij wymagania wstępne w następujących sekcjach:

Ważne

  • Aby utworzyć klaster w nowej puli klastrów, przypisz rolę "Operator tożsamości zarządzanej" usługi AKS agentpool dla tożsamości zarządzanej przypisanej przez użytkownika w ramach wymagań wstępnych dotyczących zasobów. Jeśli masz wymagane uprawnienia, ten krok jest zautomatyzowany podczas tworzenia.
  • Tożsamość zarządzana puli agentów usługi AKS jest tworzona podczas tworzenia puli klastrów. Tożsamość zarządzaną puli agentów usługi AKS można zidentyfikować za pomocą puli agentów (nazwa puli klastrów)-agentpool. Wykonaj następujące kroki, aby przypisać rolę.

Klastry migania Flink można utworzyć po zakończeniu wdrażania puli klastrów. Przejdźmy do kroków, jeśli rozpoczynasz pracę z istniejącą pulą klastrów

  1. W witrynie Azure Portal wpisz pule klastrów usługi HDInsight/HDInsight/HDInsight w usłudze AKS i wybierz pozycję Azure HDInsight w pulach klastrów usługi AKS, aby przejść do strony pul klastrów. Na stronie Pule klastrów usługi HDInsight w usłudze AKS wybierz pulę klastrów, w której chcesz utworzyć nowy klaster Flink.

    Diagram przedstawiający pasek wyszukiwania w witrynie Azure Portal.

  2. Na określonej stronie puli klastrów kliknij pozycję + Nowy klaster i podaj następujące informacje:

    Właściwości Opis
    Subskrypcja To pole jest wypełniane automatycznie przy użyciu subskrypcji platformy Azure zarejestrowanej dla puli klastrów.
    Grupa zasobów To pole jest wypełniane automatycznie i pokazuje grupę zasobów w puli klastrów.
    Region (Region) To pole jest wypełniane automatycznie i pokazuje region wybrany w puli klastrów.
    Pula klastrów To pole jest wypełniane automatycznie i pokazuje nazwę puli klastra, w której klaster jest teraz tworzony. Aby utworzyć klaster w innej puli, znajdź pulę klastrów w portalu i kliknij pozycję + Nowy klaster.
    Wersja puli usługi HDInsight w usłudze AKS To pole jest wypełniane automatycznie i pokazuje wersję puli klastrów, w której klaster jest teraz tworzony.
    Usługa HDInsight w wersji usługi AKS Wybierz wersję pomocniczą lub poprawkową usługi HDInsight w usłudze AKS nowego klastra.
    Typ klastra Z listy rozwijanej wybierz pozycję Flink.
    Nazwa klastra Wprowadź nazwę nowego klastra.
    Tożsamość zarządzana przypisana przez użytkownika Z listy rozwijanej wybierz tożsamość zarządzaną, która ma być używana z klastrem. Jeśli jesteś właścicielem tożsamości usługi zarządzanej (MSI), a tożsamość usługi zarządzanej nie ma roli Operatora tożsamości zarządzanej w klastrze, kliknij link poniżej pola, aby przypisać uprawnienia wymagane z tożsamości usługi AKS msi puli agentów. Jeśli tożsamość usługi zarządzanej ma już odpowiednie uprawnienia, nie jest wyświetlany link. Zobacz Wymagania wstępne dotyczące innych przypisań ról wymaganych dla tożsamości usługi zarządzanej.
    Konto magazynu Z listy rozwijanej wybierz konto magazynu do skojarzenia z klastrem Flink i określ nazwę kontenera. Tożsamość zarządzana jest dodatkowo udzielana dostęp do określonego konta magazynu przy użyciu roli "Właściciel danych obiektu blob usługi Storage" podczas tworzenia klastra.
    Sieć wirtualna Sieć wirtualna klastra.
    Podsieć Podsieć wirtualna klastra.

  3. Włączanie wykazu programu Hive dla języka Flink SQL.

    Właściwości opis
    Korzystanie z wykazu programu Hive Włącz tę opcję, aby użyć zewnętrznego magazynu metadanych Hive.
    SQL Database for Hive Z listy rozwijanej wybierz bazę danych SQL Database, w której chcesz dodać tabele hive-metastore.
    Nazwa użytkownika administratora SQL Wprowadź nazwę użytkownika administratora programu SQL Server. To konto jest używane przez magazyn metadanych do komunikowania się z bazą danych SQL.
    Magazyn kluczy Z listy rozwijanej wybierz usługę Key Vault zawierającą wpis tajny z hasłem dla nazwy użytkownika administratora programu SQL Server. Wymagane jest skonfigurowanie zasad dostępu ze wszystkimi wymaganymi uprawnieniami, takimi jak uprawnienia klucza, uprawnienia wpisu tajnego i uprawnienia certyfikatu do tożsamości usługi zarządzanej, które są używane do tworzenia klastra. Tożsamość usługi zarządzanej wymaga roli Administracja istratora usługi Key Vault, dodaj wymagane uprawnienia przy użyciu funkcji zarządzania dostępem i tożsamościami.
    Nazwa wpisu tajnego hasła SQL Wprowadź nazwę wpisu tajnego z usługi Key Vault, w której jest przechowywane hasło bazy danych SQL.

    Zrzut ekranu przedstawiający kartę podstawową.

    Uwaga

    Domyślnie używamy konta magazynu dla katalogu programu Hive tak samo jak konto magazynu i kontener używany podczas tworzenia klastra.

  4. Wybierz pozycję Dalej: Konfiguracja , aby kontynuować.

  5. Na stronie Konfiguracja podaj następujące informacje:

    Właściwości opis
    Rozmiar węzła Wybierz rozmiar węzła, który ma być używany dla węzłów połączenia Flink, zarówno węzłów głównych, jak i roboczych.
    Liczba węzłów Wybierz liczbę węzłów dla klastra Flink; domyślnie węzły główne to dwa. Ustalanie rozmiaru węzłów roboczych pomaga określić konfiguracje menedżera zadań dla linku Flink. Menedżer zadań i serwer historii znajdują się w węzłach głównych.

  6. W sekcji Konfiguracja usługi podaj następujące informacje:

    Właściwości opis
    Procesor CPU menedżera zadań Liczba całkowita. Wprowadź rozmiar procesorów menedżera zadań (w rdzeniach).
    Pamięć menedżera zadań w MB Wprowadź rozmiar pamięci menedżera zadań w MB. Minimalna wartość 1800 MB.
    Procesor CPU menedżera zadań Liczba całkowita. Wprowadź liczbę procesorów DLA menedżera zadań (w rdzeniach).
    Pamięć menedżera zadań w MB Wprowadź rozmiar pamięci w MB. Minimum of 1800 MB.
    Procesor CPU serwera historii Liczba całkowita. Wprowadź liczbę procesorów DLA menedżera zadań (w rdzeniach).
    Pamięć serwera historii w MB Wprowadź rozmiar pamięci w MB. Minimum of 1800 MB.

    zrzut ekranu przedstawiający kartę konfiguracji.

    Uwaga

    • Serwer historii można włączyć/wyłączyć zgodnie z wymaganiami.
    • Automatyczne skalowanie oparte na harmonogramie jest obsługiwane w języku Flink. Liczbę węzłów procesu roboczego można zaplanować zgodnie z potrzebami. Na przykład jest włączona funkcja automatycznego skalowania opartego na harmonogramie z domyślną liczbą węzłów procesu roboczego jako 3. A w dni powszednie od 9:00 UTC do 20:00 UTC węzły procesu roboczego mają być 10. Później w ciągu dnia należy domyślnie ustawić 3 węzły (od 20:00 UTC do następnego dnia 09:00 UTC). W weekendy od 9:00 UTC do 20:00 UTC węzły procesu roboczego to 4.

  7. W sekcji Autoskaluj i SSH zaktualizuj następujące informacje:

    Właściwości opis
    Automatyczne skalowanie Po wybraniu opcji można wybrać automatyczne skalowanie oparte na harmonogramie, aby skonfigurować harmonogram operacji skalowania.
    Włączanie protokołu SSH Po wybraniu opcji możesz wybrać łączną wymaganą liczbę węzłów SSH, które są punktami dostępu dla interfejsu wiersza polecenia Flink przy użyciu protokołu Secure Shell. Maksymalna dozwolona liczba węzłów SSH wynosi 5.

    Zrzut ekranu przedstawiający konfigurację usługi autoskalowania.

    Zrzut ekranu przedstawiający reguły automatycznego skalowania.

  8. Kliknij przycisk Dalej: Integracja, aby przejść do następnej strony.

  9. Na stronie Integracja podaj następujące informacje:

    Właściwości opis
    Analiza dziennika Ta funkcja jest dostępna tylko wtedy, gdy pula klastrów ma skojarzony obszar roboczy analizy dzienników, po włączeniu dzienników do zbierania można wybrać.
    Azure Prometheus Ta funkcja polega na wyświetlaniu Szczegółowe informacje i dzienników bezpośrednio w klastrze przez wysyłanie metryk i dzienników do obszaru roboczego usługi Azure Monitor.

    zrzut ekranu przedstawiający kartę integracji.

  10. Kliknij przycisk Dalej: Tagi, aby przejść do następnej strony.

  11. Na stronie Tagi podaj następujące informacje:

    Właściwości Opis
    Nazwa/nazwisko Opcjonalny. Wprowadź nazwę, taką jak usługa HDInsight w usłudze AKS, aby łatwo zidentyfikować wszystkie zasoby skojarzone z zasobami klastra.
    Wartość Możesz pozostawić to pole puste.
    Zasób Wybierz pozycję Wszystkie zasoby.

  12. Wybierz pozycję Dalej: Przejrzyj i utwórz , aby kontynuować.

  13. Na stronie Przeglądanie i tworzenie poszukaj komunikatu Weryfikacja powiodła się w górnej części strony, a następnie kliknij przycisk Utwórz.

Zostanie wyświetlona strona Wdrażanie, na której jest tworzony klaster. Utworzenie klastra trwa od 5 do 10 minut. Po utworzeniu klastra zostanie wyświetlony komunikat "Wdrożenie zostało ukończone". Jeśli odejdziesz od strony, możesz sprawdzić powiadomienia pod kątem bieżącego stanu.

Uwaga

Nazwy projektów apache, Apache Flink, Flink i skojarzone z nimi są znakami towarowymiprogramu Apache Software Foundation (ASF).