Klaster trybu aplikacji Apache Flink w usłudze HDInsight w usłudze AKS
Uwaga
Wycofamy usługę Azure HDInsight w usłudze AKS 31 stycznia 2025 r. Przed 31 stycznia 2025 r. należy przeprowadzić migrację obciążeń do usługi Microsoft Fabric lub równoważnego produktu platformy Azure, aby uniknąć nagłego zakończenia obciążeń. Pozostałe klastry w ramach subskrypcji zostaną zatrzymane i usunięte z hosta.
Tylko podstawowa pomoc techniczna będzie dostępna do daty wycofania.
Ważne
Ta funkcja jest aktualnie dostępna jako funkcja podglądu. Dodatkowe warunki użytkowania dla wersji zapoznawczych platformy Microsoft Azure obejmują więcej warunków prawnych, które dotyczą funkcji platformy Azure, które znajdują się w wersji beta, w wersji zapoznawczej lub w inny sposób nie zostały jeszcze wydane w wersji ogólnodostępnej. Aby uzyskać informacje o tej konkretnej wersji zapoznawczej, zobacz Informacje o wersji zapoznawczej usługi Azure HDInsight w usłudze AKS. W przypadku pytań lub sugestii dotyczących funkcji prześlij żądanie w usłudze AskHDInsight , aby uzyskać szczegółowe informacje i postępuj zgodnie z nami, aby uzyskać więcej aktualizacji w społeczności usługi Azure HDInsight.
Usługa HDInsight w usłudze AKS oferuje teraz klaster trybu aplikacji Flink. Ten klaster umożliwia zarządzanie cyklem życia trybu aplikacji Flink klastra przy użyciu witryny Azure Portal z łatwym w użyciu interfejsem i interfejsami API REST usługi Azure Resource Management. Klastry trybu aplikacji są przeznaczone do obsługi dużych i długotrwałych zadań z dedykowanymi zasobami oraz obsługi zadań przetwarzania danych intensywnie korzystających z zasobów lub rozbudowanych.
Ten tryb wdrażania umożliwia przypisywanie dedykowanych zasobów dla określonych aplikacji Flink, zapewniając, że mają wystarczającą moc obliczeniową i pamięć do wydajnego obsługi dużych obciążeń.
Zalety
Uproszczone wdrażanie klastra przy użyciu pliku Jar zadań.
Przyjazny dla użytkownika interfejs API REST: usługa HDInsight w usłudze AKS udostępnia przyjazne dla użytkownika interfejsy API REST usługi ARM do zarządzania operacjami zadań trybu aplikacji, takimi jak Update, Savepoint, Cancel, Delete.
Łatwe zarządzanie aktualizacjami zadań i zarządzanie stanem: natywna integracja witryny Azure Portal zapewnia bezproblemowe środowisko aktualizowania zadań i przywracania ich do ostatniego zapisanego stanu (savepoint). Ta funkcja zapewnia ciągłość i integralność danych w całym cyklu życia zadania.
Automatyzowanie zadań Flink przy użyciu usługi Azure Pipelines lub innych narzędzi ciągłej integracji/ciągłego wdrażania: przy użyciu usługi HDInsight w usłudze AKS użytkownicy Flink mają dostęp do przyjaznego dla użytkownika interfejsu API REST usługi ARM. Możesz bezproblemowo zintegrować operacje zadań Flink z usługą Azure Pipeline lub innymi narzędziami ciągłej integracji/ciągłego wdrażania.
Kluczowe cechy i funkcje
Zatrzymywanie i uruchamianie zadań przy użyciu punktów zapisywania: użytkownicy mogą bezpiecznie zatrzymywać i uruchamiać zadania Flink AppMode z poprzedniego stanu (Savepoint). Punkty zapisywania zapewniają zachowanie postępu zadania, umożliwiając bezproblemowe wznawianie.
Aktualizacje zadań: użytkownik może zaktualizować uruchomione zadanie AppMode po zaktualizowaniu pliku jar na koncie magazynu. Ta aktualizacja automatycznie pobiera punkt zapisywania i uruchamia zadanie AppMode przy użyciu nowego pliku jar.
Aktualizacje bezstanowe: ponowne uruchomienie zadania AppMode jest uproszczone za pomocą aktualizacji bezstanowych. Ta funkcja umożliwia użytkownikom zainicjowanie czystego ponownego uruchomienia przy użyciu zaktualizowanego pliku jar zadania.
Zarządzanie programem Savepoint: w dowolnym momencie użytkownicy mogą tworzyć punkty zapisywania dla uruchomionych zadań. Te punkty zapisywania można wyświetlać i używać ich do ponownego uruchamiania zadania z określonego punktu kontrolnego zgodnie z potrzebami.
Anuluj: anuluje zadanie trwale.
Usuń: Usuń klaster AppMode.
Jak utworzyć klaster aplikacji Flink
Wymagania wstępne
Wypełnij wymagania wstępne w następujących sekcjach:
Dodaj plik jar zadania na koncie magazynu.
Przed skonfigurowaniem klastra trybu aplikacji Flink wymagane jest wykonanie kilku czynności przygotowawczych. Jednym z tych kroków jest umieszczenie pliku JAR zadania trybu aplikacji na koncie magazynu klastra.
Utwórz katalog dla pliku JAR zadania trybu aplikacji:
Wewnątrz dedykowanych kontenerów utwórz katalog, w którym przekazujesz plik JAR zadania trybu aplikacji. Ten katalog służy jako lokalizacja przechowywania plików JAR, które mają zostać uwzględnione w ścieżce klas klastra lub zadania Flink.
Katalog Savepoints (opcjonalnie):
Jeśli użytkownicy zamierzają używać punktów zapisywania podczas wykonywania zadania, utwórz oddzielny katalog na koncie magazynu na potrzeby przechowywania tych punktów zapisywania. Ten katalog służy do przechowywania danych punktu kontrolnego i metadanych dla punktów zapisywania.
Przykładowa struktura katalogów:
Tworzenie klastra trybu aplikacji Flink
Flink AppMode klastry można utworzyć po zakończeniu wdrażania puli klastrów, przejdźmy przez kroki na wypadek, gdy rozpoczynasz pracę z istniejącą pulą klastrów.
W witrynie Azure Portal wpisz pule klastrów usługi HDInsight/HDInsight/HDInsight w usłudze AKS i wybierz pozycję Azure HDInsight w pulach klastrów usługi AKS, aby przejść do strony pul klastrów. Na stronie Pule klastrów usługi HDInsight w usłudze AKS wybierz pulę klastrów, w której chcesz utworzyć nowy klaster Flink.
Na określonej stronie puli klastrów kliknij pozycję + Nowy klaster i podaj następujące informacje:
Właściwości Opis Subskrypcja To pole zostało automatycznie wypełnione subskrypcją platformy Azure zarejestrowaną dla puli klastrów. Grupa zasobów To pole jest wypełniane automatycznie i pokazuje grupę zasobów w puli klastrów. Region (Region) To pole jest wypełniane automatycznie i pokazuje region wybrany w puli klastrów. Pula klastrów To pole jest automatycznie wypełniane i pokazuje nazwę puli klastra, w której klaster jest teraz tworzony. Aby utworzyć klaster w innej puli, znajdź pulę klastrów w portalu i kliknij pozycję + Nowy klaster. Wersja puli usługi HDInsight w usłudze AKS To pole jest wypełniane automatycznie i pokazuje wersję puli klastrów, w której klaster jest teraz tworzony. Usługa HDInsight w wersji usługi AKS Wybierz wersję pomocniczą lub poprawkową usługi HDInsight w usłudze AKS nowego klastra. Typ klastra Z listy rozwijanej wybierz pozycję Flink. Nazwa klastra Wprowadź nazwę nowego klastra. Tożsamość zarządzana przypisana przez użytkownika Z listy rozwijanej wybierz tożsamość zarządzaną, która ma być używana z klastrem. Jeśli jesteś właścicielem tożsamości usługi zarządzanej (MSI), a tożsamość usługi zarządzanej nie ma roli Operatora tożsamości zarządzanej w klastrze, kliknij link poniżej pola, aby przypisać uprawnienia wymagane z tożsamości usługi AKS msi puli agentów. Jeśli tożsamość usługi zarządzanej ma już odpowiednie uprawnienia, nie jest wyświetlany link. Zobacz Wymagania wstępne dotyczące innych przypisań ról wymaganych dla tożsamości usługi zarządzanej. Konto magazynu Z listy rozwijanej wybierz konto magazynu do skojarzenia z klastrem Flink i określ nazwę kontenera. Tożsamość zarządzana jest dodatkowo udzielana dostęp do określonego konta magazynu przy użyciu roli "Właściciel danych obiektu blob usługi Storage" podczas tworzenia klastra. Sieć wirtualna Sieć wirtualna klastra. Podsieć Podsieć wirtualna klastra. Włączanie wykazu programu Hive dla języka Flink SQL:
Właściwości opis Korzystanie z wykazu programu Hive Włącz tę opcję, aby użyć zewnętrznego magazynu metadanych Hive. SQL Database for Hive Z listy rozwijanej wybierz bazę danych SQL Database, w której chcesz dodać tabele hive-metastore. Nazwa użytkownika administratora SQL Wprowadź nazwę użytkownika administratora programu SQL Server. To konto jest używane przez magazyn metadanych do komunikowania się z bazą danych SQL. Magazyn kluczy Z listy rozwijanej wybierz usługę Key Vault zawierającą wpis tajny z hasłem dla nazwy użytkownika administratora programu SQL Server. Należy skonfigurować zasady dostępu ze wszystkimi wymaganymi uprawnieniami, takimi jak uprawnienia klucza, uprawnienia wpisu tajnego i uprawnienia certyfikatu do tożsamości usługi zarządzanej, które są używane do tworzenia klastra. Tożsamość usługi zarządzanej wymaga roli administratora usługi Key Vault. Dodaj wymagane uprawnienia przy użyciu funkcji Zarządzanie dostępem i tożsamościami. Nazwa wpisu tajnego hasła SQL Wprowadź nazwę wpisu tajnego z usługi Key Vault, w której jest przechowywane hasło bazy danych SQL. 
Uwaga
Domyślnie używamy konta magazynu dla katalogu programu Hive tak samo jak konto magazynu i kontener używany podczas tworzenia klastra.
Wybierz pozycję Dalej: Konfiguracja, aby kontynuować.
Na stronie Konfiguracja podaj następujące informacje:
Właściwości opis Rozmiar węzła Wybierz rozmiar węzła, który ma być używany dla węzłów połączenia Flink, zarówno węzłów głównych, jak i roboczych. Liczba węzłów Wybierz liczbę węzłów dla klastra Flink; domyślnie węzły główne to dwa. Ustalanie rozmiaru węzłów roboczych pomaga określić konfiguracje menedżera zadań dla linku Flink. Serwery menedżera zadań i historii znajdują się w węzłach głównych. W sekcji Wdrażanie wybierz typ wdrożenia jako Tryb aplikacji podaj następujące informacje:
Właściwości opis Ścieżka jar Nadaj ścieżkę pliku ABFS (Storage) dla pliku jar zadania. Na przykład abfs://flink@teststorage.dfs.core.windows.net/appmode/job.jarEntry, klasa (opcjonalnie) Klasa główna klastra trybu aplikacji. Na przykład: com.microsoft.testjob Args (opcjonalnie) Argument dla klasy głównej zadania. Nazwa punktu zapisywania Nazwa starego punktu zapisywania, którego chcesz użyć do uruchamiania zadania Tryb uaktualniania Wybierz domyślną opcję Uaktualnij. Ta opcja używana podczas uaktualniania wersji głównej dla klastra. Dostępne są trzy opcje. AKTUALIZACJA: używane, gdy użytkownik chce odzyskać dane z ostatniego punktu zapisywania po uaktualnieniu. STATELESS_UPDATE: używane, gdy użytkownik chce ponownie uruchomić zadanie po uaktualnieniu. LAST_STATE_UPDATE: używane, gdy użytkownik chce odzyskać zadanie z ostatniego punktu kontrolnego po uaktualnieniu Konfiguracja zadania Dodaj więcej konfiguracji wymaganych dla zadania Flink. Wybierz pozycję "Agregacja dziennika zadań". Zaznacz pole wyboru, jeśli chcesz przekazać dziennik zadań do magazynu zdalnego. Ułatwia debugowanie problemów z zadaniem. Domyślną lokalizacją dziennika zadań jest "StorageAccount/Container/DeploymentId/logs". Domyślny katalog dziennika można zmienić, konfigurując "pipeline.remote.log.dir". Domyślny interwał zbierania dzienników wynosi 600 s. Użytkownik może zmienić, konfigurując "pipeline.log.aggregation.interval".
W sekcji Konfiguracja usługi podaj następujące informacje:
Właściwości opis Procesor CPU menedżera zadań Liczba całkowita. Wprowadź rozmiar procesorów menedżera zadań (w rdzeniach). Pamięć menedżera zadań w MB Wprowadź rozmiar pamięci menedżera zadań w MB. Minimalna wartość 1800 MB. Procesor CPU menedżera zadań Liczba całkowita. Wprowadź liczbę procesorów DLA menedżera zadań (w rdzeniach). Pamięć menedżera zadań w MB Wprowadź rozmiar pamięci w MB. Co najmniej 1800 MB. Procesor CPU serwera historii Liczba całkowita. Wprowadź liczbę procesorów DLA menedżera zadań (w rdzeniach). Pamięć serwera historii w MB Wprowadź rozmiar pamięci w MB. Co najmniej 1800 MB. 
Kliknij przycisk Dalej: Integracja, aby przejść do następnej strony.
Na stronie Integracja podaj następujące informacje:
Właściwości opis Analiza dziennika Ta funkcja jest dostępna tylko wtedy, gdy można wybrać pulę klastrów skojarzoną z obszarem roboczym analizy dzienników. Azure Prometheus Ta funkcja polega na wyświetlaniu szczegółowych informacji i dzienników bezpośrednio w klastrze przez wysyłanie metryk i dzienników do obszaru roboczego usługi Azure Monitor. 
Kliknij przycisk Dalej: Tagi, aby przejść do następnej strony.
Na stronie Tagi podaj następujące informacje:
Właściwości Opis Nazwa/nazwisko Opcjonalny. Wprowadź nazwę, taką jak usługa HDInsight w usłudze AKS, aby łatwo zidentyfikować wszystkie zasoby skojarzone z zasobami klastra. Wartość Możesz pozostawić to pole puste. Zasób Wybierz pozycję Wszystkie zasoby. Wybierz pozycję Dalej: Przejrzyj i utwórz, aby kontynuować.
Na stronie Przeglądanie i tworzenie poszukaj komunikatu Weryfikacja powiodła się w górnej części strony, a następnie kliknij przycisk Utwórz.
Na stronie Wdrażanie w procesie zostanie wyświetlony, który klaster jest tworzony. Utworzenie klastra trwa od 5 do 10 minut. Po utworzeniu klastra zostanie wyświetlony komunikat "Wdrożenie zostało ukończone". Jeśli odejdziesz od strony, możesz sprawdzić powiadomienia pod kątem bieżącego stanu.
Zarządzanie zadaniem aplikacji w portalu
Usługa HDInsight AKS umożliwia zarządzanie zadaniami Flink. Możesz ponownie uruchomić zadanie, które zakończyło się niepowodzeniem. Uruchom ponownie zadanie z portalu.
Aby uruchomić zadanie Flink z portalu, przejdź do:
Portal > usługi HDInsight w obszarze Zadania > flink klastra puli > klastrów > usługi AKS.
Zatrzymaj: zadanie zatrzymania nie wymaga żadnych parametrów. Użytkownik może zatrzymać zadanie, wybierając akcję. Po zatrzymaniu zadania stan zadania w portalu zostanie zatrzymany.
Start: uruchamia zadanie z punktu zapisywania. Aby uruchomić zadanie, wybierz zatrzymane zadanie i uruchom je.
Aktualizacja: aktualizacja ułatwia ponowne uruchamianie zadań przy użyciu zaktualizowanego kodu zadania. Użytkownicy muszą zaktualizować najnowszy plik jar zadania w lokalizacji magazynu i zaktualizować zadanie z portalu. Ta akcja zatrzymuje zadanie z punktem zapisywania i uruchamia się ponownie przy użyciu najnowszego pliku jar.
Aktualizacja bezstanowa: bezstanowa jest jak aktualizacja, ale obejmuje nowe ponowne uruchomienie zadania z najnowszym kodem. Po zaktualizowaniu zadania stan zadania w portalu będzie wyświetlany jako Uruchomione.
Savepoint: Weź punkt zapisywania dla zadania Flink.
Anuluj: zakończ zadanie.
Usuń: Usuń klaster AppMode.
Wyświetl szczegóły zadania: aby wyświetlić szczegóły zadania, użytkownik może kliknąć nazwę zadania, podaje szczegółowe informacje o zadaniu i ostatnim wyniku akcji.
W przypadku każdej akcji, która zakończyła się niepowodzeniem, ten widok json zawiera szczegółowe wyjątki i przyczyny niepowodzenia.