Co nowego w usłudze HDInsight w usłudze AKS? (wersja zapoznawcza)

Uwaga

Wycofamy usługę Azure HDInsight w usłudze AKS 31 stycznia 2025 r. Przed 31 stycznia 2025 r. należy przeprowadzić migrację obciążeń do usługi Microsoft Fabric lub równoważnego produktu platformy Azure, aby uniknąć nagłego zakończenia obciążeń. Pozostałe klastry w ramach subskrypcji zostaną zatrzymane i usunięte z hosta.

Tylko podstawowa pomoc techniczna będzie dostępna do daty wycofania.

Ważne

Ta funkcja jest aktualnie dostępna jako funkcja podglądu. Dodatkowe warunki użytkowania dla wersji zapoznawczych platformy Microsoft Azure obejmują więcej warunków prawnych, które dotyczą funkcji platformy Azure, które znajdują się w wersji beta, w wersji zapoznawczej lub w inny sposób nie zostały jeszcze wydane w wersji ogólnodostępnej. Aby uzyskać informacje o tej konkretnej wersji zapoznawczej, zobacz Informacje o wersji zapoznawczej usługi Azure HDInsight w usłudze AKS. W przypadku pytań lub sugestii dotyczących funkcji prześlij żądanie w usłudze AskHDInsight , aby uzyskać szczegółowe informacje i postępuj zgodnie z nami, aby uzyskać więcej aktualizacji w społeczności usługi Azure HDInsight.

W usłudze HDInsight w usłudze AKS wszystkie operacje i zarządzanie klastrami mają natywną obsługę zarządzania usługami w witrynie Azure Portal dla poszczególnych klastrów.

W usłudze HDInsight w usłudze AKS wprowadzono dwie nowe koncepcje:

• Pule klastrów służą do grupowania klastrów i zarządzania nimi.
• Klastry są używane do obliczeń typu open source, są hostowane w puli klastrów.

Pule klastrów

Usługa HDInsight w usłudze AKS działa w usłudze Azure Kubernetes Service (AKS). Zasób najwyższego poziomu to pula klastrów i zarządza wszystkimi klastrami działającymi w tym samym klastrze usługi AKS. Podczas tworzenia puli klastrów podstawowy klaster usługi AKS jest tworzony w tym samym czasie w celu hostowania wszystkich klastrów w puli. Pule klastrów to logiczne grupowanie klastrów, które pomaga w tworzeniu niezawodnej współdziałania w wielu typach klastrów i umożliwia przedsiębiorstwom posiadanie klastrów w tej samej sieci wirtualnej. Pule klastrów zapewniają szybki i ekonomiczny dostęp do wszystkich typów klastrów utworzonych na żądanie i na dużą skalę. Jedna pula klastrów odpowiada jednemu klastrowi w infrastrukturze usługi AKS.

Klastry

Klastry to pojedyncze obciążenia obliczeniowe typu open source, takie jak Apache Spark, Apache Flink i Trino, które można utworzyć szybko w ciągu kilku minut przy użyciu wstępnie ustawionych konfiguracji i kilku kliknięć. Mimo że działa w tej samej puli klastrów, każdy klaster może mieć własne konfiguracje, takie jak typ klastra, wersja, rozmiar maszyny wirtualnej węzła, liczba węzłów. Klastry działają w oddzielnych zasobach obliczeniowych z własnym systemem DNS i punktami końcowymi.

Funkcje obecnie w wersji zapoznawczej

Poniższa tabela zawiera funkcje usługi HDInsight w usłudze AKS, które są obecnie w wersji zapoznawczej. Funkcje w wersji zapoznawczej są sortowane alfabetycznie.

Obszar	Funkcje
Podstawy	Tworzenie puli i klastrów przy użyciu portalu, obsługa protokołu SSH w sieci Web, możliwość wybierania liczby węzłów roboczych podczas tworzenia klastra
Storage	Obsługa magazynu usługi ADLS Gen2
Magazyn metadanych	Obsługa zewnętrznego magazynu metadanych dla platform Trino, Spark i Flink, integracja z usługą HDInsight
Zabezpieczenia	Obsługa kontroli dostępu opartej na rolach usługi ARM, obsługa uwierzytelniania opartego na tożsamości usługi ZARZĄDZANEj, opcja zapewnienia dostępu do klastra innym użytkownikom
Rejestrowanie i monitorowanie	Agregacja dzienników w usłudze Azure Log Analytics, w przypadku dzienników serwera, metryk klastra i usługi za pośrednictwem zarządzanego rozwiązania Prometheus i Grafana, metryki serwera pomocy technicznej w usłudze Azure Monitor, strona Stan usługi do monitorowania Kondycja usługi
Automatyczne skalowanie	Automatyczne skalowanie oparte na obciążeniu i automatyczne skalowanie oparte na harmonogramie
Dostosowywanie i konfigurowanie klastrów	Obsługa akcji skryptu podczas tworzenia klastra, obsługa zarządzania biblioteką, ustawienia konfiguracji usługi po utworzeniu klastra
Trino	Obsługa katalogów Trino, obsługa interfejsu wiersza polecenia Trino, obsługa usługi DBeaver na potrzeby przesyłania zapytań, dodawanie lub usuwanie wtyczek i łączników, obsługa rejestrowania zdarzeń zapytań, obsługa statystyk skanowania dla dowolnego łącznika na pulpicie nawigacyjnym Trino, obsługa pulpitu nawigacyjnego Trino do monitorowania zapytań, buforowania zapytań, integracji z usługą Power BI, integracja z usługą Apache Superset, Redash, Obsługa wielu łączników
	Obsługa natywnego internetowego interfejsu użytkownika Flink, obsługa Flink z HMS for DStream, Przesyłanie zadań do klastra przy użyciu interfejsu API REST i witryny Azure Portal, Uruchamianie programów spakowanych jako pliki JAR za pośrednictwem interfejsu wiersza polecenia Flink, obsługa trwałych punktów zapisywania, obsługa aktualizacji opcji konfiguracji podczas uruchamiania zadania, Łączenie z wieloma usługami platformy Azure: Azure Cosmos DB Azure Databricks, Azure Data Explorer, Azure Event Hubs, Azure IoT Hub, Azure Pipelines, Azure Data Factory Workflow Orchestration Manager, HDInsight Kafka, Submit jobs to the cluster using Flink CLI and CDC with Flink (Menedżer orkiestracji przepływu pracy usługi Azure Data Factory, HDInsight Kafka, Submit jobs to the cluster using Flink CLI and CDC with Flink CLI and CDC with Flink)
platforma Spark	Notes Jupyter Notebook, obsługa usługi Delta Lake 2.0, obsługa zeppelin, obsługa usługi ATS, obsługa interfejsu serwera historii usługi Yarn, przesyłanie zadań przy użyciu protokołu SSH, przesyłanie zadań przy użyciu zestawu SDK i notesu usługi Machine Learning

Plan działania funkcji

Funkcja	Szacowana oś czasu wydania	Stan
Skalowanie automatyczne — oparte na obciążeniu — Trino	Q1 2024	Ukończone
Skalowanie automatyczne oparte na obciążeniu z obsługą mieszania dla platformy Spark	Kwartał 2024 r.	W toku
Uaktualnianie w miejscu	Kwartał 2024 r.	Ukończone
Obsługa wystąpień zarezerwowanych	Kwartał 2024 r.	W toku
Uwierzytelnianie oparte na tożsamości usługi zarządzanej dla magazynu metadanych (SQL)	Q1 2024	W toku
Spark 3.4	Kwartał 2024 r.	W toku
Trino 426	Q1 2024	Ukończone
Ranger dla kontroli dostępu opartej na rolach	Kwartał 2024 r.	W toku
Obsługa trybu aplikacji dla funkcji Flink	Q1 2024	Ukończone
Flink 1.17	Q1 2024	Ukończone
Obsługa platformy Spark ACID	Q1 2024	W toku
Konfigurowalne jednostki SKU dla węzła głównego, SSH	Kwartał 2024 r.	W toku
Obsługa funkcji Flink SQL Gateway	Q1 2024	Ukończone
Klastry prywatne dla usługi HDInsight w usłudze AKS	Q1 2024	Ukończone
Obsługa platformy Ranger dla usługi Spark SQL	Q4 2024	W toku
Listy ACL platformy Ranger w warstwie magazynu	Q4 2024	W toku
Obsługa usługi One Lake jako kontenera podstawowego	Kwartał 2024 r.	W toku