Was ist neu in HDInsight auf AKS? (Vorschau)

Wichtig

Diese Funktion steht derzeit als Vorschau zur Verfügung. Die ergänzenden Nutzungsbedingungen für Microsoft Azure-Vorschauversionen enthalten weitere rechtliche Bedingungen, die für Azure-Funktionen in Betaversionen, Vorschauversionen oder anderen Versionen gelten, die noch nicht allgemein verfügbar gemacht wurden. Informationen zu dieser spezifischen Vorschau finden Sie unter Informationen zur Vorschauversion von Azure HDInsight on AKS. Bei Fragen oder Funktionsvorschlägen senden Sie eine Anfrage an AskHDInsight mit den entsprechenden Details, und folgen Sie uns für weitere Updates in der Azure HDInsight-Community.

In HDInsight auf AKS haben alle Clusterverwaltung und -vorgänge native Unterstützung für Dienstverwaltung im Azure-Portal für einzelne Cluster.

In HDInsight auf AKS werden zwei neue Konzepte eingeführt:

• Clusterpools werden zum Gruppieren und Verwalten von Clustern verwendet.
• Werden Cluster für Open Source-Berechnungen verwendet, werden sie in einem Clusterpool gehostet.

Clusterpools

HDInsight auf AKS wird auf Azure Kubernetes Service (AKS) ausgeführt. Die Ressource auf oberster Ebene ist der Clusterpool und verwaltet alle Cluster, die auf demselben AKS-Cluster ausgeführt werden. Wenn Sie einen Clusterpool erstellen, wird gleichzeitig ein zugrunde liegender AKS-Cluster erstellt, um alle Cluster im Pool zu hosten. Clusterpools sind eine logische Gruppierung von Clustern, die bei der Erstellung einer stabilen Interoperabilität über mehrere Clustertypen hinweg helfen und es Unternehmen ermöglichen, die Cluster im selben virtuellen Netzwerk zu haben. Clusterpools bieten schnellen und kostengünstigen Zugriff auf alle Clustertypen, die bei Bedarf und im Großen und Maßstab erstellt wurden. Ein Clusterpool entspricht einem Cluster in der AKS-Infrastruktur.

Cluster

Cluster sind einzelne Open-Source-Computeworkloads wie Apache Spark, Apache Flink und Trino, die in wenigen Minuten mit voreingestellten Konfigurationen und wenigen Klicks schnell erstellt werden können. Obwohl sie auf demselben Clusterpool ausgeführt wird, kann jeder Cluster eigene Konfigurationen haben, z. B. Clustertyp, Version, Größe des virtuellen Knotens, Knotenanzahl. Cluster werden auf getrennten Computeressourcen mit eigenen DNS- und Endpunkten ausgeführt.

Funktionen, die sich derzeit in der Vorschauphase befinden

In der folgenden Tabellenliste sind die Features von HDInsight auf AKS aufgeführt, die sich derzeit in der Vorschau befinden. Previewfunktionen werden alphabetisch sortiert.

Bereich	Funktionen
Grundlagen	Erstellen von Pool und Clustern mithilfe des Portals, Unterstützung der sicheren Webshell (SSH), Auswahl der Anzahl der Workerknoten während der Clustererstellung
Storage	ADLS Gen2-Speicher-Support
Metastore	Support für externe Metastores für Trino, Spark und Flink, Integration in HDInsight
Sicherheit	Support für ARM RBAC, Support für MSI-basierte Authentifizierung, Option zum Bereitstellen des Clusterzugriffs auf andere Benutzer
Protokollierung und Überwachung	Protokollaggregation in Azure-Protokollanalysen, für Serverprotokolle, Cluster- und Dienstmetriken über verwaltetes Prometheus und Grafana, Support von Servermetriken in Azure Monitor, Dienststatusseite zur Überwachung von Integritätsdienst
Automatische Skalierung	Lastbasierte automatische Skalierung und Planen der automatischen Skalierung
Anpassen und Konfigurieren von Clustern	Support für Skriptaktionen während der Clustererstellung, Unterstützung für Bibliotheksverwaltung, Dienstkonfigurationseinstellungen nach der Clustererstellung
Trino	Unterstützung für Trino-Kataloge, Trino CLI-Support, DBeaver-Support für die Abfrageübermittlung, Hinzufügen oder Entfernen von Plug-Ins und Connectors, Support für Protokollierungsabfrageevents, Support für Scanabfragestatistiken für jeden Connector im Trino-Dashboard, Unterstützung für Trino-Dashboard zum Überwachen von Abfragen, Abfragezwischenspeicherung, Integration mit PowerBI, Integration mit Apache Superset, Redash, Unterstützung für mehrere Connectors
Flink	Unterstützung für Flink native Web-UI, Flink-Unterstützung mit HMS für DStream, Senden von Aufträgen an den Cluster mithilfe vonREST-API und Azure Portal, Ausführen von Programmen, die als JAR-Dateien über dieFlink CLI gepackt sind, Unterstützung für persistente Speicherpunkte, Unterstützung für Updates der Konfigurationsoptionen während der Auftragsausführung, Herstellen einer Verbindung mit mehreren Azure-Diensten:Azure Cosmos DB,Azure Databricks, Azure Data Explorer, Azure Event Hubs, Azure IoT Hub, Azure Pipelines, Azure Data Factory Wokflow Orchestration Manager, HDInsight Kafka, Senden von Aufträgen an den Cluster mithilfe von Flink CLI und CDC mit Flink
Spark	Jupyter Notebook, Support für Delta Lake 2.0, Zeppelin Support, Support ATS, Support für Yarn History Server Interface, Auftragsübermittlung mit SSH, Auftragsübermittlung mit SDK und Machine Learning Notebook

Roadmap der Funktionen

Funktion	Geschätzte Release-Zeitachse	Status
Autoskalierung – Lastbasiert – Trino	Q1 2024	Abgeschlossen
Lastbasierte automatische Skalierung für Spark	Q2 2024	In Bearbeitung
Direktes Upgrade	Q2 2024	Abgeschlossen
Support für reservierte Instanzen	Q2 2024	In Bearbeitung
MSI-basierte Authentifizierung für Metastore (SQL)	Q1 2024	In Bearbeitung
SPARK 3.4	Q2 2024	In Bearbeitung
Trino 426	Q1 2024	Abgeschlossen
Ranger für RBAC	Q2 2024	In Bearbeitung
Unterstützung für den App-Modus für Flink	Q1 2024	Abgeschlossen
Flink 1.17	Q1 2024	Abgeschlossen
Spark ACID-Support	Q1 2024	In Bearbeitung
Konfigurierbare SKUs für Headnode, SSH	Q2 2024	In Bearbeitung
Flink-SQL-Gateways-Support	Q1 2024	Abgeschlossen
Private Cluster für HDInsight on AKS	Q1 2024	Abgeschlossen
Ranger-Support für Spark SQL	Q4 2024	In Bearbeitung
Ranger ACLs auf Speicherebene	Q4 2024	In Bearbeitung
Unterstützung für One Lake als primärer Container	Q2 2024	Vorgang wird ausgeführt