Versionshinweise zu Azure HDInsight on AKS
Dieser Artikel enthält Informationen zu dem neuesten Versionsupdates für Azure HDInsight on AKS. Informationen zu früheren Versionen finden Sie unter Archivierte Versionshinweise zu Azure HDInsight on AKS. Wenn Sie die Anmerkungen zu dieser Version abonnieren möchten, sehen Sie sich die Releases auf diesem GitHub-Repository an.
Zusammenfassung
HDInsight on AKS ist eine moderne, zuverlässige, sichere und vollständig verwaltete Plattform als Service (PaaS), die auf Azure Kubernetes Service (AKS) ausgeführt wird. HDInsight on AKS ermöglicht es Ihnen, beliebte Open-Source Analyse-Workloads wie Apache Spark™, Apache Flink®️ und Trino bereitzustellen, ohne dass der Aufwand für die Verwaltung und Überwachung von Containern besteht.
Sie können End-to-End-Big-Data-Anwendungen im Petabyte-Bereich erstellen, die Streaming mit Apache Flink, Data Engineering und maschinelles Lernen mit Apache Spark und die leistungsstarke Query Engine von Trino umfassen.
All diese Fähigkeiten in Kombination mit dem starken Entwicklerfokus von HDInsight on AKS ermöglichen es Unternehmen und Digital Natives mit fundiertem technischem Fachwissen, Anwendungen zu erstellen und zu betreiben, die genau auf ihre Bedürfnisse zugeschnitten sind. HDInsight on AKS ermöglicht Entwicklern den Zugriff auf all die umfangreichen Konfigurationen, die von Open-Source-Software bereitgestellt werden, und die Erweiterbarkeit, um nahtlos andere Ökosystemangebote einzuschließen. Mit diesem Angebot können Entwickler ihre Anwendungen testen und optimieren, um optimale Leistung zu optimalen Kosten zu erzielen.
Hinweis
Informationen zu Versionsverwaltung und Support für HDInsight on AKS finden Sie im Versionsverwaltungsschema.
Sie finden auf der Seite Neuigkeiten Informationen zu allen Details der Features, die sich derzeit in der öffentlichen Vorschau für dieses Release befinden.
Wichtig
HDInsight auf AKS verwendet sichere Bereitstellungsmethoden einschließlich einer graduellen Bereitstellung in Regionen. Es kann bis zu 10 Arbeitstage dauern, bis ein neues Release oder eine neue Version in allen Regionen verfügbar ist.
Informationen zu dieser Version
Veröffentlichungsdatum: 05. August 2024
Dieses Release betrifft Folgendes
- Clusterpoolversion: 1.2
- Clusterversion: 1.2.1
- AKS-Version: 1.27
Neue Funktionen
MSI-basierte SQL-Authentifizierung Benutzer können jetzt den externen Azure SQL-DB-Metastore mit MSI anstelle der Benutzer-ID-Kennwortauthentifizierung authentifizieren. Dieses Feature trägt dazu bei, die Clusterverbindung mit Metastore weiter zu sichern.
Konfigurierbare VM-SKUs für Hauptknoten, SSH-Knoten Diese Funktionalität ermöglicht Benutzern bestimmte SKUs für Hauptknoten, Workerknoten und SSH-Knoten auszuwählen und bietet die Flexibilität, je nach Anwendungsfall auszuwählen, und das Potenzial, die Gesamtbetriebskosten (Total Cost of Ownership, TCO) zu senken.
Mehrere MSI im Cluster Benutzer können mehrere MSI für Clusteradministratorvorgänge und für den auftragsbezogenen Ressourcenzugriff konfigurieren. Mit diesem Feature können Benutzer den Zugriff auf den Cluster und die Daten, die sich im Speicherkonto befinden, abgrenzen und steuern. Beispielsweise ein MSI für den Zugriff auf Daten im Speicherkonto und ein dedizierter MSI für Clustervorgänge.
Aktualisiert
Skriptaktion Skriptaktionen können jetzt mit Sudo-Benutzerberechtigung hinzugefügt werden. Benutzer können jetzt mehrere Abhängigkeiten einschließlich benutzerdefinierter JARs installieren, um die Cluster nach Bedarf anzupassen.
Bibliotheksverwaltung Das Maven-Repository-Verknüpfungsfeature wurde in diesem Release der Bibliotheksverwaltung hinzugefügt. Der Benutzer kann jetzt Maven-Abhängigkeiten direkt aus den Open-Source-Repositorys installieren.
Spark 3.4 Das Spark 3.4-Update bietet eine Reihe neuer Features, einschließlich
- API-Verbesserungen
- Verbesserungen beim strukturierten Streaming
- Verbesserte Benutzerfreundlichkeit und Entwickleroberfläche
Wichtig
Um all diese neuesten Features nutzen zu können, müssen Sie einen neuen Clusterpool mit der Version 1.2 und der Clusterversion 1.2.1 erstellen
Bekannte Probleme
- Einschränkungen für die Workloadidentität:
- Es gibt eine bekannte Einschränkung bei der Umstellung auf die Workload-Identität. Das liegt daran, dass FIC-Vorgänge berechtigungsbasiert sind. Benutzer können einen Cluster nicht löschen, indem sie die Ressourcengruppe löschen. Clusterlöschanforderungen müssen von der Anwendung, dem oder derBenutzer*in oder dem Prinzipal mit FIC-/Löschberechtigungen ausgelöst werden. Im Falle, dass die FIC-Löschung fehlschlägt, wird das Löschen von Clustern auf hoher Ebene ebenfalls fehlschlagen.
- Unterstützung von User Assigned Managed Identities (UAMI) – Es gibt ein Limit von 20 FICs pro UAMI. Sie können nur 20 Verbundanmeldeinformationen für eine Identität erstellen. In HDInsight on AKS-Cluster haben FIC (Federated Identity Credential) und Software Assurance eine Eins-zu-Eins-Zuordnung und es können nur 20 Software Assurance für eine MSI erstellt werden. Wenn Sie mehr Cluster erstellen möchten, müssen Sie verschiedene MSIs bereitstellen, um diese Einschränkung zu umgehen.
- Die Erstellung von Anmeldeinformationen für Verbundidentitäten wird derzeit für von Benutzern zugewiesene verwaltete Identitäten nicht unterstützt, die in diesen Regionen erstellt wurden.
Version des Betriebssystems
- Mariner-Betriebssystem 2.0
Workloadversionen
| Workload | Version |
|---|---|
| Trino | 440 |
| Flink | 1.17.0 |
| Apache Spark | 3.4 |
Unterstützte Java- und Scala-Versionen
| Workload | Java | Scala |
|---|---|---|
| Trino | Open JDK 21.0.2 | - |
| Flink | Open JDK 11.0.21 | 2.12.7 |
| Spark | Open JDK 1.8.0_345 | 2.12.15 |
Die Vorschauversion ist in den folgenden Regionen verfügbar.
Wenn Sie weitere Fragen haben, wenden Sie sich an Azure Support oder lesen Sie die Seite Supportoptionen. Wenn Sie produktspezifisches Feedback haben, schreiben Sie uns unter aka.ms/askhdinsight.