Viktig information om Azure HDInsight på AKS
Den här artikeln innehåller information om de senaste uppdateringarna av Azure HDInsight om AKS-versioner. Information om tidigare versioner finns i Azure HDInsight på AKS-arkiverade viktig information. Om du vill prenumerera på viktig information kan du titta på versioner på den här GitHub-lagringsplatsen.
Sammanfattning
HDInsight på AKS är en modern, tillförlitlig, säker och fullständigt hanterad PaaS (Platform as a Service) som körs på Azure Kubernetes Service (AKS). MED HDInsight på AKS kan du distribuera populära arbetsbelastningar för analys med öppen källkod som Apache Spark™, Apache Flink®️ och Trino utan att behöva hantera och övervaka containrar.
Du kan skapa stordataprogram i petabyteskala från slutpunkt till slutpunkt som sträcker sig över direktuppspelning via Apache Flink, datateknik och maskininlärning med Apache Spark och Trinos kraftfulla frågemotor.
Alla dessa funktioner i kombination med HDInsight på AKS starka utvecklarfokus gör det möjligt för företag och digitala infödda med djup teknisk expertis att skapa och driva program som passar deras behov. HDInsight på AKS gör det möjligt för utvecklare att komma åt alla omfattande konfigurationer som tillhandahålls av programvara med öppen källkod och utökningsbarhet för att sömlöst inkludera andra ekosystemerbjudanden. Det här erbjudandet ger utvecklare möjlighet att testa och finjustera sina program för att extrahera bästa prestanda till optimal kostnad.
Kommentar
Information om HDInsight om version och support för AKS finns i versionsschemat.
Du kan läsa mer på sidan Nyheter för all information om de funktioner som för närvarande finns i den offentliga förhandsversionen för den här versionen.
Viktigt!
HDInsight på AKS använder säkra distributionsmetoder, vilket innebär gradvis regiondistribution. Det kan ta upp till 10 arbetsdagar innan en ny version eller en ny version är tillgänglig i alla regioner.
Versionsinformation
Utgivningsdatum: 20 mars 2024
Den här versionen gäller för följande
- Klusterpoolversion: 1.1
- Klusterversion: 1.1.1
- AKS-version: 1.27
Nya funktioner
Apache Flink-programlägeskluster
Programlägeskluster är utformade för att stödja dedikerade resurser för stora och långvariga jobb. När du har resursintensiva eller omfattande databearbetningsuppgifter kan du använda kluster för programläge. Med det här läget kan du allokera dedikerade resurser för specifika Apache Flink-program, vilket säkerställer att de har den databehandlingskraft och det minne som krävs för att hantera stora arbetsbelastningar effektivt.
Mer information finns i Apache Flink Application Mode-kluster på HDInsight på AKS.
Privata kluster för HDInsight på AKS
Med privata kluster och inställningar för utgående kluster kan du nu styra inkommande och utgående trafik från HDInsight på AKS-klusterpooler och kluster.
- Använd Azure Firewall eller nätverkssäkerhetsgrupper (NSG: er) för att styra utgående trafik när du väljer att använda utgående klusterpool med lastbalanserare.
- Använd Utgående klusterpool med användardefinierad routning för att styra utgående trafik på undernätsnivå.
- Använd funktionen Privat AKS-kluster – För att säkerställa att AKS-kontrollplanet eller API-servern har interna IP-adresser. Nätverkstrafiken mellan AKS-kontrollplanet/API-servern och HDInsight på AKS-nodpooler (kluster) förblir endast i det privata nätverket.
- Undvik att skapa offentliga IP-adresser för klustret. Använd funktionen för privat ingress i dina kluster.
Mer information finns i Kontrollera nätverkstrafik från HDInsight på AKS-klusterpooler och kluster.
Uppgradering på plats
Uppgradera dina kluster och klusterpooler med de senaste programuppdateringarna. Det innebär att du kan använda de senaste snabbkorrigeringarna för klusterpaket, säkerhetsuppdateringar och AKS-korrigeringar utan att återskapa kluster. Mer information finns i Uppgradera DIN HDInsight på AKS-kluster och klusterpooler.
Viktigt!
För att kunna dra nytta av alla dessa senaste funktioner måste du skapa en ny klusterpool med 1.1 och klusterversion 1.1.1.
Kända problem
- Identitetsbegränsning för arbetsbelastning:
- Det finns en känd begränsning när du övergår till arbetsbelastningsidentitet. Den här begränsningen beror på FIC-åtgärdernas behörighetskänsliga karaktär. Användare kan inte ta bort ett kluster genom att ta bort resursgruppen. Begäranden om borttagning av kluster måste utlösas av programmet/användaren/huvudkontot med FIC-/borttagningsbehörigheter. Om FIC-borttagningen misslyckas misslyckas även borttagningen av högnivåkluster.
- Stöd för användartilldelade hanterade identiteter (UAMI) – Det finns en gräns på 20 FIC per UAMI. Du kan bara skapa 20 federerade autentiseringsuppgifter för en identitet. I HDInsight i AKS-kluster har FIC (Federerad identitetsautentisering) och SA en-till-en-mappning och endast 20 SA:er kan skapas mot en MSI. Om du vill skapa fler kluster måste du ange olika MSI:er för att övervinna begränsningen.
- Skapande av federerade identitetsautentiseringsuppgifter stöds för närvarande inte för användartilldelade hanterade identiteter som skapats i dessa regioner
Operativsystemversion
- Mariner OS 2.0
Arbetsbelastningsversioner
| Arbetsbelastning | Version |
|---|---|
| Trino | 426 |
| Flink | 1.17.0 |
| Apache Spark | 3.3.1 |
Java- och Scala-versioner som stöds
| Arbetsbelastning | Java | Scala |
|---|---|---|
| Trino | Öppna JDK 17.0.7 | - |
| Flink | Öppna JDK 11.0.21 | 2.12.7 |
| Spark | Öppna JDK 1.8.0_345 | 2.12.15 |
Förhandsversionen är tillgänglig i följande regioner.
Om du har fler frågor kan du kontakta Azure Support eller gå till sidan Supportalternativ . Om du har produktspecifik feedback kan du skriva till oss på aka.ms/askhdinsight.