Skapa ett Apache Flink-kluster® i HDInsight på AKS med Azure Portal
Kommentar
Vi drar tillbaka Azure HDInsight på AKS den 31 januari 2025. Före den 31 januari 2025 måste du migrera dina arbetsbelastningar till Microsoft Fabric eller en motsvarande Azure-produkt för att undvika plötsliga uppsägningar av dina arbetsbelastningar. Återstående kluster i din prenumeration stoppas och tas bort från värden.
Endast grundläggande stöd kommer att vara tillgängligt fram till datumet för pensionering.
Viktigt!
Den här funktionen finns i förhandsgranskning. De kompletterande användningsvillkoren för Förhandsversioner av Microsoft Azure innehåller fler juridiska villkor som gäller för Azure-funktioner som är i betaversion, förhandsversion eller på annat sätt ännu inte har släppts i allmän tillgänglighet. Information om den här specifika förhandsversionen finns i Azure HDInsight på AKS-förhandsversionsinformation. Om du vill ha frågor eller funktionsförslag skickar du en begäran på AskHDInsight med informationen och följer oss för fler uppdateringar i Azure HDInsight Community.
Slutför följande steg för att skapa ett Apache Flink-kluster på Azure Portal.
Förutsättningar
Slutför förutsättningarna i följande avsnitt:
Viktigt!
- Om du vill skapa ett kluster i en ny klusterpool tilldelar du ROLLEN AKS-agentpool MSI "Hanterad identitetsoperatör" för den användartilldelade hanterade identitet som skapats som en del av resurskravet. Om du har nödvändiga behörigheter automatiseras det här steget när du skapar.
- AKS-agentpoolens hanterade identitet skapas när klusterpoolen skapas. Du kan identifiera aks-agentpoolens hanterade identitet med (ditt klusterpoolnamn)-agentpool. Följ de här stegen för att tilldela rollen.
Skapa ett Apache Flink-kluster
Flink-kluster kan skapas när distributionen av klusterpoolen har slutförts. Låt oss gå igenom stegen om du kommer igång med en befintlig klusterpool
I Azure Portal skriver du HDInsight-klusterpooler/HDInsight/HDInsight på AKS och väljer Azure HDInsight i AKS-klusterpooler för att gå till sidan klusterpooler. På sidan HDInsight på AKS-klusterpooler väljer du den klusterpool där du vill skapa ett nytt Flink-kluster.
På sidan för den specifika klusterpoolen klickar du på + Nytt kluster och anger följande information:
Property Beskrivning Prenumeration Det här fältet fylls i automatiskt med den Azure-prenumeration som registrerades för klusterpoolen. Resursgrupp Det här fältet fylls i automatiskt och visar resursgruppen i klusterpoolen. Region Det här fältet fylls i automatiskt och visar den region som valts i klusterpoolen. Klusterpool Det här fältet fylls i automatiskt och visar klusterpoolens namn som klustret nu skapas på. Om du vill skapa ett kluster i en annan pool letar du reda på klusterpoolen i portalen och klickar på + Nytt kluster. HDInsight på AKS-poolversion Det här fältet fylls i automatiskt och visar den klusterpoolversion som klustret nu skapas på. HDInsight på AKS-version Välj den lägre versionen eller korrigeringsversionen av HDInsight på AKS för det nya klustret. Klustertyp I listrutan väljer du Flink. Klusternamn Ange namnet på det nya klustret. Användartilldelad hanterad identitet I listrutan väljer du den hanterade identitet som ska användas med klustret. Om du är ägare till den hanterade tjänstidentiteten (MSI) och MSI inte har rollen Hanterad identitetsoperator i klustret klickar du på länken under rutan för att tilldela den behörighet som krävs från MSI för AKS-agentpoolen. Om MSI redan har rätt behörigheter visas ingen länk. Se Förutsättningar för andra rolltilldelningar som krävs för MSI. Lagringskonto I listrutan väljer du det lagringskonto som ska associeras med Flink-klustret och anger containernamnet. Den hanterade identiteten beviljas ytterligare åtkomst till det angivna lagringskontot med hjälp av rollen "Lagringsblobdataägare" när klustret skapas. Virtuellt nätverk Det virtuella nätverket för klustret. Undernät Det virtuella undernätet för klustret. Aktivera Hive-katalog för Flink SQL.
Property beskrivning Använda Hive-katalog Aktivera det här alternativet om du vill använda ett externt Hive-metaarkiv. SQL Database for Hive I listrutan väljer du den SQL Database där du vill lägga till hive-metaarkivtabeller. ANVÄNDARNAMN för SQL-administratör Ange användarnamnet för SQL Server-administratören. Det här kontot används av metaarkivet för att kommunicera med SQL-databasen. Key Vault I listrutan väljer du Key Vault, som innehåller en hemlighet med lösenord för SQL Server Admin-användarnamn. Du måste konfigurera en åtkomstprincip med alla nödvändiga behörigheter, till exempel nyckelbehörigheter, hemliga behörigheter och certifikatbehörigheter till MSI, som används för att skapa klustret. MSI behöver rollen Key Vault-administratör och lägger till de behörigheter som krävs med hjälp av IAM. Namn på SQL-lösenordshemlighet Ange det hemliga namnet från Key Vault där SQL-databaslösenordet lagras. Kommentar
Som standard använder vi lagringskontot för Hive-katalogen på samma sätt som lagringskontot och containern som användes när klustret skapades.
Välj Nästa: Konfiguration för att fortsätta.
På sidan Konfiguration anger du följande information:
Property beskrivning Nodstorlek Välj den nodstorlek som ska användas för Flink-noderna både huvud- och arbetsnoder. Antal noder Välj antalet noder för Flink-klustret. som standard är huvudnoder två. The worker nodes sizing helps determine the task manager configurations for the Flink. Jobbhanteraren och historikservern finns på huvudnoder. I avsnittet Tjänstkonfiguration anger du följande information:
Property beskrivning Processor för Aktivitetshanteraren Heltal. Ange storleken på Aktivitetshanterarens processorer (i kärnor). Minne för Aktivitetshanteraren i MB Ange minnesstorleken för Aktivitetshanteraren i MB. Min på 1 800 MB. Processor för Job Manager Heltal. Ange antalet processorer för Jobbhanteraren (i kärnor). Jobbhanterarens minne i MB Ange minnesstorleken i MB. Minst 1 800 MB. Processor för historikserver Heltal. Ange antalet processorer för Jobbhanteraren (i kärnor). Historikserverminne i MB Ange minnesstorleken i MB. Minst 1 800 MB. Kommentar
- Historikservern kan aktiveras/inaktiveras efter behov.
- Schemabaserad autoskalning stöds i Flink. Du kan schemalägga antalet arbetsnoder efter behov. Till exempel aktiveras en schemabaserad autoskalning med standardantalet arbetsnoder som 3. Och under vardagar från 9:00 UTC till 20:00 UTC schemaläggs arbetsnoderna till 10. Senare på dagen måste standardvärdet vara 3 noder ( mellan 20:00 UTC och nästa dag 09:00 UTC ). Under helger från 9:00 UTC till 20:00 UTC är arbetsnoderna 4.
I avsnittet Skala automatiskt och SSH uppdaterar du följande:
Property beskrivning Autoskala När du väljer kan du välja den schemabaserade autoskalningen för att konfigurera schemat för skalningsåtgärder. Aktivera SSH När du väljer kan du välja det totala antalet SSH-noder som krävs, vilket är åtkomstpunkterna för Flink CLI med secure shell. Maximalt antal tillåtna SSH-noder är 5. Klicka på knappen Nästa: Integrering för att fortsätta till nästa sida.
På sidan Integrering anger du följande information:
Property beskrivning Log Analytics Den här funktionen är endast tillgänglig om klusterpoolen har en associerad log analytics-arbetsyta, när de loggar som ska samlas in har aktiverats kan väljas. Azure Prometheus Den här funktionen är att visa insikter och loggar direkt i klustret genom att skicka mått och loggar till Azure Monitor-arbetsytan. Klicka på knappen Nästa: Taggar för att fortsätta till nästa sida.
På sidan Taggar anger du följande information:
Property Beskrivning Name Valfritt. Ange ett namn som HDInsight på AKS för att enkelt identifiera alla resurser som är associerade med dina klusterresurser. Värde Du kan lämna det tomt. Resurs Välj Alla resurser har valts. Välj Nästa: Granska + skapa för att fortsätta.
På sidan Granska + skapa letar du efter meddelandet Validering lyckades överst på sidan och klickar sedan på Skapa.
Sidan Distribution pågår visas som klustret skapas. Det tar 5–10 minuter att skapa klustret. När klustret har skapats visas meddelandet "Distributionen är klar" . Om du navigerar bort från sidan kan du kontrollera om dina meddelanden har aktuell status.
Kommentar
Apache, Apache Flink, Flink och associerade öppen källkod projektnamn är varumärken som tillhör Apache Software Foundation (ASF).