Skapa ett Apache Flink-kluster® i HDInsight på AKS med Azure-portalen

Viktigt!

Den här funktionen finns i förhandsgranskning. De kompletterande användningsvillkoren för Förhandsversioner av Microsoft Azure innehåller fler juridiska villkor som gäller för Azure-funktioner som är i betaversion, förhandsversion eller på annat sätt ännu inte har släppts i allmän tillgänglighet. Information om den här specifika förhandsversionen finns i Azure HDInsight på AKS-förhandsversionsinformation. Om du vill ha frågor eller funktionsförslag skickar du en begäran på AskHDInsight med informationen och följer oss för fler uppdateringar i Azure HDInsight Community.

Slutför följande steg för att skapa ett Apache Flink-kluster på Azure-portalen.

Förutsättningar

Slutför förutsättningarna i följande avsnitt:

Viktigt!

  • Om du vill skapa ett kluster i en ny klusterpool tilldelar du ROLLEN AKS-agentpool MSI "Hanterad identitetsoperatör" för den användartilldelade hanterade identitet som skapats som en del av resurskravet. Om du har nödvändiga behörigheter automatiseras det här steget när du skapar.
  • AKS-agentpoolens hanterade identitet skapas när klusterpoolen skapas. Du kan identifiera aks-agentpoolens hanterade identitet med (ditt klusterpoolnamn)-agentpool. Följ de här stegen för att tilldela rollen.

Flink-kluster kan skapas när distributionen av klusterpoolen har slutförts. Låt oss gå igenom stegen om du kommer igång med en befintlig klusterpool

  1. I Azure-portalen skriver du HDInsight-klusterpooler/HDInsight/HDInsight på AKS och väljer Azure HDInsight i AKS-klusterpooler för att gå till sidan klusterpooler. På sidan HDInsight på AKS-klusterpooler väljer du den klusterpool där du vill skapa ett nytt Flink-kluster.

    Diagram som visar sökfältet i Azure-portalen.

  2. På sidan för den specifika klusterpoolen klickar du på + Nytt kluster och anger följande information:

    Property Beskrivning
    Prenumeration Det här fältet fylls i automatiskt med den Azure-prenumeration som registrerades för klusterpoolen.
    Resursgrupp Det här fältet fylls i automatiskt och visar resursgruppen i klusterpoolen.
    Region Det här fältet fylls i automatiskt och visar den region som valts i klusterpoolen.
    Klusterpool Det här fältet fylls i automatiskt och visar klusterpoolens namn som klustret nu skapas på. Om du vill skapa ett kluster i en annan pool letar du reda på klusterpoolen i portalen och klickar på + Nytt kluster.
    HDInsight på AKS-poolversion Det här fältet fylls i automatiskt och visar den klusterpoolversion som klustret nu skapas på.
    HDInsight på AKS-version Välj den lägre versionen eller korrigeringsversionen av HDInsight på AKS för det nya klustret.
    Klustertyp I listrutan väljer du Flink.
    Klusternamn Ange namnet på det nya klustret.
    Användartilldelad hanterad identitet I listrutan väljer du den hanterade identitet som ska användas med klustret. Om du är ägare till den hanterade tjänstidentiteten (MSI) och MSI inte har rollen Hanterad identitetsoperator i klustret klickar du på länken under rutan för att tilldela den behörighet som krävs från MSI för AKS-agentpoolen. Om MSI redan har rätt behörigheter visas ingen länk. Se Förutsättningar för andra rolltilldelningar som krävs för MSI.
    Lagringskonto I listrutan väljer du det lagringskonto som ska associeras med Flink-klustret och anger containernamnet. Den hanterade identiteten beviljas ytterligare åtkomst till det angivna lagringskontot med hjälp av rollen "Lagringsblobdataägare" när klustret skapas.
    Virtuellt nätverk Det virtuella nätverket för klustret.
    Undernät Det virtuella undernätet för klustret.
  3. Aktivera Hive-katalog för Flink SQL.

    Property beskrivning
    Använda Hive-katalog Aktivera det här alternativet om du vill använda ett externt Hive-metaarkiv.
    SQL Database for Hive I listrutan väljer du den SQL Database där du vill lägga till hive-metaarkivtabeller.
    ANVÄNDARNAMN för SQL-administratör Ange användarnamnet för SQL Server-administratören. Det här kontot används av metaarkivet för att kommunicera med SQL-databasen.
    Key Vault I listrutan väljer du Key Vault, som innehåller en hemlighet med lösenord för SQL Server Admin-användarnamn. Du måste konfigurera en åtkomstprincip med alla nödvändiga behörigheter, till exempel nyckelbehörigheter, hemliga behörigheter och certifikatbehörigheter till MSI, som används för att skapa klustret. MSI behöver rollen Key Vault-administratör och lägger till de behörigheter som krävs med hjälp av IAM.
    Namn på SQL-lösenordshemlighet Ange det hemliga namnet från Key Vault där SQL-databaslösenordet lagras.

    Skärmbild som visar fliken Grundläggande.

    Kommentar

    Som standard använder vi lagringskontot för Hive-katalogen på samma sätt som lagringskontot och containern som användes när klustret skapades.

  4. Välj Nästa: Konfiguration för att fortsätta.

  5. På sidan Konfiguration anger du följande information:

    Property beskrivning
    Nodstorlek Välj den nodstorlek som ska användas för Flink-noderna både huvud- och arbetsnoder.
    Antal noder Välj antalet noder för Flink-klustret. som standard är huvudnoder två. The worker nodes sizing helps determine the task manager configurations for the Flink. Jobbhanteraren och historikservern finns på huvudnoder.
  6. I avsnittet Tjänstkonfiguration anger du följande information:

    Property beskrivning
    Processor för Aktivitetshanteraren Heltal. Ange storleken på Aktivitetshanterarens processorer (i kärnor).
    Minne för Aktivitetshanteraren i MB Ange minnesstorleken för Aktivitetshanteraren i MB. Min på 1 800 MB.
    Processor för Job Manager Heltal. Ange antalet processorer för Jobbhanteraren (i kärnor).
    Jobbhanterarens minne i MB Ange minnesstorleken i MB. Minst 1 800 MB.
    Processor för historikserver Heltal. Ange antalet processorer för Jobbhanteraren (i kärnor).
    Historikserverminne i MB Ange minnesstorleken i MB. Minst 1 800 MB.

    skärmbild som visar fliken Konfigurationer.

    Kommentar

    • Historikservern kan aktiveras/inaktiveras efter behov.
    • Schemabaserad autoskalning stöds i Flink. Du kan schemalägga antalet arbetsnoder efter behov. Till exempel aktiveras en schemabaserad autoskalning med standardantalet arbetsnoder som 3. Och under vardagar från 9:00 UTC till 20:00 UTC schemaläggs arbetsnoderna till 10. Senare på dagen måste standardvärdet vara 3 noder ( mellan 20:00 UTC och nästa dag 09:00 UTC ). Under helger från 9:00 UTC till 20:00 UTC är arbetsnoderna 4.
  7. I avsnittet Skala automatiskt och SSH uppdaterar du följande:

    Property beskrivning
    Autoskala När du väljer kan du välja den schemabaserade autoskalningen för att konfigurera schemat för skalningsåtgärder.
    Aktivera SSH När du väljer kan du välja det totala antalet SSH-noder som krävs, vilket är åtkomstpunkterna för Flink CLI med secure shell. Maximalt antal tillåtna SSH-noder är 5.

    Skärmbild som visar konfiguration av autoskalningstjänsten.

    Skärmbild som visar regler för automatisk skalning.

  8. Klicka på knappen Nästa: Integrering för att fortsätta till nästa sida.

  9. På sidan Integrering anger du följande information:

    Property beskrivning
    Log Analytics Den här funktionen är endast tillgänglig om klusterpoolen har en associerad log analytics-arbetsyta, när de loggar som ska samlas in har aktiverats kan väljas.
    Azure Prometheus Den här funktionen är att visa insikter och loggar direkt i klustret genom att skicka mått och loggar till Azure Monitor-arbetsytan.

    skärmbild som visar fliken Integreringar.

  10. Klicka på knappen Nästa: Taggar för att fortsätta till nästa sida.

  11. På sidan Taggar anger du följande information:

    Property Beskrivning
    Name Valfritt. Ange ett namn som HDInsight på AKS för att enkelt identifiera alla resurser som är associerade med dina klusterresurser.
    Värde Du kan lämna det tomt.
    Resurs Välj Alla resurser har valts.
  12. Välj Nästa: Granska + skapa för att fortsätta.

  13. På sidan Granska + skapa letar du efter meddelandet Validering lyckades överst på sidan och klickar sedan på Skapa.

Sidan Distribution pågår visas som klustret skapas. Det tar 5–10 minuter att skapa klustret. När klustret har skapats visas meddelandet "Distributionen är klar" . Om du navigerar bort från sidan kan du kontrollera om dina meddelanden har aktuell status.

Kommentar

Apache, Apache Flink, Flink och associerade öppen källkod projektnamn är varumärkensom tillhör Apache Software Foundation (ASF).