Skapa Spark-kluster i HDInsight på AKS (förhandsversion)
Viktigt!
Den här funktionen finns i förhandsgranskning. De kompletterande användningsvillkoren för Förhandsversioner av Microsoft Azure innehåller fler juridiska villkor som gäller för Azure-funktioner som är i betaversion, förhandsversion eller på annat sätt ännu inte har släppts i allmän tillgänglighet. Information om den här specifika förhandsversionen finns i Azure HDInsight på AKS-förhandsversionsinformation. Om du vill ha frågor eller funktionsförslag skickar du en begäran på AskHDInsight med informationen och följer oss för fler uppdateringar i Azure HDInsight Community.
När prenumerationens krav och nödvändiga resurssteg har slutförts och du har distribuerat en klusterpool fortsätter du att använda Azure-portalen för att skapa ett Spark-kluster. Du kan använda Azure-portalen för att skapa ett Apache Spark-kluster i klusterpoolen. Du kan sedan skapa en Jupyter Notebook och använda den för att köra Spark SQL-frågor mot Apache Hive-tabeller.
I Azure-portalen skriver du klusterpooler och väljer klusterpooler för att gå till sidan klusterpooler. På sidan klusterpooler väljer du den klusterpool där du kan lägga till ett nytt Spark-kluster.
På sidan för den specifika klusterpoolen klickar du på + Nytt kluster.
Det här steget öppnar sidan skapa kluster.
Property Beskrivning Prenumeration Den Azure-prenumeration som registrerades för användning med HDInsight på AKS i avsnittet Förutsättningar med vara förifyllda Resursgrupp Samma resursgrupp som klusterpoolen fylls i i förväg Region Samma region som klusterpoolen och den virtuella kommer att fyllas i i förväg Klusterpool Namnet på klusterpoolen fylls i i förväg HDInsight-poolversion Klusterpoolversionen fylls i i förväg från valet för att skapa poolen HDInsight på AKS-version Ange HDI på AKS-versionen Klustertyp I listrutan väljer du Spark Klusterversion Välj vilken version av avbildningsversionen som ska användas Klusternamn Ange namnet på det nya klustret Användartilldelad hanterad identitet Välj den användartilldelade hanterade identiteten som ska fungera som en anslutningssträng med lagringen Lagringskonto Välj det förskapade lagringskontot som ska användas som primär lagring för klustret Containerns namn Välj containernamnet (unikt) om det skapas i förväg eller skapar en ny container Hive-katalog (valfritt) Välj det i förväg skapade Hive-metaarkivet (Azure SQL DB) SQL Database for Hive I listrutan väljer du den SQL Database där du vill lägga till hive-metaarkivtabeller. ANVÄNDARNAMN för SQL-administratör Ange användarnamnet för SQL-administratören Key Vault I listrutan väljer du Key Vault, som innehåller en hemlighet med lösenord för SQL-administratörens användarnamn Namn på SQL-lösenordshemlighet Ange det hemliga namnet från Key Vault där SQL DB-lösenordet lagras Kommentar
- För närvarande stöder HDInsight endast MS SQL Server-databaser.
- På grund av Hive-begränsning stöds inte "-" (bindestreck) i metaarkivdatabasens namn.
Välj Nästa: Konfiguration + prissättning för att fortsätta.
Property beskrivning Nodstorlek Välj den nodstorlek som ska användas för Spark-noderna Antal arbetsnoder Välj antalet noder för Spark-kluster. Av dessa är tre noder reserverade för koordinator- och systemtjänster, återstående noder är dedikerade till Spark-arbetare, en arbetare per nod. I ett kluster med fem noder finns det till exempel två arbetare Automatisk skalning Klicka på växlingsknappen för att aktivera autoskalning Autoskalningstyp Välj från antingen belastningsbaserad eller schemabaserad autoskalning Graceful decomission timeout Ange en respitfri timeout för avaktivering Ingen standardarbetsnod Välj antalet noder för autoskalning Tidszon Välj tidszonen Regler för autoskalning Välj dag, starttid, sluttid, nej. av arbetsnoder Aktivera SSH Om det är aktiverat kan du definiera prefix och antal SSH-noder Klicka på Nästa: Integreringar för att aktivera och välja Log Analytics för loggning.
Azure Prometheus för övervakning och mått kan aktiveras när klustret har skapats.
Klicka på Nästa: Taggar för att fortsätta till nästa sida.
På sidan Taggar anger du eventuella taggar som du vill lägga till i resursen.
Property Beskrivning Name Valfritt. Ange ett namn som HDInsight på AKS Private Preview för att enkelt identifiera alla resurser som är associerade med dina resurser Värde Lämna det här tomt Resurs Välj Alla resurser har valts Klicka på Nästa: Granska + skapa.
På sidan Granska + skapa letar du efter meddelandet Validering lyckades överst på sidan och klickar sedan på Skapa.
Sidan Distribution pågår visas som klustret skapas. Det tar 5–10 minuter att skapa klustret. När klustret har skapats visas meddelandet Distributionen är klar . Om du navigerar bort från sidan kan du kontrollera statusen för dina meddelanden.
Gå till klusteröversiktssidan. Du kan se slutpunktslänkar där.
