Vytvoření clusteru Spark ve službě HDInsight v AKS (Preview)

Důležité

Tato funkce je aktuálně dostupná jako ukázková verze. Doplňkové podmínky použití pro Microsoft Azure Preview obsahují další právní podmínky, které se vztahují na funkce Azure, které jsou v beta verzi, ve verzi Preview nebo ještě nejsou vydány v obecné dostupnosti. Informace o této konkrétní verzi Preview najdete v tématu Azure HDInsight o službě AKS ve verzi Preview. Pokud máte dotazy nebo návrhy funkcí, odešlete prosím žádost na AskHDInsight s podrobnostmi a sledujte nás o dalších aktualizacích v komunitě Azure HDInsight.

Po dokončení požadavků předplatného a požadavků na prostředky a nasazení fondu clusterů pokračujte na webu Azure Portal k vytvoření clusteru Spark. Pomocí webu Azure Portal můžete vytvořit cluster Apache Spark ve fondu clusterů. Pak můžete vytvořit poznámkový blok Jupyter a použít ho ke spouštění dotazů Spark SQL na tabulky Apache Hive.

  1. Na webu Azure Portal zadejte fondy clusterů a výběrem fondů clusterů přejděte na stránku Fondy clusterů. Na stránce fondy clusterů vyberte fond clusterů, do kterého můžete přidat nový cluster Spark.

  2. Na stránce konkrétního fondu clusteru klikněte na + Nový cluster.

    Snímek obrazovky znázorňující, jak vytvořit nový cluster Spark

    Tento krok otevře stránku pro vytvoření clusteru.

    Snímek obrazovky zobrazující základní stránku vytvoření clusteru

    Vlastnost Popis
    Předplatné Předplatné Azure zaregistrované pro použití se službou HDInsight ve službě AKS v části Požadavky s přípravou
    Skupina prostředků Předvyplní se stejná skupina prostředků jako fond clusterů.
    Oblast Předvyplní se stejná oblast jako fond clusteru a virtuální.
    Fond clusterů Název fondu clusterů se vyplní předem.
    Verze fondu HDInsight Verze fondu clusteru se předvyplní z výběru vytvoření fondu.
    HDInsight ve verzi AKS Určení HDI ve verzi AKS
    Typ clusteru V rozevíracím seznamu vyberte Spark.
    Verze clusteru Vyberte verzi image, která se má použít.
    Název clusteru Zadejte název nového clusteru.
    Spravovaná identita přiřazená uživatelem Vyberte spravovanou identitu přiřazenou uživatelem, která bude fungovat jako připojovací řetězec s úložištěm.
    Účet úložiště Vyberte předem vytvořený účet úložiště, který se má použít jako primární úložiště pro cluster.
    Název kontejneru Vyberte název kontejneru (jedinečný), pokud je předem vytvořený nebo vytvořte nový kontejner.
    Katalog Hive (volitelné) Výběr předem vytvořeného metastoru Hive (Azure SQL DB)
    SQL Database for Hive V rozevíracím seznamu vyberte databázi SQL, do které chcete přidat tabulky hive-metastore.
    Uživatelské jméno správce SQL Zadejte uživatelské jméno správce SQL.
    Trezor klíčů V rozevíracím seznamu vyberte službu Key Vault, která obsahuje tajný kód s heslem pro uživatelské jméno správce SQL.
    Název tajného kódu hesla SQL Zadejte název tajného kódu ze služby Key Vault, kde je uložené heslo databáze SQL.

    Poznámka:

    • HdInsight v současné době podporuje pouze databáze MS SQL Serveru.
    • Kvůli omezení Hivu není podporován znak -( spojovník) v názvu databáze metastoru.
  3. Pokračujte výběrem možnosti Další: Konfigurace a ceny .

    Snímek obrazovky zobrazující kartu s cenami 1

    Snímek obrazovky zobrazující kartu s cenami 2

    Snímek obrazovky s kartou SSH

    Vlastnost Popis
    Velikost uzlu Vyberte velikost uzlu, která se má použít pro uzly Sparku.
    Počet pracovních uzlů Vyberte počet uzlů pro cluster Spark. Z těchto možností jsou tři uzly vyhrazené pro koordinační a systémové služby, zbývající uzly jsou vyhrazené pro pracovní procesy Sparku, jeden pracovní proces na uzel. Například v clusteru s pěti uzly existují dva pracovní procesy.
    Automatické škálování Kliknutím na přepínací tlačítko povolíte automatické škálování.
    Typ automatického škálování Výběr z automatického škálování založeného na zatížení nebo plánu
    Časový limit časového limitu pro řádné dekomisy Určení časového limitu řádného vyřazení z provozu
    Žádný výchozí pracovní uzel Vyberte počet uzlů pro automatické škálování.
    Časové pásmo Výběr časového pásma
    Pravidla automatického škálování Vyberte den, počáteční čas, koncový čas, ne. pracovních uzlů
    Povolení SSH Pokud je tato možnost povolená, můžete definovat předponu a počet uzlů SSH.
  4. Klikněte na Další: Integrace povolíte a vyberete Log Analytics pro protokolování.

    Azure Prometheus pro monitorování a metriky je možné povolit po vytvoření clusteru.

    Snímek obrazovky s kartou Integrace

  5. Klikněte na Další: Značky pokračujte na další stránku.

    Snímek obrazovky zobrazující kartu značek

  6. Na stránce Značky zadejte všechny značky, které chcete přidat do prostředku.

    Vlastnost Popis
    Name Nepovinné. Zadejte název, jako je HDInsight ve službě AKS Private Preview, abyste mohli snadno identifikovat všechny prostředky přidružené k vašim prostředkům.
    Hodnota Ponechte toto prázdné
    Prostředek Výběr všech vybraných prostředků
  7. Klikněte na Další: Zkontrolovat a vytvořit.

  8. Na stránce Zkontrolovat a vytvořit vyhledejte v horní části stránky zprávu Ověření úspěšného ověření a potom klikněte na Vytvořit.

  9. Na stránce Nasazení se zobrazí stránka, na které se cluster vytvoří. Vytvoření clusteru trvá 5 až 10 minut. Po vytvoření clusteru se zobrazí zpráva o dokončení nasazení. Pokud přejdete mimo stránku, můžete zkontrolovat stav oznámení.

  10. Přejděte na stránku přehledu clusteru, kde najdete odkazy na koncové body.

    Snímek obrazovky se stránkou přehledu clusteru