Создание кластера Spark в HDInsight в AKS (предварительная версия)
Примечание.
Мы отставим Azure HDInsight в AKS 31 января 2025 г. До 31 января 2025 г. необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого прекращения рабочих нагрузок. Оставшиеся кластеры в подписке будут остановлены и удалены из узла.
До даты выхода на пенсию будет доступна только базовая поддержка.
Внимание
Эта функция в настоящее время доступна для предварительного ознакомления. Дополнительные условия использования для предварительных версий Microsoft Azure включают более юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в статье Azure HDInsight в предварительной версии AKS. Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и следуйте за нами для получения дополнительных обновлений в сообществе Azure HDInsight.
После завершения необходимых компонентов подписки и необходимых компонентов ресурсов и развертывания пула кластеров продолжайте использовать портал Azure для создания кластера Spark. Вы можете использовать портал Azure для создания кластера Apache Spark в пуле кластеров. Затем вы можете создать Jupyter Notebook и использовать его для запуска запросов Spark SQL к таблицам Apache Hive.
В портал Azure введите пулы кластеров и выберите пулы кластеров, чтобы перейти на страницу пулов кластеров. На странице пулов кластеров выберите пул кластера, в котором можно добавить новый кластер Spark.
На странице определенного пула кластеров нажмите кнопку +Создать кластер.
На этом шаге откроется страница создания кластера.
Свойство Описание Подписка Подписка Azure, зарегистрированная для использования с HDInsight в AKS, в разделе предварительных требований Группа ресурсов Та же группа ресурсов, что и пул кластера, будет заполнена предварительно Область/регион Тот же регион, что и пул кластера и виртуальный, будет заполнен предварительно Пул кластеров Имя пула кластера будет заполнено предварительно Версия пула HDInsight Версия пула кластера будет предварительно заполнена из выбора создания пула HDInsight в версии AKS Указание HDI в версии AKS Тип кластера В раскрывающемся списке выберите Spark Версия кластера Выберите версию образа, используемую Имя кластера Введите имя нового кластера Управляемое удостоверение, назначаемое пользователем Выберите управляемое удостоверение, назначаемое пользователем, которое будет работать в качестве строка подключения с хранилищем. Учетная запись хранения Выберите предварительно созданную учетную запись хранения, которая будет использоваться в качестве основного хранилища для кластера. Имя контейнера Выберите имя контейнера (уникально) при предварительно созданном или создании нового контейнера Каталог Hive (необязательно) Выберите предварительно созданное хранилище метаданных Hive (база данных SQL Azure) База данных SQL для Hive В раскрывающемся списке выберите База данных SQL, в которой необходимо добавить таблицы hive-metastore. Имя администратора SQL Введите имя администратора SQL Хранилище ключей В раскрывающемся списке выберите Key Vault, содержащий секрет с паролем для имени администратора SQL. Имя секрета пароля SQL Введите имя секрета из Key Vault, где хранится пароль базы данных SQL Примечание.
- В настоящее время HDInsight поддерживает только базы данных MS SQL Server.
- Из-за ограничения Hive символ "-" (дефис) в имени базы данных хранилища метаданных не поддерживается.
Нажмите кнопку "Далее": "Конфигурация и цены" для продолжения.
Свойство Description Размер узла Выберите размер узла, который будет использоваться для узлов Spark Количество рабочих узлов Выберите количество узлов для кластера Spark. Из них три узла зарезервированы для координаторов и системных служб, остальные узлы предназначены для рабочих ролей Spark, по одному рабочему узлу. Например, в кластере с пятью узлами есть две рабочие роли. Автомасштабирование Нажмите кнопку переключателя, чтобы включить автомасштабирование Тип автомасштабирования Выбор из автомасштабирования на основе нагрузки или расписания Грациозное время ожидания декомиссии Указание времени ожидания вывода из эксплуатации Нет рабочего узла по умолчанию Выберите количество узлов для автомасштабирования Часовой пояс Выберите часовой пояс Правила автомасштабирования Выберите день, время начала, время окончания, нет. рабочих узлов Включение SSH Если этот параметр включен, можно определить префикс и количество узлов SSH Нажмите кнопку "Далее" — интеграции , чтобы включить и выбрать Log Analytics для ведения журнала.
Azure Prometheus для мониторинга и метрик можно включить после создания кластера.
Нажмите кнопку "Далее": теги , чтобы продолжить переход на следующую страницу.
На странице "Теги" введите все теги, которые вы хотите добавить в ресурс.
Свойство Описание Имя. Необязательно. Введите имя, например HDInsight в закрытой предварительной версии AKS, чтобы легко определить все ресурсы, связанные с ресурсами. Значение Оставьте это пустым Ресурс Выберите все выбранные ресурсы Нажмите Далее: Просмотр и создание.
На странице "Проверка и создание" найдите сообщение "Проверка выполнена успешно" в верхней части страницы и нажмите кнопку "Создать".
На странице "Развертывание" отображается страница процесса , которая создается кластером. Создание кластера занимает 5–10 минут. После создания кластера отобразится сообщение о завершении развертывания. Если вы перейдете с страницы, вы можете проверить состояние уведомлений.
Перейдите на страницу обзора кластера, вы увидите ссылки конечной точки.
