Создание пула кластера и кластера
Внимание
Эта функция в настоящее время доступна для предварительного ознакомления. Дополнительные условия использования для предварительных версий Microsoft Azure включают более юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в статье Azure HDInsight в предварительной версии AKS. Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и следуйте за нами для получения дополнительных обновлений в сообществе Azure HDInsight.
HDInsight в AKS имеет концепцию пулов кластеров и кластеров.
Пулы кластеров представляют собой логическую группирование кластеров и поддерживают набор кластеров в одном пуле, что помогает создавать надежную совместимость между несколькими типами кластеров. Его можно создать в существующей виртуальной сети или вне виртуальной сети.
Пул кластеров в HDInsight в AKS соответствует одному кластеру в инфраструктуре AKS.
Кластеры — это отдельные вычислительные рабочие нагрузки , такие как Apache Spark, Apache Flink или Trino, которые можно создать в одном пуле кластеров.
Для создания кластеров Apache Spark, Apache Flink или Trino необходимо сначала создать пул кластеров.
Необходимые компоненты
Перед созданием пула кластеров убедитесь, что вы выполнили предварительные требования к подписке и необходимые компоненты ресурсов.
Создание пула кластеров
Войдите на портал Azure.
В строке поиска портал Azure введите "HDInsight в пуле кластеров AKS" и выберите "Azure HDInsight в пулах кластеров AKS" в раскрывающемся списке.
Нажмите кнопку + Создать.
На вкладке Основные сведения введите следующую информацию:
Свойство Описание Подписка В раскрывающемся списке выберите подписку Azure, в которой вы хотите создать HDInsight в пуле кластеров AKS. Группа ресурсов В раскрывающемся списке выберите существующую группу ресурсов или нажмите кнопку "Создать". Имя пула Введите имя создаваемого пула кластера. Длина имени пула кластера не может превышать 26 символов. Он должен начинаться с алфавита, заканчиваться буквенно-цифровым символом и содержать только буквенно-цифровые символы и дефисы. Область/регион В раскрывающемся списке выберите регион для пула кластеров. Проверьте доступность региона. Для пулов кластеров в виртуальной сети регион виртуальной сети и пул кластера должны совпадать. Версия пула кластеров В раскрывающемся списке выберите HDInsight в пуле кластеров AKS. Виртуальная машина В раскрывающемся списке выберите размер виртуальной машины для пула кластеров в соответствии с вашим требованием. Управляемая группа ресурсов (Необязательно) Укажите имя управляемой группы ресурсов. Он содержит вспомогательные ресурсы, созданные HDInsight в AKS. Нажмите кнопку "Далее": "Безопасность и сеть ", чтобы продолжить.
На странице "Безопасность и сеть" укажите следующие сведения:
Свойство Description Виртуальная сеть (виртуальная сеть) В раскрывающемся списке выберите виртуальную сеть, которая находится в том же регионе, что и пул кластера. Подсеть В раскрывающемся списке выберите имя подсети, которую вы планируете связать с пулом кластеров. Нажмите кнопку "Далее" для продолжения интеграции .
На странице интеграции укажите следующие сведения:
Свойство Description Служба Log Analytics (Необязательно) Выберите этот параметр, чтобы включить Log Analytics для просмотра аналитических сведений и журналов непосредственно в кластере, отправляя метрики и журналы в рабочую область Log Analytics. Azure Prometheus Этот параметр можно включить после завершения создания пула кластера. Для продолжения щелкните Next: Tags (Далее: теги).
На странице "Теги" введите любые теги (необязательно), которые вы хотите назначить пулу кластеров.
Свойство Описание Имя. Введите имя (ключ), помогающее определить ресурсы на основе параметров, соответствующих вашей организации. Например, "Среда" для отслеживания среды развертывания для ресурсов. Значение Введите значение, которое помогает связаться с ресурсами. Например, "Рабочая среда" для идентификации ресурсов, развернутых в рабочей среде. Ресурс Выберите подходящий тип ресурса. Чтобы продолжить работу, выберите элемент Next: Review + create (Далее: просмотр и создание).
На странице "Проверка и создание" найдите сообщение "Проверка выполнена успешно" в верхней части страницы и нажмите кнопку "Создать".
На странице "Развертывание" отображается во время создания пула кластера, и страница "Развертывание завершено" после полного развертывания и готовности к использованию пула кластера.
Если вы перейдете с страницы, вы можете проверка состояние развертывания, щелкнув значок уведомлений.
Совет
Сведения об устранении неполадок развертывания см. на этой странице.
После завершения развертывания пула кластеров продолжайте использовать портал Azure для создания кластера Trino, Flink и Spark.
Создание кластера
Существует три способа создания Azure HDInsight в кластере AKS из портал Azure:
- Выполните поиск и создание azure HDInsight в кластере AKS из Marketplace.
- Выполните поиск и выберите "Azure HDInsight в кластерах AKS" в портал Azure, чтобы создать кластер на странице со списком всех кластеров HDInsight в кластерах AKS.
- Создайте кластер, выбрав "Создать" на странице обзора существующего пула кластеров. В этом варианте можно создать кластеры двумя способами.
Создайте кластер, предоставляя минимальное количество входных данных, не используя расширенную конфигурацию. Этот параметр предварительно заполняет поля конфигурации предварительных требований смарт-значениями по умолчанию и автоматическим созданием обязательных ресурсов.
Размер SKU виртуальной машины предварительно заполнен рекомендуемым номером SKU с минимальными затратами. В отсутствие рекомендуемого номера SKU он предварительно заполняется номером SKU с минимальными виртуальными ядрами и максимальной квотой, доступной во время создания кластера. Кластер будет создан с константным номером по умолчанию пяти узлов. Flink и Trino кластеры будут иметь два головного узла, в то время как кластеры Spark будут иметь три головных узла.
Назначаемое пользователем управляемое удостоверение и учетная запись хранения будут автоматически сформированы в управляемой группе ресурсов. Вы можете просмотреть конфигурации кластера, которые будут созданы на вкладке "Рецензирование и создание". После нажатия кнопки "Создать" отображается страница "Развертывание выполняется" во время создания кластера. Сообщение о завершении развертывания будет отображаться после полного развертывания кластера и готовности к использованию.
Если требуется больше гибкости для настройки конфигураций кластера, установите переключатель "Использовать расширенную конфигурацию" вкл.
Внимание
Чтобы создать кластер в новом пуле кластеров, назначьте роль AKS agentpool MSI "Управляемый оператор удостоверений" для управляемого удостоверения, назначаемого пользователем, созданного в рамках предварительных требований к ресурсам. Если у пользователя есть разрешение на назначение ролей Azure RBAC, он назначается автоматически.
Управляемое удостоверение агента AKS создается во время создания пула кластеров. Вы можете определить управляемое удостоверение агента AKS (имя кластера)-agentpool. Выполните следующие действия, чтобы назначить роль.
Краткое руководство см. в следующих шагах.
После завершения создания пула кластеров нажмите кнопку "Перейти к ресурсу" на странице "Развертывание" или в области уведомлений. Если параметр "Перейти к ресурсу" недоступен, введите HDInsight в пуле кластеров AKS в строке поиска в портал Azure, а затем выберите созданный пул кластера.
Щелкните +Создать кластер из и укажите следующие сведения:
Свойство Описание Подписка По умолчанию он заполняется подпиской, используемой для пула кластеров. Группа ресурсов По умолчанию он заполняется группой ресурсов, используемой для пула кластеров. Пул кластеров Представляет пул кластера, в котором должен быть создан кластер. Чтобы создать кластер в другом пуле, найдите этот пул кластера на портале и нажмите кнопку + Создать кластер. Область/регион По умолчанию он заполняется регионом, используемым для пула кластеров. Версия пула кластеров По умолчанию он заполняется версией, используемой для пула кластеров. HDInsight в версии AKS В раскрывающемся списке выберите HDInsight в версии AKS. Дополнительные сведения см. в разделе "Управление версиями". Тип кластера В раскрывающемся списке выберите тип кластера, который вы хотите создать: Trino, Flink или Spark. Пакет кластера Выберите пакет кластера с версией компонента, доступной для выбранного типа кластера. Имя кластера Введите имя нового кластера. Управляемое удостоверение, назначаемое пользователем Выберите управляемое удостоверение, используемое в кластере. учетная запись служба хранилища (ADLS 2-го поколения) Выберите учетную запись хранения и контейнер, который является расположением по умолчанию для журналов кластера и других выходных данных. Это обязательно для типа кластера Apache Flink и Spark. Виртуальная сеть (виртуальная сеть) Виртуальная сеть для кластера. Он является производным от пула кластера. Подсеть Подсеть виртуальной сети для кластера. Он является производным от пула кластера. Нажмите кнопку " Далее" для продолжения настройки .
На странице "Конфигурация" укажите следующие сведения:
Свойство Description Размер головного узла Это значение совпадает с размером рабочего узла. Количество головных узлов Это значение устанавливается по умолчанию на основе типа кластера. Размер рабочего узла В раскрывающемся списке выберите рекомендуемый номер SKU или выберите номер SKU, доступный в подписке, щелкнув "Выбрать размер виртуальной машины". Количество рабочих узлов Выберите количество рабочих узлов, необходимых для кластера. Автомасштабирование (Необязательно) Выберите этот параметр, чтобы включить функцию автомасштабирования Конфигурация безопасной оболочки (SSH) (Необязательно) Выберите этот параметр, чтобы включить узел SSH. Включив SSH, создаются дополнительные узлы виртуальной машины. Примечание.
Вы увидите дополнительный раздел, чтобы предоставить конфигурации служб для кластеров Apache Flink.
Нажмите кнопку "Далее" для продолжения интеграции .
На странице интеграции укажите следующие сведения:
Свойство Description Служба Log Analytics (Необязательно) Выберите этот параметр, чтобы включить Log Analytics для просмотра аналитических сведений и журналов непосредственно в кластере, отправляя метрики и журналы в рабочую область Log Analytics. Azure Prometheus (Необязательно) Выберите этот параметр, чтобы включить Управляемый Prometheus Azure для просмотра Аналитика и журналов непосредственно в кластере, отправив метрики и журналы в рабочую область Azure Monitor. Примечание.
Чтобы включить Log Analytics и Azure Prometheus, его необходимо включить на уровне пула кластера.
Нажмите кнопку "Далее": теги для продолжения.
На странице "Теги" введите любые теги (необязательно), которые вы хотите назначить кластеру.
Свойство Описание Имя. Введите имя (ключ), помогающее определить ресурсы на основе параметров, соответствующих вашей организации. "Среда" для отслеживания среды развертывания для ресурсов. Значение Введите значение, которое помогает связаться с ресурсами. "Рабочая среда" для идентификации ресурсов, развернутых в рабочей среде. Ресурс Выберите подходящий тип ресурса. Чтобы продолжить работу, выберите элемент Next: Review + create (Далее: просмотр и создание).
На странице "Проверка и создание" найдите сообщение "Проверка выполнена успешно" в верхней части страницы и нажмите кнопку "Создать".
На странице " Развертывание" отображается во время создания кластера, а страница "Развертывание завершено" отображается после полного развертывания кластера и готовности к использованию.
Совет
Сведения об устранении неполадок при развертывании см. на этой странице.
