Создание кластера Apache Flink® в HDInsight в AKS с помощью портал Azure
Внимание
Эта функция в настоящее время доступна для предварительного ознакомления. Дополнительные условия использования для предварительных версий Microsoft Azure включают более юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в статье Azure HDInsight в предварительной версии AKS. Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и следуйте за нами для получения дополнительных обновлений в сообществе Azure HDInsight.
Выполните следующие действия, чтобы создать кластер Apache Flink в портал Azure.
Необходимые компоненты
Выполните необходимые условия в следующих разделах:
Внимание
- Чтобы создать кластер в новом пуле кластеров, назначьте роль АГЕНТА AKS MSI "Управляемый оператор удостоверений" для управляемого удостоверения, назначаемого пользователем, созданного в рамках предварительных требований к ресурсам. Если у вас есть необходимые разрешения, этот шаг автоматически выполняется во время создания.
- Управляемое удостоверение агента AKS создается во время создания пула кластера. Вы можете определить управляемое удостоверение агента AKS (имя кластера)-agentpool. Выполните следующие действия, чтобы назначить роль.
Создание кластера Apache Flink
Кластеры Flink можно создать после завершения развертывания пула кластеров, давайте рассмотрим действия, если вы начинаете работу с существующим пулом кластеров.
В портал Azure введите пулы кластеров HDInsight/HDInsight/HDInsight в AKS и выберите Azure HDInsight в пулах кластеров AKS, чтобы перейти на страницу пулов кластеров. На странице пулов кластеров HDInsight в AKS выберите пул кластеров, в котором требуется создать новый кластер Flink.
На странице конкретного пула кластеров нажмите кнопку +Создать кластер и укажите следующие сведения:
Свойство Описание Подписка Это поле автоматически заполняется подпиской Azure, зарегистрированной для пула кластеров. Группа ресурсов Это поле автоматически заполнено и отображает группу ресурсов в пуле кластеров. Область/регион Это поле автоматически заполнено и отображает регион, выбранный в пуле кластера. Пул кластеров Это поле автоматически заполнено и отображает имя пула кластера, на котором создается кластер. Чтобы создать кластер в другом пуле, найдите этот пул кластера на портале и нажмите кнопку + Создать кластер. HDInsight в версии пула AKS Это поле автоматически заполнено и отображает версию пула кластера, на которой создается кластер. HDInsight в версии AKS Выберите дополнительную или исправленную версию HDInsight в AKS нового кластера. Тип кластера В раскрывающемся списке выберите Flink. Имя кластера Введите имя нового кластера. Управляемое удостоверение, назначаемое пользователем В раскрывающемся списке выберите управляемое удостоверение, используемое в кластере. Если вы являетесь владельцем управляемого удостоверения службы (MSI), а у MSI нет роли оператора управляемых удостоверений в кластере, щелкните ссылку ниже, чтобы назначить разрешение, необходимое для msi пула агентов AKS. Если MSI уже имеет правильные разрешения, ссылка не отображается. См. предварительные требования для других назначений ролей, необходимых для MSI. Storage account В раскрывающемся списке выберите учетную запись хранения, чтобы связаться с кластером Flink и указать имя контейнера. Управляемое удостоверение предоставляется дополнительному доступу к указанной учетной записи хранения с помощью роли "владелец данных BLOB-объектов служба хранилища" во время создания кластера. Виртуальная сеть Виртуальная сеть для кластера. Подсеть Виртуальная подсеть для кластера. Включение каталога Hive для Flink SQL.
Свойство Description Использование каталога Hive Включите этот параметр для использования внешнего хранилища метаданных Hive. База данных SQL для Hive В раскрывающемся списке выберите База данных SQL, в которой необходимо добавить таблицы hive-metastore. Имя администратора SQL Введите имя администратора SQL Server. Эта учетная запись используется хранилищем метаданных для обмена данными с базой данных SQL. Хранилище ключей В раскрывающемся списке выберите Key Vault, содержащий секрет с паролем для имени администратора SQL Server. Необходимо настроить политику доступа со всеми необходимыми разрешениями, такими как разрешения ключа, разрешения секрета и разрешения сертификата для MSI, который используется для создания кластера. Для MSI требуется роль Администратор istrator Key Vault, добавьте необходимые разрешения с помощью IAM. Имя секрета пароля SQL Введите имя секрета из Key Vault, где хранится пароль базы данных SQL. 
Примечание.
По умолчанию мы используем учетную запись служба хранилища для каталога Hive так же, как учетная запись хранения и контейнер, используемые во время создания кластера.
Нажмите кнопку "Далее" для продолжения настройки .
На странице "Конфигурация" укажите следующие сведения:
Свойство Description Размер узла Выберите размер узла, который будет использоваться для узлов Flink, как головных, так и рабочих узлов. Количество узлов Выберите количество узлов для кластера Flink; По умолчанию головные узлы являются двумя. Размер рабочих узлов помогает определить конфигурации диспетчера задач для Flink. Диспетчер заданий и сервер журнала находятся на головных узлах. В разделе "Конфигурация службы" укажите следующие сведения:
Свойство Description ЦП диспетчера задач Целое число. Введите размер ЦП диспетчера задач (в ядрах). Память диспетчера задач в МБ Введите размер памяти диспетчера задач в МБ. Мин 1800 МБ. ЦП диспетчера заданий Целое число. Введите количество ЦП для диспетчера заданий (в ядрах). Память диспетчера заданий в МБ Введите размер памяти в МБ. Не менее 1800 МБ. ЦП сервера журнала Целое число. Введите количество ЦП для диспетчера заданий (в ядрах). Память сервера журнала в МБ Введите размер памяти в МБ. Не менее 1800 МБ. 
Примечание.
- Сервер журнала можно включить или отключить по мере необходимости.
- Автомасштабирование на основе расписания поддерживается в Flink. По мере необходимости можно запланировать количество рабочих узлов. Например, она включена автомасштабирование на основе расписания с числом рабочих узлов по умолчанию как 3. И во время рабочих дней с 9:00 UTC до 20:00 UTC рабочие узлы запланированы на 10. Позже в день он должен быть по умолчанию по умолчанию 3 узла (от 20:00 UTC до следующего дня 09:00 UTC). В выходные дни от 9:00 UTC до 20:00 UTC рабочие узлы 4.
В разделе автомасштабирования и SSH обновите следующее:
Свойство Description Автоматическое масштабирование При выборе вы сможете выбрать автомасштабирование на основе расписания, чтобы настроить расписание для операций масштабирования. Включение SSH При выборе можно выбрать общее количество узлов SSH, которые являются точками доступа для интерфейса командной строки Flink с помощью Secure Shell. Максимально допустимое число узлов SSH равно 5. 
Нажмите кнопку "Далее". Чтобы продолжить переход на следующую страницу, нажмите кнопку " Далее".
На странице интеграции укажите следующие сведения:
Свойство Description Служба Log Analytics Эта функция доступна только в том случае, если пул кластеров связана с рабочей областью Log Analytics, после включения журналов для сбора можно выбрать. Azure Prometheus Эта функция предназначена для просмотра Аналитика и журналов непосредственно в кластере, отправляя метрики и журналы в рабочую область Azure Monitor. 
Нажмите кнопку "Далее": "Теги ", чтобы перейти к следующей странице.
На странице "Теги" укажите следующие сведения:
Свойство Описание Имя. Необязательно. Введите имя, например HDInsight в AKS, чтобы легко определить все ресурсы, связанные с ресурсами кластера. Значение Вы можете оставить это пустым. Ресурс Выберите все выбранные ресурсы. Чтобы продолжить работу, выберите элемент Next: Review + create (Далее: просмотр и создание).
На странице "Проверка и создание" найдите сообщение "Проверка выполнена успешно" в верхней части страницы и нажмите кнопку "Создать".
На странице "Развертывание" отображается страница процесса , которая создается кластером. Создание кластера занимает 5–10 минут. После создания кластера отображается сообщение "Развертывание завершено". Если вы перейдете с страницы, вы можете проверка уведомления для текущего состояния.
Примечание.
Apache, Apache Flink, Flink и связанные открытый код имена проектов являются товарными знакамиApache Software Foundation (ASF).