Создание кластеров под управлением Linux в HDInsight с помощью портала Azure
Портал Azure — это веб-инструмент управления службами и ресурсами, размещенными в облаке Microsoft Azure. Из этой статьи вы узнаете, как создавать кластеры Azure HDInsight под управлением Linux с помощью портала Azure. Дополнительные сведения см. в статье Создание кластеров HDInsight.
Предупреждение
Счета за кластеры HDInsight выставляются пропорционально в минутах, независимо от их использования. Обязательно удалите кластер, когда завершите его использование. Дополнительные сведения см. в статье Удаление кластера HDInsight с помощью браузера, PowerShell или классического интерфейса Azure CLI.
Портал Azure предоставляет большую часть свойств кластера. С помощью шаблонов Azure Resource Manager можно скрыть множество сведений. Дополнительные сведения см. в статье Создание кластеров Apache Hadoop в HDInsight с помощью шаблонов Resource Manager.
Если у вас нет подписки Azure, создайте бесплатную учетную запись, прежде чем приступить к работе.
Создание кластеров
Примечание.
Функция, требующая безопасной передачи, обеспечивает принудительную передачу всех запросов к вашей учетной записи через безопасное подключение. Только кластер HDInsight версии 3.6 или более новой поддерживает эту функцию. Дополнительные сведения см. в статье Создание кластера Apache Hadoop с помощью учетных записей хранения с безопасной передачей в Azure HDInsight.
Войдите на портал Azure.
В меню сверху выберите + Create a resource (+ Создать ресурс).
Выберите элементы Analytics>Azure HDInsight, чтобы перейти на страницу Создание кластера HDInsight.
Основные сведения
На вкладке Основные сведения укажите следующую информацию:
| Свойство | Описание |
|---|---|
| Подписка | В раскрывающемся списке выберите подписку Azure, которая используется для кластера. |
| Группа ресурсов | В раскрывающемся списке выберите существующую группу ресурсов, а затем Создать новую. |
| Имя кластера | Введите глобально уникальное имя. |
| Область/регион | В раскрывающемся списке выберите регион, в котором создается кластер. |
| Availability zone | При необходимости укажите зону доступности, в которой необходимо развернуть кластер. |
| Тип кластера | Щелкните Выберите тип кластера, чтобы открыть список. В списке выберите нужный тип кластера. Кластеры HDInsight бывают разных типов. Они соответствуют рабочей нагрузке или технологии, для которой предназначен кластер. Создать кластер, в котором бы объединились несколько типов, нельзя. |
| Версия | В раскрывающемся списке выберите версию. Используйте версию по умолчанию, если не уверены, что именно нужно выбрать. Дополнительные сведения см. в статье Что представляют собой компоненты и версии Hadoop, доступные в HDInsight? |
| Имя пользователя для входа в кластер | Укажите имя пользователя, по умолчанию — admin. |
| Пароль для входа в кластер | Укажите пароль. |
| Подтвердите пароль для входа в кластер | Повторно введите пароль. |
| Имя пользователя для Secure Shell (SSH) | Укажите имя пользователя, по умолчанию — sshuser. |
| Использовать логин и пароль кластера при подключении через SSH | Если требуется, чтобы пароль SSH был аналогичен указанному ранее паролю администратора, установите флажок Использовать логин и пароль кластера при подключении через SSH. В противном случае введите пароль или открытый ключ, которые будут использоваться для аутентификации пользователя SSH. Мы рекомендуем использовать открытый ключ. Нажмите кнопку Выбрать внизу страницы, чтобы сохранить учетные данные конфигурации. Дополнительные сведения см. в руководстве по подключению к HDInsight (Apache Hadoop) с помощью SSH. |
Выберите Далее: Хранилище >>, чтобы перейти на следующую вкладку.
Хранилище
Предупреждение
Начиная с 15 июня 2020 года клиенты не смогут создать новый субъект-службу с помощью HDInsight. См. статью "Создание субъекта-службы" и сертификатов с помощью идентификатора Microsoft Entra.
Основное хранилище
В раскрывающемся списке для параметра Тип первичного хранилища выберите тип хранилища по умолчанию. Значения последующих заполняемых полей будут зависеть от выбранного типа. Если выбрано Служба хранилища Azure:
Для параметра Метод выбора выберите Выбрать в списке или Использовать ключ доступа.
- Для метода Выбрать из списка выберите свою Основную учетную запись хранилища из раскрывающегося списка или Создать новый.
- Для метода Использовать ключ доступа введите Имя учетной записи хранилища. Затем укажите Ключ доступа.
Для параметра Контейнер оставьте значение по умолчанию или введите новое.
Дополнительная служба хранилища Azure
Необязательно. Выберите Добавить хранилище Azure для дополнительного хранилища кластера. Использование дополнительной учетной записи хранения, регион которой отличается от региона кластера HDInsight, не поддерживается.
Параметры хранилища метаданных
Необязательно. Укажите имеющуюся Базу данных SQL для сохранения метаданных Apache Hive, Apache Oozie или Apache Ambari за пределами кластера. База данных Azure SQL, используемая в качестве хранилища метаданных, должна обеспечивать подключение к другим службам Azure, в том числе Azure HDInsight. При создании хранилища метаданных не следует использовать в названиях базы данных тире или дефисы. Это может привести к сбою при создании кластера.
Внимание
Для фигур кластера, которые поддерживают хранилища метаданных, хранилище метаданных по умолчанию предоставляет Базу данных SQL Azure с базовым ограничением DTU уровня 5 (не обновляется)! Оно подходит для базового тестирования. Для больших или производственных рабочих нагрузок рекомендуется перейти на внешнее хранилище метаданных.
Выберите Далее: Безопасность + сеть >>, чтобы перейти на следующую вкладку.
Безопасность и сеть
На вкладке Безопасность + сеть укажите следующие сведения:
| Свойство | Description |
|---|---|
| Корпоративный пакет безопасности | Необязательно. Установите флажок, чтобы использовать Корпоративный пакет безопасности. Дополнительные сведения см. в статье "Настройка кластера HDInsight с корпоративным пакетом безопасности с помощью доменных служб Microsoft Entra". |
| TLS | Необязательно. Выберите версию TLS из раскрывающегося списка. Дополнительные сведения см. в статье о протоколе TLS. |
| Виртуальная сеть | Необязательно. Выберите имеющуюся виртуальную сеть и подсеть из раскрывающегося списка. Дополнительные сведения см. в статье Планирование развертывания виртуальной сети для кластеров Azure HDInsight. Статья содержит конкретные требования к конфигурации виртуальной сети. |
| Параметры шифрования диска | Необязательно. Установите флажок, чтобы использовать шифрование. Подробнее см. статью о шифровании диска с управляемыми клиентом ключами. |
| Прокси-сервер REST для Kafka | Этот параметр доступен только для типа кластера Kafka. Дополнительные сведения см. в статье со сведениями об использовании прокси-сервера REST. |
| Идентификация | Необязательно. Выберите имеющееся удостоверение службы, назначенное пользователем, из раскрывающегося списка. Дополнительные сведения см. в статье Управляемые удостоверения в Azure HDInsight. |
Выберите Далее: Конфигурация + цены >>, чтобы перейти на следующую вкладку.
Конфигурация и цены
На вкладке Конфигурация и цены укажите следующие сведения:
| Свойство | Description |
|---|---|
| + Добавить приложение | Необязательно. Выберите любые необходимые приложения. Эти приложения могут разрабатывать корпорация Майкрософт, независимые поставщики программного обеспечения (ISV) или вы сами. Дополнительные сведения см. в разделе Установка приложения во время создания кластера. |
| Размер узла | Необязательно. Выберите узел другого размера. |
| Количество узлов | Необязательно. Введите число узлов для указанного типа узла. Если вы планируете использовать более 32 рабочих узлов, для головного узла потребуется минимум 8-ядерный процессор и 14 ГБ ОЗУ. Планируйте количество узлов либо при создании кластера, либо путем масштабирования кластера после создания. |
| Включение автомасштабирования | Необязательно. Установите флажок, чтобы включить эту функцию. Дополнительные сведения см. в разделе Автоматическое масштабирование кластеров Azure HDInsight. |
| + Добавить действие скрипта | Необязательно. Используйте этот параметр, если хотите использовать настраиваемый скрипт для настройки кластера во время его создания. Дополнительные сведения о действиях сценариев см. в статье Настройка кластеров HDInsight под управлением Linux с помощью действий сценариев. |
Выберите Проверка + создание >>, чтобы проверить конфигурацию кластера и перейти на последнюю вкладку.
Теги
На странице "Теги" укажите следующие сведения:
| Свойство | Описание |
|---|---|
| Имя. | Необязательно. Введите имя вашего выбора, чтобы легко определить все ресурсы. |
| Значение | Оставьте это поле пустым. |
| Ресурс | Выберите все выбранные ресурсы. |
Проверить и создать
Проверьте параметры. Выберите Создать, чтобы создать кластер.
Обычно создание кластера занимает около 20 минут. Проверьте Уведомления, чтобы узнать, как идет процесс подготовки.
После создания
Когда кластер будет создан, нажмите кнопку Перейти к ресурсу в уведомлении Развертывание прошло успешно. В окне кластера содержатся следующие сведения.
Некоторые значки в окне описаны далее:
| Свойство | Description |
|---|---|
| Обзор | Содержит всю необходимую информацию о кластере. Например, имя, группа ресурсов, к которой она принадлежит, расположение, операционная система и URL-адрес панели мониторинга кластера. |
| Панели мониторинга кластера | Перенаправит вас на портал Ambari, связанный с кластером. |
| SSH и имя для входа в кластер | Сведения, необходимые для доступа к кластеру по протоколу SSH. |
| Удаление | Удаление кластера HDInsight. |
Удаление кластера
См. статью Удаление кластера HDInsight с помощью браузера, PowerShell или Azure CLI.
Устранение неполадок
Если при создании кластеров HDInsight возникли проблемы, см. раздел Создание кластеров.
Следующие шаги
Вы успешно создали кластер HDInsight. Теперь узнайте, как работать с кластером.