Управление кластерами HDInsight с помощью корпоративного пакета безопасности

Познакомьтесь с пользователями и ролями в корпоративном пакете безопасности (ESP) HDInsight, а также с тем, как управлять кластерами ESP.

Использование Visual Studio Code для связывания присоединенного к домену кластера

Вы можете связать обычный кластер с помощью управляемого имени пользователя Apache Ambari, а кластер безопасности Apache Hadoop — с помощью имени пользователя домена (например user1@contoso.com).

1. Откройте Visual Studio Code. Убедитесь в том, что установлено расширение Spark & Hive Tools.

2. Выполните действия из раздела Связывание кластера для Visual Studio Code.

Использование IntelliJ для связывания присоединенного к домену кластера

Вы можете связать обычный кластер с помощью управляемого имени пользователя Ambari, а кластер безопасности — с помощью имени пользователя домена (например, user1@contoso.com).

1. Откройте IntelliJ IDEA. Убедитесь, что выполнены все необходимые условия.

2. Выполните действия из раздела Связывание кластера для IntelliJ.

Использование Eclipse для связывания присоединенного к домену кластера

Вы можете связать обычный кластер с помощью управляемого имени пользователя Ambari, а кластер безопасности — с помощью имени пользователя домена (например, user1@contoso.com).

1. Откройте Eclipse. Убедитесь, что выполнены все необходимые условия.

2. Выполните действия из раздела Связывание кластера для Eclipse.

Доступ к кластерам с помощью Корпоративного пакета безопасности

Пакет безопасности предприятия (прежнее название — HDInsight Premium) обеспечивает многопользовательский доступ к кластеру, где выполняется аутентификация Active Directory, а также авторизация с использованием Apache Ranger и ACL ADLS. Авторизация обеспечивает безопасное разделение пользователей, разрешая только привилегированным лицам доступ к данным на основе политик авторизации.

Обеспечение безопасности и изоляция пользователей важны для кластера HDInsight с пакетом безопасности предприятия. Чтобы удовлетворить эти требования, доступ по протоколу SSH к кластеру с помощью Корпоративного пакета безопасности поддерживается для локального пользователя, выбранного во время создания кластера, а также для пользователей, доступных в AAD-DS (т. е. Kerberos). В следующей таблице описаны способы доступа, рекомендуемые для каждого типа кластера:

Рабочая нагрузка	Сценарий	Метод доступа
Apache Hadoop	Hive — интерактивные задания и запросы	Beeline Представление Hive ODBC/JDBC – Power BI Инструменты Visual Studio
Apache Spark	Интерактивные задания и запросы, интерактивные задания PySpark	Beeline Zeppelin с Livy Представление Hive ODBC/JDBC – Power BI Инструменты Visual Studio
Apache Spark	Сценарии пакетной службы — отправка Spark, PySpark	Livy
Интерактивный запрос (LLAP)	Интерактивный	Beeline Представление Hive ODBC/JDBC – Power BI Инструменты Visual Studio
Любое	Установка пользовательского приложения	Действия скрипта

Примечание.

В Корпоративном пакете безопасности записная книжка Jupyter не установлена или не поддерживается.

Использование стандартных API помогает обеспечить безопасность. Вы также получаете следующие преимущества:

• Управление — вы можете управлять кодом и заданиями автоматизации с помощью стандартных API — Livy, HS2 и т. д.
• Аудит — используя SSH, вы не можете проверять, какие пользователи получили SSH-доступ к кластеру. Этого можно избежать, создавая задания через стандартные конечные точки, так как они будут выполняться в контексте пользователя.

Использование Beeline

Установите Beeline на компьютер подключитесь через общедоступный сегмент Интернета, используя следующие параметры:

- Connection string: -u 'jdbc:hive2://<clustername>.azurehdinsight.net:443/;ssl=true;transportMode=http;httpPath=/hive2'
- Cluster login name: -n admin
- Cluster login password -p 'password'

Если Beeline установлен локально и подключение устанавливается через виртуальную сеть Azure, используйте следующие параметры:

Connection string: -u 'jdbc:hive2://<headnode-FQDN>:10001/;transportMode=http'

Чтобы найти полное доменное имя головного узла, используйте сведения из руководства по получению полного доменного имени для узлов кластера.

Пользователи кластеров HDInsight с корпоративным пакетом безопасности

При создании кластера HDInsight без ESP в нем создаются две учетные записи пользователя:

• Администратор Ambari: эта учетная запись называется также Пользователь Hadoop или Пользователь HTTP. Эту учетную запись можно использовать для входа в Ambari по адресу https://CLUSTERNAME.azurehdinsight.net. Ее также можно использовать для выполнения запросов по представлениям Ambari, выполнения заданий с помощью внешних средств (PowerShell, Templeton, Visual Studio и т. п.) и для проверки подлинности с помощью драйвера Hive ODBC и средств бизнес-аналитики (Excel, PowerBI или Tableau).

В кластере HDInsight с корпоративным пакетом безопасности, кроме администратора Ambari, создаются еще три пользователя.

• Администратор Ranger: это локальная учетная запись администратора Apache Ranger. Она не является пользователем домена Active Directory. Эту учетную запись можно использовать для настройки политик, создания других пользователей-администраторов или делегированных администраторов (чтобы они могли управлять политиками). По умолчанию используется имя пользователя admin и такой же пароль, как для администратора Ambari. Этот пароль можно изменить на странице настроек в Ranger.

• Пользователь домена и администратор кластера: это пользователь домена Active Directory, который является администратором кластера Hadoop, а также служб Ambari и Ranger. Учетные данные этого пользователя нужно предоставить во время создания кластера. Этот пользователь имеет следующие права.

  • Присоединение компьютеров к домену и помещение их в определенное подразделение, которое указывается во время создания кластера.
  • Создание субъектов-служб в определенном подразделении, которое указывается во время создания кластера.
  • Создание обратных записей DNS.

  Обратите внимание, что эти права есть и у других пользователей AD.

  В пределах кластера существуют некоторые конечные точки (например, Templeton), которые не управляются службой Ranger и, следовательно, не являются безопасными. Такие конечные точки закрываются для всех пользователей, за исключением пользователя домена и администратора кластера.

• Обычный: во время создания кластера можно указать несколько групп Active Directory. Пользователи в эти группах будут синхронизированы с Ranger и Ambari. Эти пользователи являются пользователями домена и будут иметь доступ только к конечным точкам, которые управляются службой Ranger (например, Hiveserver2). Для этих пользователей применяются все политики RBAC и правила аудита.

Роли кластеров HDInsight с корпоративным пакетом безопасности

Корпоративный пакет безопасности HDInsight предоставляет следующие роли:

• администратор кластера;
• оператор кластера;
• Администратор служб
• оператор службы;
• пользователь кластера.

Просмотр разрешений для этих ролей

1. Откройте пользовательский интерфейс управления Ambari. См. раздел Вход в пользовательский интерфейс управления Ambari.

2. В меню слева выберите Роли.

3. Щелкните синий вопросительный знак, чтобы просмотреть разрешения.

   

Вход в пользовательский интерфейс управления Ambari

1. Перейдите по адресу https://CLUSTERNAME.azurehdinsight.net/, где CLUSTERNAME — это имя вашего кластера.

2. Войдите в Ambari, используя имя пользователя и пароль пользователя домена и администратора кластера.

3. Щелкните раскрывающееся меню Администратор в правом верхнем углу, затем нажмите кнопку Управление Ambari.

   

   Пользовательский интерфейс выглядит примерно так:

   

Список пользователей домена, синхронизированных из Active Directory

1. Откройте пользовательский интерфейс управления Ambari. См. раздел Вход в пользовательский интерфейс управления Ambari.

2. В меню слева выберите Пользователи. Вы увидите всех пользователей, синхронизированных в кластер HDInsight из Active Directory.

   

Список групп домена, синхронизированных из Active Directory

1. Откройте пользовательский интерфейс управления Ambari. См. раздел Вход в пользовательский интерфейс управления Ambari.

2. В меню слева выберите Группы. Вы увидите все группы, синхронизированные в кластер HDInsight из Active Directory.

   

Настройка разрешений для представлений Hive

1. Откройте пользовательский интерфейс управления Ambari. См. раздел Вход в пользовательский интерфейс управления Ambari.

2. В меню слева выберите Представления.

3. Щелкните HIVE, чтобы открыть подробную информацию.

   

4. Щелкните ссылку Представление Hive, чтобы настроить представления Hive.

5. Выполните прокрутку вниз до раздела Разрешения.

   

6. Щелкните Добавить пользователя или Добавить группу, а затем укажите пользователей или группы, которые могут использовать представления Hive.

Настройка ролей для пользователей

Список ролей и соответствующих разрешений см. в разделе "Роли кластеров HDInsight с корпоративным пакетом безопасности".

1. Откройте пользовательский интерфейс управления Ambari. См. раздел Вход в пользовательский интерфейс управления Ambari.
2. В меню слева выберите Роли.
3. Щелкните Добавить пользователя или Добавить группу, чтобы назначить роли для пользователей и групп.

Следующие шаги

• Описание настройки кластера HDInsight с Корпоративным пакетом безопасности см. в статье Настройка кластера HDInsight с Корпоративным пакетом безопасности с помощью доменных служб Azure Active Directory.
• Описание настройки политик Hive и выполнения запросов Hive см. в статье Настройка политик Apache Hive в HDInsight с Корпоративным пакетом безопасности.