Configuración de clústeres de HDInsight para la integración de Microsoft Entra con Enterprise Security Package
En este artículo se proporciona un resumen y una introducción al proceso de creación y configuración de un clúster de HDInsight integrado con Microsoft Entra ID. Esta integración se basa en una característica de HDInsight denominada Enterprise Security Package (ESP), Microsoft Entra Domain Services y la instancia de Active Directory local existente.
Para ver un tutorial detallado sobre la instalación y configuración de un dominio en Azure, la creación de un clúster habilitado para ESP y la sincronización de los usuarios locales, consulte Creación y configuración de clústeres de Enterprise Security Package en Azure HDInsight.
Información previa
Enterprise Security Package (ESP) proporciona la integración de Active Directory para Azure HDInsight. Esta integración permite a los usuarios del dominio usar sus credenciales de dominio para autenticarse con los clústeres de HDInsight y ejecutar trabajos de macrodatos.
Nota:
ESP está disponible con carácter general en HDInsight 4.0 y 5.0 para estos tipos de clúster: Apache Spark, Interactive, Hadoop, Apache Kafka y HBase. No se admiten los clústeres de ESP creados antes de la fecha de disponibilidad general de ESP (1 de octubre de 2018).
Requisitos previos
Hay algunos requisitos previos que se deben completar antes de que pueda crear un clúster de HDInsight habilitado para ESP:
- Una instancia de Active Directory local existente y Microsoft Entra ID.
- Habilite Microsoft Entra Domain Services.
- Compruebe el estado de mantenimiento de Microsoft Entra Domain Services para asegurarse de que se ha completado la sincronización.
- Cree y autorice una identidad administrada.
- Complete la configuración de redes para DNS y problemas relacionados.
Cada uno de estos elementos se describe en detalle. Para ver un tutorial sobre cómo completar todos estos pasos, consulte Creación y configuración de clústeres de Enterprise Security Package en Azure HDInsight.
Habilitación de Microsoft Entra Domain Services
La habilitación de Microsoft Entra Domain Services es un requisito previo antes de crear un clúster de HDInsight con ESP. Para obtener más información, consulte Habilitación de Microsoft Entra Domain Services mediante Azure Portal.
Cuando Microsoft Entra Domain Services está habilitado, todos los usuarios y objetos comienzan a sincronizarse de Microsoft Entra ID a Microsoft Entra Domain Services de manera predeterminada. La longitud de la operación de sincronización depende del número de objetos en Microsoft Entra ID. La sincronización puede tardar algunos días si existen cientos de miles de objetos.
El nombre de dominio que use con Microsoft Entra Domain Services debe tener 39 caracteres o menos para trabajar con HDInsight.
Puede elegir sincronizar solo los grupos que necesitan acceder a los clústeres de HDInsight. Esta opción de sincronizar solo determinados grupos se conoce como sincronización con ámbito. Para obtener instrucciones, consulte Configuración de la sincronización con ámbito desde Microsoft Entra ID con un dominio administrado.
Al habilitar LDAP seguro, coloque el nombre de dominio en el nombre del firmante. Y el nombre alternativo del firmante en el certificado. Si el nombre de dominio es contoso100.onmicrosoft.com, asegúrese de que ese nombre exacto existe en el nombre del firmante y el nombre alternativo del firmante del certificado. Para obtener más información, consulte Configuración de LDAP seguro para un dominio administrado de Microsoft Entra Domain Services.
En el ejemplo siguiente se crea un certificado autofirmado. El nombre de dominio contoso100.onmicrosoft.com se encuentra en Subject (nombre del firmante) y DnsName (nombre alternativo del firmante).
$lifetime=Get-Date
New-SelfSignedCertificate -Subject contoso100.onmicrosoft.com `
-NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
-Type SSLServerAuthentication -DnsName *.contoso100.onmicrosoft.com, contoso100.onmicrosoft.com
Nota:
Solo los administradores de inquilinos tienen los privilegios para habilitar Microsoft Entra Domain Services. Si el almacenamiento del clúster es Azure Data Lake Storage Gen1 o Gen2, debe deshabilitar la autenticación multifactor de Microsoft Entra solo para los usuarios que necesiten acceder al clúster mediante la autenticación básica de Kerberos. Si su organización requiere la autenticación multifactor, pruebe a usar la característica Agente de identidad de HDInsight.
Puede usar direcciones IP de confianza o el acceso condicional para deshabilitar la autenticación multifactor para usuarios concretos solo cuando estos accedan al intervalo IP de la red virtual del clúster de HDInsight.
Si el almacenamiento del clúster es Azure Blob Storage, no deshabilite la autenticación multifactor.
Comprobación del estado de mantenimiento de Microsoft Entra Domain Services
Para ver el estado de mantenimiento de Microsoft Entra Domain Services, seleccione Estado en la categoría Administrar. Asegúrese de que el estado de Microsoft Entra Domain Services es verde (en ejecución) y de que la sincronización está completa.
Creación y autorización de una identidad administrada
Use una identidad administrada asignada por el usuario para simplificar las operaciones de servicios de dominio protegidas. Cuando asigna el rol Colaborador de HDInsight Domain Services a la identidad administrada, este puede leer, crear, modificar y eliminar operaciones de servicios de dominio.
Ciertas operaciones de servicios de dominio, como la creación de unidades organizativas y entidades de servicio, son necesarias para HDInsight Enterprise Security Package. Las identidades administradas se pueden crear en cualquier suscripción. Para obtener más información sobre las identidades administradas en general, vea Identidades administradas para recursos de Azure. Para obtener más información sobre cómo funcionan las identidades administradas en Azure HDInsight, vea Identidades administradas en Azure HDInsight.
Para configurar clústeres de ESP, cree una identidad administrada asignada por el usuario, si aún no la tiene. Vea Create, list, delete, or assign a role to a user-assigned managed identity by using the Azure portal.
A continuación, asigne el rol Colaborador de HDInsight Domain Services a la identidad administrada en Control de acceso para Microsoft Entra Domain Services. Necesita privilegios de administración de Microsoft Entra Domain Services para realizar esta asignación de roles.
La asignación del rol Colaborador de HDInsight Domain Services garantiza que esta identidad tiene el acceso correcto (on behalf of) para realizar operaciones de servicios de dominio en el dominio de Microsoft Entra Domain Services. Estas operaciones incluyen la creación y eliminación de unidades organizativas.
Una vez otorgado el rol a la identidad administrada, el administrador de Microsoft Entra Domain Services administra quién la usa. En primer lugar, el administrador selecciona la identidad administrada en el portal. A continuación, selecciona Access Control (IAM) en Información general. El administrador asigna el rol Operador de identidad administrada a los usuarios o grupos que quieran crear clústeres de ESP.
Por ejemplo, el administrador de Microsoft Entra Domain Services puede asignar este rol al grupo MarketingTeam para la identidad administrada sjmsi. Un ejemplo se muestra en la imagen siguiente. Esta asignación garantiza que las personas adecuadas de la organización puedan usar la identidad administrada para crear clústeres de ESP.
Configuración de red
Nota:
Microsoft Entra Domain Services debe implementarse en una red virtual basada en Azure Resource Manager. Las redes virtuales clásicas no son compatibles con Microsoft Entra Domain Services. Para obtener más información, consulte Habilitación de Microsoft Entra Domain Services mediante Azure Portal.
Habilite Microsoft Entra Domain Services. Después, se ejecuta un servidor local del Sistema de nombres de dominio (DNS) en las máquinas virtuales (VM) de Active Directory. Configure la red virtual de Microsoft Entra Domain Services para usar estos servidores DNS personalizados. Para buscar las direcciones IP correctas, seleccione Propiedades en la categoría Administrar y diríjase a Dirección IP en la red virtual.
Cambie la configuración de los servidores DNS en la red virtual de Microsoft Entra Domain Services. Para usar estas direcciones IP personalizadas, seleccione Servidores DNS en la categoría Configuración. Después, seleccione la opción Personalizado, escriba la primera dirección IP en el cuadro de texto y seleccione Guardar. Agregue más direcciones IP siguiendo los mismos pasos.
Es más fácil colocar tanto la instancia de Microsoft Entra Domain Services como el clúster de HDInsight en la misma red virtual de Azure. Si tiene previsto usar redes virtuales diferentes, se deben emparejar esas redes virtuales para que el controlador de dominio sea visible para las VM de HDInsight. Para más información, consulte Emparejamiento de redes virtuales.
Una vez emparejadas las redes virtuales, configure la red virtual de HDInsight para que use un servidor DNS personalizado. Y escriba las direcciones IP privadas de Microsoft Entra Domain Services como direcciones del servidor DNS. Si ambas redes virtuales usan los mismos servidores DNS, su nombre de dominio personalizado se resuelve en la IP correcta y es accesible desde HDInsight. Por ejemplo, si el nombre de dominio es contoso.com, después de este paso, ping contoso.com debe resolverse en la dirección IP correcta de Microsoft Entra Domain Services.
Si utiliza reglas de grupos de seguridad de red (NSG) en la subred de HDInsight, debe permitir las direcciones IP necesarias para el tráfico entrante y saliente.
Para probar la configuración de la red, debe unir una máquina virtual Windows a la subred o la red virtual de HDInsight y hacer ping en el nombre de dominio. (Debe resolverse en una dirección IP). Ejecute ldp.exe para acceder al dominio de Microsoft Entra Domain Services. A continuación, una esta VM Windows al dominio para confirmar que todas las llamadas de RPC necesarias se realizaron correctamente entre el cliente y el servidor.
Use nslookup para confirmar el acceso de la red a su cuenta de almacenamiento. O cualquier base de datos externa que puede usar (por ejemplo, metastore de Hive externa o Ranger DB). Asegúrese de que se permiten los puertos necesarios en las reglas de NSG de la subred de Microsoft Entra Domain Services, si un grupo de NSG protege a Microsoft Entra Domain Services. Si la unión a un dominio de esta VM Windows se realiza correctamente, puede continuar con el siguiente paso y crear clústeres de ESP.
Crear un clúster de HDInsight con ESP
Después de configurar correctamente los pasos anteriores, el siguiente paso es crear el clúster de HDInsight con ESP habilitado. Cuando cree un clúster de HDInsight, puede habilitar Enterprise Security Package en la pestaña Seguridad y redes. En el caso de una plantilla de Azure Resource Manager para la implementación, utilice una vez la experiencia del portal. A continuación, descargue la plantilla rellenada previamente en la página Revisar y crear para su reutilización en el futuro.
También puede habilitar la característica Agente de identidad de HDInsight durante la creación del clúster. La característica Agente de identidad permite iniciar sesión en Ambari con la autenticación multifactor y obtener los vales de Kerberos necesarios sin necesidad de hash de contraseña en Microsoft Entra Domain Services.
Nota:
Los seis primeros caracteres de los nombres de clúster ESP deben ser únicos en su entorno. Por ejemplo, si tiene varios clústeres ESP en diferentes redes virtuales, debe elegir una convención de nomenclatura que garantice que los seis primeros caracteres de los nombres de clúster sean únicos.
Después de habilitar ESP, las configuraciones incorrectas comunes relacionadas con Microsoft Entra Domain Services se detectan y validan automáticamente. Después de corregir estos errores, puede continuar con el paso siguiente.
Si crea un clúster de HDInsight mediante ESP, debe proporcionar los siguientes parámetros:
Usuario administrador del clúster: elija un administrador para el clúster en la instancia de Microsoft Entra Domain Services sincronizada. Esta cuenta de dominio ya debe estar sincronizada y disponible en Microsoft Entra Domain Services.
Grupos de acceso de clúster: los grupos de seguridad cuyos usuarios desea sincronizar con el clúster y que tengan acceso a él deben estar disponibles en Microsoft Entra Domain Services. Un ejemplo es el grupo HiveUsers. Para obtener más información, consulte Crear un grupo y agregar miembros en Microsoft Entra ID.
Dirección URL de LDAPS: Un ejemplo es
ldaps://contoso.com:636.
La identidad administrada que se ha creado se puede elegir en la lista desplegable Identidad administrada asignada por el usuario al crear un nuevo clúster.
.
Pasos siguientes
- Para configurar las directivas de Hive y ejecutar las consultas de Hive, vea Configurar directivas de Apache Hive en HDInsight unido a un dominio.
- Para usar SSH para conectarse a clústeres de HDInsight con ESP, consulte Usar SSH con Apache Hadoop basado en Linux en HDInsight desde Linux, Unix u OS X.