Requisitos previos del recurso
Nota:
Retiraremos Azure HDInsight en AKS el 31 de enero de 2025. Antes del 31 de enero de 2025, deberá migrar las cargas de trabajo a Microsoft Fabric o un producto equivalente de Azure para evitar la terminación repentina de las cargas de trabajo. Los clústeres restantes de la suscripción se detendrán y quitarán del host.
Solo el soporte técnico básico estará disponible hasta la fecha de retirada.
Importante
Esta funcionalidad actualmente está en su versión preliminar. En Términos de uso complementarios para las versiones preliminares de Microsoft Azure encontrará más términos legales que se aplican a las características de Azure que están en versión beta, en versión preliminar, o que todavía no se han lanzado con disponibilidad general. Para más información sobre esta versión preliminar específica, consulte la Información de Azure HDInsight sobre la versión preliminar de AKS. Para plantear preguntas o sugerencias sobre la característica, envíe una solicitud en AskHDInsight con los detalles y síganos para obtener más actualizaciones sobre Comunidad de Azure HDInsight.
En este artículo se detallan los recursos necesarios para empezar a trabajar con HDInsight en AKS. Aborda los recursos necesarios y opcionales y cómo crearlos.
Recursos necesarios
En la tabla siguiente se muestran los recursos necesarios para la creación del clúster en función de los tipos de clúster.
| Carga de trabajo | Managed Service Identity (MSI) | Storage | SQL Server, SQL Database | Key Vault |
|---|---|---|---|---|
| Trino | ✅ | |||
| Flink | ✅ | ✅ | ||
| Spark | ✅ | ✅ | ||
| Trino, Flink o Spark con Metastore de Hive (HMS) | ✅ | ✅ | ✅ | ✅ |
Nota:
MSI se usa como estándar de seguridad para la autenticación y autorización entre recursos, excepto SQL Database. La asignación de roles se produce antes de la implementación para autorizar a MSI el almacenamiento y los secretos se almacenan en el almacén de claves de SQL Database. La compatibilidad con el almacenamiento es con ADLS Gen2 y se usa como almacén de datos para los motores de proceso. SQL Database se usa para la administración de tablas en Metastore de Hive.
Recursos opcionales
- Red virtual (VNet) y subred: Creación de una red virtual
- Área de trabajo de Log Analytics: Creación de un área de trabajo de Log Analytics
Nota:
- La red virtual requiere una subred sin ninguna tabla de enrutamiento existente asociada a ella.
- HDInsight en AKS le permite traer su propia red virtual y subred, lo que le permite personalizar los requisitos de red para satisfacer las necesidades de su empresa.
- El área de trabajo de Log Analytics es opcional y debe crearse con antelación en caso de que quiera usar funcionalidades de Azure Monitor, como Azure Log Analytics.
Puede crear los recursos necesarios de dos maneras:
Uso de plantillas de ARM
Las siguientes plantillas de ARM permiten crear los recursos necesarios especificados en un solo clic con un prefijo de recurso y más detalles según sea necesario.
Por ejemplo, si proporciona el prefijo de recurso como “demo”, los siguientes recursos se crearán en el grupo de recursos en función de la plantilla que seleccione:
- MSI se crea con el nombre como
demoMSI. - El almacenamiento se crea con el nombre
demostorejunto con un contenedor comodemocontainer. - El almacén de claves se crea con el nombre
demoKeyVaultjunto con el secreto proporcionado como parámetro en la plantilla. - La base de datos de Azure SQL se crea con el nombre
demoSqlDBjunto con el servidor de SQL con el nombredemoSqlServer.
| Carga de trabajo | Requisitos previos |
|---|---|
| Trino | Cree los recursos mencionados de la siguiente manera: 1. Identidad de servicio administrada (MSI): identidad administrada asignada por el usuario. |
| Flink | Cree los recursos mencionados de la siguiente manera: 1. Identidad de servicio administrada (MSI): identidad administrada asignada por el usuario. 2. Cuenta de almacenamiento de ADLS Gen2 y un contenedor. Asignaciones de roles: 1. Asigna el rol Propietario de datos de blob de almacenamiento a una MSI asignada por el usuario en una cuenta de almacenamiento. |
| Spark | Cree los recursos mencionados de la siguiente manera: 1. Identidad de servicio administrada (MSI): identidad administrada asignada por el usuario. 2. Cuenta de almacenamiento de ADLS Gen2 y un contenedor. Asignaciones de roles: 1. Asigna el rol Propietario de datos de blob de almacenamiento a una MSI asignada por el usuario en una cuenta de almacenamiento. |
| Trino, Flink o Spark con Metastore de Hive (HMS) | Cree los recursos mencionados de la siguiente manera: 1. Identidad de servicio administrada (MSI): identidad administrada asignada por el usuario. 2. Cuenta de almacenamiento de ADLS Gen2 y un contenedor. 3. Azure SQL Server y SQL Database. 4. Azure Key Vault y un secreto para almacenar las credenciales de administrador de SQL Server. Asignaciones de roles: 1. Asigna el rol Propietario de datos de blob de almacenamiento a una MSI asignada por el usuario en una cuenta de almacenamiento. 2. Asigna el rol Usuario de secretos de Key Vault a una MSI asignada por el usuario en Key Vault. |
Nota:
Para poder usar estas plantillas de ARM, el usuario debe tener permiso para crear nuevos recursos y asignar roles a los recursos de la suscripción.
Mediante Azure Portal
Crear una identidad administrada asignada por el usuario (MSI)
Una identidad administrada es una identidad registrada en Microsoft Entra ID (Microsoft Entra ID) con credenciales administradas por Azure. Con las identidades administradas, no es necesario registrar entidades de servicio en Microsoft Entra ID para mantener credenciales como certificados.
HDInsight en AKS se basa en MSI asignada por el usuario para la comunicación entre distintos componentes.
Creación de una cuenta de almacenamiento (ADLS Gen2)
Las cuentas de almacenamiento se usan como la ubicación predeterminada para los registros del clúster y otras salidas. Habilite el espacio de nombres jerárquico durante la creación de la cuenta de almacenamiento para usarlo como almacenamiento de ADLS Gen2.
Asignar un rol: asigne el rol Propietario de datos de blobs de almacenamiento a la MSI asignada por el usuario y creada en esta cuenta de almacenamiento.
Crear un contenedor: después de crear la cuenta de almacenamiento, cree un contenedor en ella.
Nota:
La opción para crear un contenedor durante la creación del clúster también está disponible.
Creación de una instancia de Azure SQL Database
Cree una instancia de Azure SQL Database que se usará como metastore externo durante la creación del clúster o puede usar una instancia de SQL Database existente. Sin embargo, asegúrese de que se establecen las siguientes propiedades.
Propiedades necesarias que se habilitarán para SQL Server y SQL Database-
| Tipo de recurso | Propiedad | Descripción |
|---|---|---|
| SQL Server | Método de autenticación | Al crear una instancia de SQL Server, use "Método de autenticación" como 
|
| SQL Database | Permitir que los servicios y recursos de Azure accedan a este servidor | Habilite esta propiedad en la hoja Redes de la base de datos SQL en Azure Portal. |
Nota:
- Actualmente, se admite Azure SQL Database como metastore integrado.
- Debido a la limitación de Hive, no se admite el carácter "-" (guion) en el nombre de la base de datos de la metastore.
- Azure SQL Database debe estar en la misma ubicación que su clúster.
- La opción para crear una instancia de SQL Database durante la creación del clúster también está disponible. Sin embargo, debe actualizar la página de creación del clúster para que aparezca la base de datos recién creada en la lista desplegable.
Creación de Azure Key Vault
Key Vault le permite almacenar la contraseña de administrador de SQL Server establecida durante la creación de SQL Database. HDInsight en la plataforma de AKS no trata directamente con las credenciales. Por lo tanto, es necesario almacenar sus credenciales importantes en Key Vault.
Asignar un rol: asigne el rol Usuario de secretos de Key Vault a la MSI asignada por el usuario y creada como parte de los recursos necesarios para este almacén de claves.
Cree un secretao: este paso le permite mantener la contraseña de administrador de SQL Server como un secreto en Azure Key Vault. Agregue la contraseña en el campo Valor al crear un secreto.
Nota:
- Asegúrese de anotar el nombre del secreto, ya que lo necesitará durante la creación del clúster.
- Debe tener un rol de Administrador de Key Vault asignado a su identidad o cuenta para agregar un secreto en Key Vault mediante Azure Portal. Vaya a Key Vault y siga los pasos de cómo asignar el rol.