Creación de clústeres de Apache Flink® en HDInsight en AKS con Azure Portal
Nota:
Retiraremos Azure HDInsight en AKS el 31 de enero de 2025. Antes del 31 de enero de 2025, deberá migrar las cargas de trabajo a Microsoft Fabric o un producto equivalente de Azure para evitar la terminación repentina de las cargas de trabajo. Los clústeres restantes de la suscripción se detendrán y quitarán del host.
Solo el soporte técnico básico estará disponible hasta la fecha de retirada.
Importante
Esta funcionalidad actualmente está en su versión preliminar. En Términos de uso complementarios para las versiones preliminares de Microsoft Azure encontrará más términos legales que se aplican a las características de Azure que están en versión beta, en versión preliminar, o que todavía no se han lanzado con disponibilidad general. Para más información sobre esta versión preliminar específica, consulte la Información de Azure HDInsight sobre la versión preliminar de AKS. Para plantear preguntas o sugerencias sobre la característica, envíe una solicitud sobre AskHDInsight con los detalles y síganos para obtener más actualizaciones sobre la comunidad de Azure HDInsight.
Complete los pasos siguientes para crear un clúster de Apache Flink en Azure Portal.
Requisitos previos
Complete los requisitos previos en las secciones siguientes:
Importante
- Para crear un clúster en un nuevo grupo de clústeres, asigne el rol MSI "Operador de identidad administrada" del grupo de agentes AKS a la identidad administrada asignada al usuario creada como parte del requisito previo de recursos. En caso de que tenga permisos necesarios, este paso se automatiza durante la creación.
- La identidad administrada del grupo de agentes de AKS se crea durante la creación del grupo de clústeres. Puede identificar la identidad administrada del grupo de agentes de AKS mediante (el nombre del grupo de clústeres)-agentpool. Siga estos pasos para asignar el rol.
Crear un clúster de Apache Flink
Los clústeres de Flink se pueden crear una vez completada la implementación del grupo de clústeres, vamos a seguir los pasos en caso de que empiece a trabajar con un grupo de clústeres existente
En Azure Portal, escriba Grupos de clústeres de HDInsight/HDInsight/HDInsight en AKS y seleccione Grupos de clústeres de Azure HDInsight en AKS para ir a la página de grupos de clústeres. En la página de grupos de clústeres de HDInsight en AKS, seleccione el grupo de clústeres en el que desea crear un nuevo clúster de Flink.
En la página grupo de clústeres específico, haga clic en + Nuevo clúster y proporcione la siguiente información:
Propiedad Descripción Suscripción Este campo se rellena automáticamente con la suscripción de Azure registrada para el grupo de clústeres. Grupo de recursos Este campo se rellena automáticamente y muestra el grupo de recursos en el grupo de clústeres. Region Este campo se rellena automáticamente y muestra la región seleccionada en el grupo de clústeres. Grupo de clústeres Este campo se rellena automáticamente y muestra el nombre del grupo de clústeres en el que se está creando el clúster. Para crear un clúster en un grupo diferente, busque ese grupo de clústeres en el portal y haga clic en + Nuevo clúster. HDInsight en la versión del grupo de AKS Este campo se rellena automáticamente y muestra la versión del grupo de clústeres en la que se crea el clúster. HDInsight en la versión de AKS Seleccione la versión secundaria o de revisión de HDInsight en AKS del nuevo clúster. Tipo de clúster En la lista desplegable, seleccione Flink. Nombre del clúster Escriba el nombre del nuevo clúster. Identidad administrada asignada por el usuario En la lista desplegable, seleccione la identidad administrada que se va a usar con el clúster. Si es el propietario de la Identidad de servicio administrada (MSI) y la MSI no tiene el rol de Operador de identidad administrada en el clúster, haga clic en el enlace situado debajo del cuadro para asignar el permiso necesario desde la MSI del grupo de agentes AKS. Si el MSI ya tiene los permisos correctos, no se muestra ningún vínculo. Consulte los requisitos previos para otras asignaciones de roles necesarias para el MSI. Cuenta de almacenamiento En la lista desplegable, seleccione la cuenta de almacenamiento que se va a asociar al clúster de Flink y especifique el nombre del contenedor. A la identidad administrada se le concede acceso a la cuenta de almacenamiento especificada mediante el rol "Propietario de datos de blobs de almacenamiento" durante la creación del clúster. Virtual network La red virtual para el clúster. Subnet La subred virtual para el clúster. Habilitar catálogo de Hive para Flink SQL.
Propiedad Descripción Uso del catálogo de Hive Habilite esta opción para usar un metastore de Hive externo. SQL Database para Hive En la lista desplegable, seleccione la instancia de SQL Database en la que se van a agregar tablas de hive-metastore. Nombre de usuario administrador de SQL Escriba el nombre de usuario de administrador de SQL Server. Esta cuenta es utilizada por el metastore para comunicarse con la base de datos SQL. Key Vault En la lista desplegable, seleccione Key Vault, que contiene un secreto con contraseña para el nombre de usuario administrador del servidor SQL. Es necesario configurar una directiva de acceso con todos los permisos necesarios, como permisos de clave, permisos secretos y permisos de certificado en el MSI, que se usa para la creación del clúster. El MSI necesita un rol de administrador de Key Vault y agregue los permisos necesarios mediante IAM. Nombre secreto de contraseña de SQL Escriba el nombre del secreto de Key Vault donde se almacena la contraseña de la base de datos SQL. 
Nota:
De forma predeterminada, utilizamos la cuenta de almacenamiento para el catálogo de Hive igual que la cuenta de almacenamiento y el contenedor utilizados durante la creación del clúster.
Seleccione Siguiente: Configuración para continuar.
En la página Configuración, proporcione la siguiente información:
Propiedad Descripción Tamaño del nodo Seleccione el tamaño del nodo que se va a usar para los nodos de Flink, tanto los nodos principal como los nodos de trabajo. Número de nodos Seleccione el número de nodos para el clúster de Flink; de forma predeterminada, los nodos principales son dos. El ajuste de tamaño de los nodos de trabajo ayuda a determinar las configuraciones del administrador de tareas para Flink. El administrador de trabajos y el servidor de historial están en nodos principales. En la sección Configuración del servicio, proporcione la siguiente información:
Propiedad Descripción CPU del administrador de tareas Entero. Escriba el tamaño de las CPU del administrador de tareas (en núcleos). Memoria del administrador de tareas en MB Escriba el tamaño de memoria del administrador de tareas en MB. Min. de 1800 MB. CPU del administrador de trabajos Entero. Escriba el número de CPU para el administrador de trabajos (en núcleos). Memoria del administrador de trabajos en MB Escriba el tamaño de memoria en MB. Mínimo de 1800 MB. CPU del servidor de historial Entero. Escriba el número de CPU para el administrador de trabajos (en núcleos). Memoria del servidor de historial en MB Escriba el tamaño de memoria en MB. Mínimo de 1800 MB. 
Nota:
- El servidor de historial se puede habilitar o deshabilitar según sea necesario.
- La escalabilidad automática basada en programación se admite en Flink. Puede programar el número de nodos de trabajo según sea necesario. Por ejemplo, está habilitado un escalado automático basado en programación con el número predeterminado de nodos de trabajo como 3. Y durante los días laborables de 9:00 UTC a 20:00 UTC, los nodos de trabajo están programados para ser 10. Más adelante en el día, debe establecerse de forma predeterminada en 3 nodos (entre las 20:00 UTC al día siguiente 09:00 UTC). Durante los fines de semana de 9:00 UTC a 20:00 UTC, los nodos de trabajo son 4.
En la sección Escalabilidad automática y SSH, actualice lo siguiente:
Propiedad Descripción Escalado automático Tras la selección, podrá elegir la escalabilidad automática basada en programación para configurar la programación para las operaciones de escalado. Habilite SSH Tras la selección, puede optar por el número total de nodos SSH necesarios, que son los puntos de acceso de la CLI de Flink mediante Secure Shell. El máximo de nodos SSH permitidos es 5. 
Haga clic en el botón Siguiente: Integración para continuar con la página siguiente.
En la página Integración, proporcione la siguiente información:
Propiedad Descripción Log Analytics Esta característica solo está disponible si el grupo de clústeres tiene asociado el área de trabajo del análisis de registros, una vez habilitados los registros que se van a recopilar se pueden seleccionar. Azure Prometheus Esta característica consiste en ver información y registros directamente en el clúster mediante el envío de métricas y registros al área de trabajo de Azure Monitor. 
Haga clic en el botón Siguiente: Etiquetas para continuar con la página siguiente.
En la página Etiquetas, proporcione la siguiente información:
Propiedad Descripción Nombre Opcional. Escriba un nombre como HDInsight en AKS para identificar fácilmente todos los recursos asociados a los recursos del clúster. Valor Puede dejar esto en blanco. Resource Seleccione Todos los recursos. Seleccione Siguiente: Revisar y crear para continuar.
En la página Revisar + crear, busque el mensaje Validación correcta en la parte superior de la página y luego haga clic en Crear.
Se muestra la página La implementación está en proceso en la que se crea el clúster. Se tarda entre 5 y 10 minutos en crear el clúster. Una vez creado el clúster, se muestra el mensaje "Su implementación ha finalizado". Si se aleja de la página, puede comprobar el estado actual de las notificaciones.
Nota:
Apache, Apache Flink, Flink y los nombres de proyecto de código abierto asociados son marcas comerciales de Apache Software Foundation (ASF).