Notas de la versión de Azure HDInsight en AKS

Artículo
03/29/2024

Este artículo proporciona información sobre las últimas actualizaciones de versión de Azure HDInsight en AKS. Para obtener información sobre las versiones anteriores, consulte Notas de la versión archivadas de Azure HDInsight en AKS. Si quiere suscribirse a las notas de la versión, vea las versiones de este repositorio de GitHub.

Resumen

HDInsight en AKS es una plataforma como servicio (PaaS) moderna, confiable, segura y totalmente administrada que se ejecuta en Azure Kubernetes Service (AKS). HDInsight en AKS permite implementar cargas de trabajo analíticas de código abierto populares, como Apache Spark™, Apache Flink®️ y Trino, sin la sobrecarga de tener que administrar y supervisar los contenedores.

Puede crear aplicaciones de macrodatos de un extremo a otro y de un extremo a otro que abarcan el streaming a través de Apache Flink, ingeniería de datos y aprendizaje automático mediante Apache Spark y el potente motor de consultas de Trino.

Todas estas funcionalidades combinadas con HDInsight en el fuerte enfoque para desarrolladores de AKS permiten a las empresas y a los nativos digitales tener conocimientos técnicos profundos para crear y operar aplicaciones que se adapten a sus necesidades. HDInsight en AKS permite a los desarrolladores acceder a todas las configuraciones enriquecidas proporcionadas por el software de código abierto y la extensibilidad para incluir sin problemas otras ofertas del ecosistema. Esta oferta permite a los desarrolladores probar y ajustar sus aplicaciones para sacar el mejor rendimiento a un coste óptimo.

Nota:

Para obtener información sobre HDInsight en el control de versiones y la compatibilidad de AKS, consulte el Esquema de control de versiones.

Puede consultar la página Novedades para obtener todos los detalles de las características que se encuentran actualmente en versión preliminar pública para esta versión.

Importante

HDInsight en AKS usa prácticas de implementación seguras, que implican la implementación gradual de regiones. Pueden pasar hasta 10 días hábiles hasta que haya una nueva versión disponible en todas las regiones.

Información de la versión

Fecha de lanzamiento: 20 de marzo de 2024

Esta versión se aplica a lo siguiente

Versión del grupo de clústeres: 1.1
Versión del clúster: 1.1.1
Versión de AKS: 1.27

Nuevas características

Clúster del modo de aplicación de Apache Flink

Los clústeres de modo de aplicación están diseñados para admitir recursos dedicados para trabajos grandes y de larga duración. Cuando tenga tareas de procesamiento de datos intensivas o extensas, puede usar el Clúster del modo de aplicación. Este modo le permite asignar recursos dedicados para aplicaciones específicas de Apache Flink, lo que garantiza que tienen la potencia informática y la memoria necesarias para controlar cargas de trabajo grandes de forma eficaz.

Para más información, consulte Clúster de modo de aplicación de Apache Flink en HDInsight en AKS.

Clústeres privados para HDInsight en AKS

Con los clústeres privados y la configuración del clúster de salida, ahora puede controlar el tráfico de entrada y salida desde HDInsight en grupos y clústeres de clústeres de AKS.

Use Azure Firewall o grupos de seguridad de red (NSG) para controlar el tráfico de salida cuando opte por usar el grupo de clústeres salientes con el equilibrador de carga.
Use el grupo de clústeres salientes con enrutamiento definido por el usuario para controlar el tráfico de salida en el nivel de subred.
Uso de la característica de clúster de AKS privado: para asegurarse de que el plano de control de AKS o el servidor de API tenga direcciones IP internas. El tráfico de red entre el plano de control o el servidor de API de AKS y HDInsight en grupos de nodos (clústeres) de AKS permanece solo en la red privada.
Evite crear direcciones IP públicas para el clúster. Use la característica de entrada privada en los clústeres.

Para obtener más información, consulte Control del tráfico de red desde HDInsight en clústeres y grupos de clústeres de AKS.

Actualización local

Actualice los clústeres y los grupos de clústeres con las actualizaciones de software más recientes. Esto significa que puede disfrutar de las revisiones más recientes del paquete de clúster, las actualizaciones de seguridad y las revisiones de AKS, sin volver a crear clústeres. Para obtener más información, consulte Actualización de HDInsight en grupos de clústeres y clústeres de AKS.

Importante

Para beneficiarse de todas estas características más recientes, es necesario crear un nuevo grupo de clústeres con 1.1 y la versión de clúster 1.1.1.

Problemas conocidos

Limitación de identidad de carga de trabajo:
- Hay una limitación conocida al realizar la transición a la identidad de la carga de trabajo. Esta limitación se debe a la naturaleza confidencial de los permisos de las operaciones FIC. Los usuarios no pueden realizar la eliminación de un clúster mediante la eliminación del grupo de recursos. Las solicitudes de eliminación de clústeres deben desencadenarse mediante la aplicación, el usuario o la entidad de seguridad con permisos FIC/delete. En caso de que se produzca un error en la eliminación de FIC, también se produce un error en la eliminación del clúster de alto nivel.
- Compatibilidad con identidades administradas asignadas por el usuario (UAMI): hay un límite de 20 FIC por UAMI. Solo puede crear 20 credenciales federadas en una identidad. En HDInsight en el clúster de AKS, FIC (credencial de identidad federada) y SA tienen una asignación uno a uno y solo se pueden crear 20 SA en una MSI. Si desea crear más clústeres, debe proporcionar diferentes MSI para superar la limitación.
- Actualmente no se admite la creación de credenciales de identidad federada en las identidades administradas asignadas a usuarios creadas en estas regiones

Versión del sistema operativo

Sistema operativo Mariner 2.0

Versiones de carga de trabajo

Carga de trabajo	Versión
Trino	426
Flink	1.17.0
Spark de Apache	3.3.1

Versiones de Java y Scala admitidas

Carga de trabajo	Java	Scala
Trino	Abra JDK 17.0.7	-
Flink	Abra JDK 11.0.21	2.12.7
Spark	Abra JDK 1.8.0_345	2.12.15

La versión preliminar pública está disponible en las siguientes regiones.

Si tiene más preguntas, póngase en contacto con el equipo de Soporte técnico de Azure o consulte la página Opciones de soporte técnico. Si tiene comentarios específicos del producto, escríbanos en aka.ms/askhdinsight.

Compartir a través de