¿Qué hay de nuevo en HDInsight en AKS? (versión preliminar)

Importante

Esta funcionalidad actualmente está en su versión preliminar. Los Términos de uso complementarios para las versiones preliminares de Microsoft Azure incluyen más términos legales que se aplican a las características de Azure que se encuentran en la versión beta, en versión preliminar, o que todavía no se han lanzado con disponibilidad general. Para obtener información sobre esta versión preliminar específica, consulte la Información de Azure HDInsight sobre la versión preliminar de AKS. Para plantear preguntas o sugerencias sobre la característica, envíe una solicitud en AskHDInsight con los detalles y síganos para obtener más actualizaciones sobre Comunidad de Azure HDInsight.

En HDInsight en AKS, todas las operaciones y administración de clústeres tienen compatibilidad nativa con la administración de servicios en Azure Portal para clústeres individuales.

En HDInsight en AKS, se presentan dos nuevos conceptos:

• Los grupos de clústeres se usan para agrupar y administrar clústeres.
• Los clústeres se usan para los procesos de código abierto, se hospedan dentro de un grupo de clústeres.

Grupos de clústeres

HDInsight en AKS se ejecuta en Azure Kubernetes Service (AKS). El recurso de nivel superior es el grupo de clústeres y administra todos los clústeres que se ejecutan en el mismo clúster de AKS. Cuando se crea un grupo de clústeres, se crea al mismo tiempo un clúster de AKS subyacente para hospedar todos los clústeres del grupo. Los grupos de clústeres son una agrupación lógica de clústeres que ayuda a crear una interoperabilidad sólida entre varios tipos de clústeres y permite a las empresas tener los clústeres en la misma red virtual. Los grupos de clústeres proporcionan un acceso rápido y rentable a todos los tipos de clústeres creados bajo demanda y a escala. Un grupo de clústeres corresponde a un clúster en la infraestructura AKS.

Clústeres

Los clústeres son cargas de trabajo de proceso de código abierto individuales, como Apache Spark, Apache Flink y Trino, que se pueden crear rápidamente en pocos minutos con configuraciones preestablecidas y pocos clics. Aunque se ejecuta en el mismo grupo de clústeres, cada clúster puede tener sus propias configuraciones, como el tipo de clúster, la versión, el tamaño de máquina virtual del nodo, el número de nodos. Los clústeres se ejecutan en recursos de proceso separados con su propio DNS y puntos de conexión.

Características actualmente en versión preliminar

En la siguiente lista de tablas se muestran las características de HDInsight en AKS que se encuentran actualmente en versión preliminar. Las características de vista previa se ordenan alfabéticamente.

Área	Características
Aspectos básicos	Crear grupos y clústeres mediante el portal, compatibilidad con shell seguro (ssh) web, posibilidad de elegir el número de nodos de trabajo durante la creación del clúster
Storage	Compatibilidad con el almacenamiento de ADLS Gen2
Metastore	Compatibilidad externa con Metastore para Trino, Spark y Flink, integración con HDInsight
Seguridad	Compatibilidad con RBAC de ARM, compatibilidad con la autenticación basada en MSI, opción para proporcionar acceso al clúster a otros usuarios
Registro y supervisión	Agregación de registros en análisis de registros de Azure, para registros de servidor, Métricas de clúster y servicio a través de Prometheus y Grafana administrado, Métricas de servidor de soporte en Azure Monitor, Página de estado del servicio para supervisar el Estado del servicio
Escalado automático	Escala automática basada en la carga y Escala automática basada en la programación
Personalización y configuración de clústeres	Compatibilidad con acciones de script durante la creación del clúster, Compatibilidad con la administración de bibliotecas, Ajustes de configuración del servicio tras la creación del clúster
Trino	Compatibilidad con los catálogos de Trino, Compatibilidad con la CLI de Trino, Compatibilidad de DBeaver con el envío de consultas, Agregar o quitar complementos y conectores, Compatibilidad con eventos de registro de consultas, Compatibilidad con estadísticas de consulta de examen para cualquier conector en el panel de Trino, Compatibilidad con el panel de Trino para supervisar consultas, Almacenamiento en caché de consultas, Integración con Power BI, Integración con Apache Superset, Redash, Compatibilidad con varios conectores
Flink	Compatibilidad con la interfaz de usuario web nativa de Flink, Compatibilidad de Flink con HMS para DStream, Envío de trabajos al clúster mediante API de REST y Azure Portal, Ejecución de programas empaquetados como archivos JAR a través de la CLI de Flink, Compatibilidad con Puntos de retorno persistentes, Compatibilidad con la actualización de las opciones de configuración cuando el trabajo se está ejecutando, Conexión a varios servicios de Azure: Azure Cosmos DB, Azure Databricks, Azure Data Explorer, Azure Event Hubs, Azure IoT Hub, Azure Pipelines, Administrador de orquestación de flujo de trabajo de Azure Data Factory, HDInsight Kafka, Envío de trabajos al clúster mediante CLI de Flink y CDC con Flink
Spark	Jupyter Notebook, Compatibilidad con Delta lake 2.0, Compatibilidad con Zeppelin, Compatibilidad con ATS, Compatibilidad con la interfaz de servidor Yarn History, Envío de trabajos mediante SSH, Envío de trabajos mediante SDK y Machine Learning Notebook

Plan de desarrollo de características

Característica	Escala de tiempo de lanzamiento estimada	Estado
Escala automática - Basado en Carga - Trino	T1 2024	Completado
Escalado automático basado en la carga aleatoria para Spark	T2 2024	En curso
Actualización local	T2 2024	Completado
Compatibilidad con instancias reservadas	T2 2024	En curso
Autenticación basada en MSI para Metastore (SQL)	T1 2024	En curso
Spark 3.4	T2 2024	En curso
Trino 426	T1 2024	Completado
Ranger para RBAC	T2 2024	En curso
Compatibilidad con el modo de aplicación para Flink	T1 2024	Completado
Flink 1.17	T1 2024	Completado
Compatibilidad con Spark ACID	T1 2024	En curso
SKU configurables para Headnode, SSH	T2 2024	En curso
Compatibilidad con la puerta de enlace de SQL de Flink	T1 2024	Completado
Clústeres privados para HDInsight en AKS	T1 2024	Completado
Compatibilidad de Ranger con Spark SQL	T4 2024	En curso
ACL de Ranger en la capa de almacenamiento	T4 2024	En curso
Compatibilidad con One Lake como contenedor principal	T2 2024	En curso