¿Qué hay de nuevo en HDInsight en AKS? (versión preliminar)
Nota:
Retiraremos Azure HDInsight en AKS el 31 de enero de 2025. Antes del 31 de enero de 2025, deberá migrar las cargas de trabajo a Microsoft Fabric o un producto equivalente de Azure para evitar la terminación repentina de las cargas de trabajo. Los clústeres restantes de la suscripción se detendrán y quitarán del host.
Solo estará disponible el soporte técnico Basic hasta la fecha de retirada.
Importante
Esta funcionalidad actualmente está en su versión preliminar. En Términos de uso complementarios para las versiones preliminares de Microsoft Azure encontrará más términos legales que se aplican a las características de Azure que están en versión beta, en versión preliminar, o que todavía no se han lanzado con disponibilidad general. Para más información sobre esta versión preliminar específica, consulte la Información de Azure HDInsight sobre la versión preliminar de AKS. Para plantear preguntas o sugerencias sobre la característica, envíe una solicitud en AskHDInsight con los detalles y síganos para obtener más actualizaciones sobre Comunidad de Azure HDInsight.
En HDInsight en AKS, todas las operaciones y administración de clústeres tienen compatibilidad nativa con la administración de servicios en Azure Portal para clústeres individuales.
En HDInsight en AKS, se presentan dos nuevos conceptos:
- Los grupos de clústeres se usan para agrupar y administrar clústeres.
- Los clústeres se usan para los procesos de código abierto, se hospedan dentro de un grupo de clústeres.
Grupos de clústeres
HDInsight en AKS se ejecuta en Azure Kubernetes Service (AKS). El recurso de nivel superior es el grupo de clústeres y administra todos los clústeres que se ejecutan en el mismo clúster de AKS. Cuando se crea un grupo de clústeres, se crea al mismo tiempo un clúster de AKS subyacente para hospedar todos los clústeres del grupo. Los grupos de clústeres son una agrupación lógica de clústeres que ayuda a crear una interoperabilidad sólida entre varios tipos de clústeres y permite a las empresas tener los clústeres en la misma red virtual. Los grupos de clústeres proporcionan un acceso rápido y rentable a todos los tipos de clústeres creados bajo demanda y a escala. Un grupo de clústeres corresponde a un clúster en la infraestructura AKS.
Clústeres
Los clústeres son cargas de trabajo de proceso de código abierto individuales, como Apache Spark, Apache Flink y Trino, que se pueden crear rápidamente en pocos minutos con configuraciones preestablecidas y pocos clics. Aunque se ejecuta en el mismo grupo de clústeres, cada clúster puede tener sus propias configuraciones, como el tipo de clúster, la versión, el tamaño de máquina virtual del nodo, el número de nodos. Los clústeres se ejecutan en recursos de proceso separados con su propio DNS y puntos de conexión.
Características actualmente en versión preliminar
En la siguiente lista de tablas se muestran las características de HDInsight en AKS que se encuentran actualmente en versión preliminar. Las características de vista previa se ordenan alfabéticamente.
| Área | Características |
|---|---|
| Aspectos básicos | Crear grupos y clústeres mediante el portal, compatibilidad con shell seguro (ssh) web, posibilidad de elegir el número de nodos de trabajo durante la creación del clúster |
| Storage | Compatibilidad con el almacenamiento de ADLS Gen2 |
| Metastore | Compatibilidad externa con Metastore para Trino, Spark y Flink, integración con HDInsight |
| Seguridad | Compatibilidad con RBAC de ARM, compatibilidad con la autenticación basada en MSI, opción para proporcionar acceso al clúster a otros usuarios |
| Registro y supervisión | Agregación de registros en análisis de registros de Azure, para registros de servidor, Métricas de clúster y servicio a través de Prometheus y Grafana administrado, Métricas de servidor de soporte en Azure Monitor, Página de estado del servicio para supervisar el Estado del servicio |
| Escalado automático | Escala automática basada en la carga y Escala automática basada en la programación |
| Personalización y configuración de clústeres | Compatibilidad con acciones de script durante la creación del clúster, Compatibilidad con la administración de bibliotecas, Ajustes de configuración del servicio tras la creación del clúster |
| Trino | Compatibilidad con los catálogos de Trino, Compatibilidad con la CLI de Trino, Compatibilidad de DBeaver con el envío de consultas, Agregar o quitar complementos y conectores, Compatibilidad con eventos de registro de consultas, Compatibilidad con estadísticas de consulta de examen para cualquier conector en el panel de Trino, Compatibilidad con el panel de Trino para supervisar consultas, Almacenamiento en caché de consultas, Integración con Power BI, Integración con Apache Superset, Redash, Compatibilidad con varios conectores |
| Flink | Compatibilidad con la interfaz de usuario web nativa de Flink, Compatibilidad de Flink con HMS para DStream, Envío de trabajos al clúster mediante API de REST y Azure Portal, Ejecución de programas empaquetados como archivos JAR a través de la CLI de Flink, Compatibilidad con Puntos de retorno persistentes, Compatibilidad con la actualización de las opciones de configuración cuando el trabajo se está ejecutando, Conexión a varios servicios de Azure: Azure Cosmos DB, Azure Databricks, Azure Data Explorer, Azure Event Hubs, Azure IoT Hub, Azure Pipelines, Administrador de orquestación de flujo de trabajo de Azure Data Factory, HDInsight Kafka, Envío de trabajos al clúster mediante CLI de Flink y CDC con Flink |
| Spark | Jupyter Notebook, Compatibilidad con Delta lake 2.0, Compatibilidad con Zeppelin, Compatibilidad con ATS, Compatibilidad con la interfaz de servidor Yarn History, Envío de trabajos mediante SSH, Envío de trabajos mediante SDK y Machine Learning Notebook |
Plan de desarrollo de características
| Característica | Escala de tiempo de lanzamiento estimada | Estado |
|---|---|---|
| Escala automática - Basado en Carga - Trino | T1 2024 | Completado |
| Escalado automático basado en la carga aleatoria para Spark | T2 2024 | En curso |
| Actualización local | T2 2024 | Completado |
| Compatibilidad con instancias reservadas | T2 2024 | En curso |
| Autenticación basada en MSI para Metastore (SQL) | T1 2024 | En curso |
| Spark 3.4 | T2 2024 | En curso |
| Trino 426 | T1 2024 | Completado |
| Ranger para RBAC | T2 2024 | En curso |
| Compatibilidad con el modo de aplicación para Flink | T1 2024 | Completado |
| Flink 1.17 | T1 2024 | Completado |
| Compatibilidad con Spark ACID | T1 2024 | En curso |
| SKU configurables para Headnode, SSH | T2 2024 | En curso |
| Compatibilidad con la puerta de enlace de SQL de Flink | T1 2024 | Completado |
| Clústeres privados para HDInsight en AKS | T1 2024 | Completado |
| Compatibilidad de Ranger con Spark SQL | T4 2024 | En curso |
| ACL de Ranger en la capa de almacenamiento | T4 2024 | En curso |
| Compatibilidad con One Lake como contenedor principal | T2 2024 | En curso |