Notas de la versión archivadas de Azure HDInsight en AKS
Nota:
Retiraremos Azure HDInsight en AKS el 31 de enero de 2025. Antes del 31 de enero de 2025, deberá migrar las cargas de trabajo a Microsoft Fabric o un producto equivalente de Azure para evitar la terminación repentina de las cargas de trabajo. Los clústeres restantes de la suscripción se detendrán y quitarán del host.
Solo el soporte técnico básico estará disponible hasta la fecha de retirada.
Importante
Esta funcionalidad actualmente está en su versión preliminar. En Términos de uso complementarios para las versiones preliminares de Microsoft Azure encontrará más términos legales que se aplican a las características de Azure que están en versión beta, en versión preliminar, o que todavía no se han lanzado con disponibilidad general. Para más información sobre esta versión preliminar específica, consulte la Información de Azure HDInsight sobre la versión preliminar de AKS. Para plantear preguntas o sugerencias sobre la característica, envíe una solicitud en AskHDInsight con los detalles y síganos para obtener más actualizaciones sobre Comunidad de Azure HDInsight.
Azure HDInsight en ASK es uno de los servicios más populares entre los clientes de empresa para el análisis de código abierto en Azure. Si quiere suscribirse a las notas de la versión, vea las versiones de este repositorio de GitHub.
Fecha de lanzamiento: 05 de agosto de 2024
Esta versión se aplica a lo siguiente
- Versión del grupo de clústeres: 1.2
- Versión del clúster: 1.2.1
- Versión de AKS: 1.27
Nuevas características
Autenticación de SQL basada en MSI Los usuarios ahora pueden autenticar Metastore externo de Azure SQL DB con MSI en lugar de autenticación de contraseña de identificador de usuario. Esta característica ayuda a proteger aún más la conexión de clúster con Metastore.
SKU de máquina virtual configurables para nodo principal, nodo SSH Esta funcionalidad permite a los usuarios elegir SKU específicas para nodos principales, nodos de trabajo y nodos SSH, lo que ofrece la flexibilidad de seleccionar según el caso de uso y la posibilidad de reducir el costo total de propiedad (TCO).
Varios MSI en el clúster Los usuarios pueden configurar varios MSI para las operaciones de administradores de clúster y para el acceso a recursos relacionados con el trabajo. Esta característica permite a los usuarios delimitar y controlar el acceso al clúster y a los datos que se encuentra en la cuenta de almacenamiento. Por ejemplo, una MSI para el acceso a los datos de la cuenta de almacenamiento y MSI dedicada para las operaciones del clúster.
Actualizado
Acción Script Acción de script ahora se puede agregar con el permiso de usuario de Sudo. Los usuarios ahora pueden instalar varias dependencias, incluidos los archivos jar personalizados, para personalizar los clústeres según sea necesario.
Administración de bibliotecas característica de acceso directo del repositorio de Maven agregada a la administración de bibliotecas en esta versión. El usuario ahora puede instalar dependencias de Maven directamente desde los repositorios de código abierto.
Spark 3.4 La actualización Spark 3.4 aporta una serie de nuevas características que incluyen
- Mejoras de API
- Mejoras de streaming estructurado
- Mejora de la facilidad de uso y la experiencia del desarrollador
Importante
Para beneficiarse de todas estas características más recientes, es necesario crear un nuevo grupo de clústeres con 1.2 y la versión de clúster 1.2.1.
Problemas conocidos
- Limitación de identidad de carga de trabajo:
- Hay una limitación conocida al realizar la transición a la identidad de la carga de trabajo. Esta limitación se debe a la naturaleza confidencial de los permisos de las operaciones FIC. Los usuarios no pueden realizar la eliminación de un clúster mediante la eliminación del grupo de recursos. Las solicitudes de eliminación de clústeres deben desencadenarse mediante la aplicación, el usuario o la entidad de seguridad con permisos FIC/delete. En caso de que se produzca un error en la eliminación de FIC, también se produce un error en la eliminación del clúster de alto nivel.
- Compatibilidad con identidades administradas asignadas por el usuario (UAMI): hay un límite de 20 FIC por UAMI. Solo puede crear 20 credenciales federadas en una identidad. En HDInsight en el clúster de AKS, FIC (credencial de identidad federada) y SA tienen una asignación uno a uno y solo se pueden crear 20 SA en una MSI. Si desea crear más clústeres, debe proporcionar diferentes MSI para superar la limitación.
- Actualmente no se admite la creación de credenciales de identidad federada en las identidades administradas asignadas a usuarios creadas en estas regiones
Versión del sistema operativo
- Sistema operativo Mariner 2.0
Versiones de carga de trabajo
| Carga de trabajo | Versión |
|---|---|
| Trino | 440 |
| Flink | 1.17.0 |
| Spark de Apache | 3.4 |
Versiones de Java y Scala admitidas
| Carga de trabajo | Java | Scala |
|---|---|---|
| Trino | Abra JDK 21.0.2 | - |
| Flink | Abra JDK 11.0.21 | 2.12.7 |
| Spark | Abra JDK 1.8.0_345 | 2.12.15 |
La versión preliminar pública está disponible en las siguientes regiones.
Si tiene más preguntas, póngase en contacto con el equipo de Soporte técnico de Azure o consulte la página Opciones de soporte técnico. Si tiene comentarios específicos del producto, escríbanos en aka.ms/askhdinsight.
Fecha de lanzamiento: 20 de marzo de 2024
Esta versión se aplica a lo siguiente
- Versión del grupo de clústeres: 1.1
- Versión del clúster: 1.1.1
- Versión de AKS: 1.27
Nuevas características
Clúster del modo de aplicación de Apache Flink
Los clústeres de modo de aplicación están diseñados para admitir recursos dedicados para trabajos grandes y de larga duración. Cuando tenga tareas de procesamiento de datos intensivas o extensas, puede usar el Clúster del modo de aplicación. Este modo le permite asignar recursos dedicados para aplicaciones específicas de Apache Flink, lo que garantiza que tienen la potencia informática y la memoria necesarias para controlar cargas de trabajo grandes de forma eficaz.
Para más información, consulte Clúster de modo de aplicación de Apache Flink en HDInsight en AKS.
Clústeres privados para HDInsight en AKS
Con los clústeres privados y la configuración del clúster de salida, ahora puede controlar el tráfico de entrada y salida desde HDInsight en grupos y clústeres de clústeres de AKS.
- Use Azure Firewall o grupos de seguridad de red (NSG) para controlar el tráfico de salida cuando opte por usar el grupo de clústeres salientes con el equilibrador de carga.
- Use el grupo de clústeres salientes con enrutamiento definido por el usuario para controlar el tráfico de salida en el nivel de subred.
- Uso de la característica de clúster de AKS privado: para asegurarse de que el plano de control de AKS o el servidor de API tenga direcciones IP internas. El tráfico de red entre el plano de control o el servidor de API de AKS y HDInsight en grupos de nodos (clústeres) de AKS permanece solo en la red privada.
- Evite crear direcciones IP públicas para el clúster. Use la característica de entrada privada en los clústeres.
Para obtener más información, consulte Control del tráfico de red desde HDInsight en clústeres y grupos de clústeres de AKS.
Actualización local
Actualice los clústeres y los grupos de clústeres con las actualizaciones de software más recientes. Esto significa que puede disfrutar de las revisiones más recientes del paquete de clúster, las actualizaciones de seguridad y las revisiones de AKS, sin volver a crear clústeres. Para obtener más información, consulte Actualización de HDInsight en grupos de clústeres y clústeres de AKS.
Importante
Para beneficiarse de todas estas características más recientes, es necesario crear un nuevo grupo de clústeres con 1.1 y la versión de clúster 1.1.1.
Problemas conocidos
- Limitación de identidad de carga de trabajo:
- Hay una limitación conocida al realizar la transición a la identidad de la carga de trabajo. Esta limitación se debe a la naturaleza confidencial de los permisos de las operaciones FIC. Los usuarios no pueden realizar la eliminación de un clúster mediante la eliminación del grupo de recursos. Las solicitudes de eliminación de clústeres deben desencadenarse mediante la aplicación, el usuario o la entidad de seguridad con permisos FIC/delete. En caso de que se produzca un error en la eliminación de FIC, también se produce un error en la eliminación del clúster de alto nivel.
- Compatibilidad con identidades administradas asignadas por el usuario (UAMI): hay un límite de 20 FIC por UAMI. Solo puede crear 20 credenciales federadas en una identidad. En HDInsight en el clúster de AKS, FIC (credencial de identidad federada) y SA tienen una asignación uno a uno y solo se pueden crear 20 SA en una MSI. Si desea crear más clústeres, debe proporcionar diferentes MSI para superar la limitación.
- Actualmente no se admite la creación de credenciales de identidad federada en las identidades administradas asignadas a usuarios creadas en estas regiones
Versión del sistema operativo
- Sistema operativo Mariner 2.0
Versiones de carga de trabajo
| Carga de trabajo | Versión |
|---|---|
| Trino | 426 |
| Flink | 1.17.0 |
| Spark de Apache | 3.3.1 |
Versiones de Java y Scala admitidas
| Carga de trabajo | Java | Scala |
|---|---|---|
| Trino | Abra JDK 17.0.7 | - |
| Flink | Abra JDK 11.0.21 | 2.12.7 |
| Spark | Abra JDK 1.8.0_345 | 2.12.15 |
La versión preliminar pública está disponible en las siguientes regiones.
Si tiene más preguntas, póngase en contacto con el equipo de Soporte técnico de Azure o consulte la página Opciones de soporte técnico. Si tiene comentarios específicos del producto, escríbanos en aka.ms/askhdinsight.
Fecha de publicación: 05 de febrero de 2024
Esta versión se aplica a lo siguiente
- Versión del grupo de clústeres: 1.1
- Versión del clúster: 1.1.0
- Versión de AKS: 1.27
Sugerencia
Para crear un nuevo clúster de HDInsight en AKS en la versión 1.1.0, debe crear un nuevo grupo de clústeres con la versión 1.1
Nuevas características
- La identidad de carga de trabajo se admite de manera predeterminada para los grupos de clústeres en la versión 1.1
- Los clústeres de Trino admiten Trino 426 desde la versión 1.1.0
- HDInsight en AKS ahora incluye todos los cambios hasta Trino 426 con varias mejoras importantes proporcionadas por la comunidad. Obtenga más información sobre Trino aquí.
- La forma del clúster de Trino ahora admite la escalabilidad automática basada en carga de la versión 1.1.0
- Trino en HDInsight en AKS ahora admite la escalabilidad automática basada en carga, lo que hace que el clúster sea más rentable. Obtenga más información al respecto aquí.
- La forma del clúster de Trino agrega una configuración simplificada de metastore y catálogos de Hive
- HDInsight en AKS ha simplificado la configuración externa de metastore de Hive para el clúster de Trino. Ahora puede especificar metastore externo en config.properties y habilitarlo para cada catálogo con un solo parámetro. Obtenga más información sobre las mejoras aquí.
- La forma del clúster de Trino agrega un conector sql particionado
- Los clústeres de Flink ahora admiten Flink 1.17.0 desde HDInsight en la versión de AKS 1.1.0
- HDInsight en AKS ahora admite la versión Flink 1.17.0, con mejoras significativas en los puntos de control, gráfico de llamas de nivel de subtarea, alineación de marca de agua. Obtenga más información sobre la versión de Flink 1.17 aquí
- Flink Puerta de enlace SQL ahora es compatible con HDInsight en la versión de AKS 1.1.0 con clústeres de sesión de Flink
Correcciones de errores y CV
- Esta versión incluye varias correcciones de CVE críticas en toda la plataforma y componentes de código abierto.
- La forma del clúster de Trino excluye automáticamente el almacenamiento en caché de tablas del sistema
- La forma del clúster de Trino mejora el control de zonas horarias de la marca de tiempo de Power BI
Problemas conocidos
- Limitación de identidad de carga de trabajo:
- Hay una limitación conocida al realizar la transición a la identidad de la carga de trabajo. Esto se debe a la naturaleza confidencial del permiso de las operaciones FIC. Los usuarios no pueden realizar la eliminación de un clúster mediante la eliminación del grupo de recursos. Las solicitudes de eliminación de clústeres deben desencadenarse mediante la aplicación, el usuario o la entidad de seguridad con permisos FIC/delete. En caso de que se produzca un error en la eliminación de FIC, también se producirá un error en la eliminación del clúster de alto nivel.
Regiones nuevas
- Este de Asia
Versión del sistema operativo
- Sistema operativo Mariner 2.0
Versiones de carga de trabajo
| Carga de trabajo | Versión |
|---|---|
| Trino | 426 |
| Flink | 1.17.0 |
| Spark de Apache | 3.3.1 |
Versiones de Java y Scala admitidas
| Carga de trabajo | Java | Scala |
|---|---|---|
| Trino | Abra JDK 17.0.7 | - |
| Flink | Abra JDK 11.0.21 | 2.12.7 |
| Spark | Abra JDK 1.8.0_345 | 2.12.15 |
La versión preliminar pública está disponible en las siguientes regiones.
Si tiene más preguntas, póngase en contacto con el equipo de Soporte técnico de Azure o consulte la página Opciones de soporte técnico. Si tiene comentarios específicos del producto, escríbanos en aka.ms/askhdinsight.
Pasos siguientes
Fecha de publicación: 13 de diciembre de 2023
Esta versión de revisión se aplica a lo siguiente
- Versión del grupo de clústeres: 1.0
- Versión del clúster: 1.0.6
Problemas conocidos
Compatibilidad con interfaz de usuario de inquilinos segura
- Esta versión soluciona un problema por el que las URL web de componente de código abierto para los clústeres de HDInsight en AKS no eran accesibles. Para aplicar esta corrección, póngase en contacto con el soporte técnico de Azure para habilitarlo en su suscripción o inquilino.
Cómo aplicar la revisión
- Nueva creación del clúster
- Para aplicar esta revisión, los usuarios existentes deben volver a crear su clúster en un grupo de clústeres existente.
Versión del sistema operativo
- Sistema operativo Mariner 2.0
Versiones de carga de trabajo
| Carga de trabajo | Versión |
|---|---|
| Trino | 410 |
| Flink | 1.16 |
| Spark de Apache | 3.3.1 |
Versiones de Java y Scala admitidas
| Carga de trabajo | Java | Scala |
|---|---|---|
| Trino | Abra JDK 17.0.7 | - |
| Flink | Abra JDK 11.0.21 | 2.12.7 |
| Spark | Abra JDK 1.8.0_345 | 2.12.15 |
La versión preliminar pública está disponible en las siguientes regiones.
Si tiene más preguntas, póngase en contacto con el equipo de Soporte técnico de Azure o consulte la página Opciones de soporte técnico.