Creación de un clúster de Spark en HDInsight en AKS (versión preliminar)
Importante
Azure HDInsight en AKS se retiró el 31 de enero de 2025. Descubre más con este anuncio.
Debe migrar las cargas de trabajo a microsoft Fabric o un producto equivalente de Azure para evitar la terminación repentina de las cargas de trabajo.
Importante
Esta característica está actualmente en versión preliminar. Los Términos de uso complementarios para las versiones preliminares de Microsoft Azure incluyen más términos legales que se aplican a las características de Azure que se encuentran en versión beta, en versión preliminar o, de lo contrario, aún no se han publicado en disponibilidad general. Para obtener información sobre esta versión preliminar específica, consulte información de la versión preliminar de Azure HDInsight en AKS. Para preguntas o sugerencias de características, envíe una solicitud en AskHDInsight con los detalles y síganos para más actualizaciones sobre Azure HDInsight Community.
Una vez completados los requisitos previos de la suscripción y, y los requisitos previos de los recursos y, y tenga implementado un grupo de clústeres, siga usando el portal de Azure para crear un clúster de Spark. Puede usar Azure Portal para crear un clúster de Apache Spark en el grupo de clústeres. A continuación, puede crear un cuaderno de Jupyter Notebook y usarlo para ejecutar consultas de Spark SQL en tablas de Apache Hive.
En el portal de Azure, escriba "grupos de clústeres" y seleccione de los "grupos de clústeres" para ir a la página de grupos de clústeres. En la página grupos de clústeres, seleccione el grupo de clústeres en el que puede agregar un nuevo clúster de Spark.
En la página específica del grupo de clústeres, haga clic en + Nuevo Clúster.
Este paso abre la página de creación del clúster.
Propiedad Descripción Suscripción La suscripción de Azure que se registró para su uso con HDInsight en AKS en la sección de Requisitos previos se rellenará previamente. Grupo de recursos El mismo grupo de recursos que el grupo de clústeres se rellenará previamente. Región La misma región que el grupo de clústeres y el elemento virtual será rellenada previamente. Grupo de clústeres El nombre del grupo de clústeres estará predefinido. Versión del grupo de HDInsight La versión del grupo de clústeres se rellenará previamente a partir de la selección de creación del grupo. HDInsight en la versión de AKS Especificar el HDI en la versión de AKS Tipo de clúster En la lista desplegable, seleccione Spark. Versión del clúster Seleccione la versión de la versión de la imagen que se va a usar. Nombre del clúster Escriba el nombre del nuevo clúster. Identidad administrada asignada por el usuario Seleccione la identidad administrada asignada por el usuario que funcionará como una cadena de conexión con el almacenamiento. Cuenta de almacenamiento Seleccione la cuenta de almacenamiento creada previamente que se usará como almacenamiento principal para el clúster. Nombre del contenedor Seleccione el nombre del contenedor (único) si se creó previamente o cree un nuevo contenedor. Catálogo de Hive (opcional) Seleccione el metastore de Hive creado previamente (Azure SQL DB) Base de datos SQL para Hive En la lista desplegable, seleccione la instancia de SQL Database en la que se van a agregar tablas de hive-metastore. Nombre de usuario del administrador de SQL Escriba el nombre de usuario del administrador de SQL. Almacén de claves En la lista desplegable, seleccione Key Vault, que contiene un secreto con contraseña para el nombre de usuario de administrador de SQL. Nombre del secreto de contraseña de SQL Escriba el nombre secreto del Key Vault donde se almacena la contraseña de la base de datos SQL. Nota
- Actualmente HDInsight solo admite bases de datos de MS SQL Server.
- Debido a la limitación de Hive, no se admite el carácter "-" (guion) en el nombre de la base de datos de metastore.
Seleccione Siguiente: Configuración y precios para continuar.
Propiedad Descripción Tamaño del nodo Selección del tamaño del nodo que se va a usar para los nodos de Spark Número de nodos de trabajo Seleccione el número de nodos para el clúster de Spark. Fuera de ellos, se reservan tres nodos para los servicios de coordinación y del sistema, los nodos restantes se dedican a los trabajos de Spark, un trabajo por nodo. Por ejemplo, en un clúster de cinco nodos hay dos trabajos. Escalado automático Haga clic en el interruptor para habilitar el autoescalado. Tipo de escalado automático Selecciona la escalabilidad automática basada en carga o en programación Tiempo de espera de retirada con gracia Especificar tiempo de espera de retirada con gracia Número de nodos de trabajo predeterminados Seleccione el número de nodos para el escalado automático. Huso horario Selección de la zona horaria Reglas de escalado automático Seleccione el día, la hora de inicio, la hora de finalización, no. de nodos de trabajo Habilitación de SSH Si está habilitado, le permite definir prefijo y número de nodos SSH. Haga clic en Siguiente: Integraciones para habilitar y seleccionar Log Analytics para Registro.
Azure Prometheus para el monitoreo y las métricas se puede habilitar después de la creación del clúster.
Haga clic en Siguiente: Etiquetas para ir a la página siguiente.
En la página Etiquetas, escriba las etiquetas que quiera agregar al recurso.
Propiedad Descripción Nombre Opcional. Escriba un nombre como HDInsight en la versión preliminar privada de AKS para identificar de forma sencilla todos los recursos asociados con tus recursos. Valor Deje este espacio en blanco Recurso Seleccione Todos los recursos seleccionados. Haga clic en Siguiente: Revisar y crear.
En la página Revisar y crear, busque el mensaje de Validación exitosa en la parte superior de la página y a continuación, haga clic en Crear.
La página de la implementación está en proceso, mostrando que el clúster se está creando. La creación del clúster tarda entre 5 y 10 minutos. Una vez creado el clúster, se muestra el mensaje Su implementación está completa. Si sale de la página, puede comprobar el estado en Notificaciones.
Vaya a la página de información general del clúster, donde puede ver los enlaces de puntos finales.
