Uso de nodos perimetrales vacíos en clústeres de Apache Hadoop en HDInsight

Artículo
06/15/2024

Aprenda a agregar un nodo perimetral vacío a un clúster de HDInsight. Un nodo perimetral vacío es una máquina virtual Linux con las mismas herramientas cliente instaladas y configuradas que en los nodos principales. Pero sin servicios de Apache Hadoop en ejecución. Se puede usar el nodo perimetral para acceder al clúster y para probar y hospedar las aplicaciones cliente.

Un nodo perimetral vacío se puede agregar a un clúster de HDInsight existente o a uno nuevo al crear el clúster. La adición de un nodo perimetral vacío se realiza mediante una plantilla de Azure Resource Manager. En el ejemplo siguiente se muestra cómo se hace con una plantilla:

"resources": [
    {
        "name": "[concat(parameters('clusterName'),'/', variables('applicationName'))]",
        "type": "Microsoft.HDInsight/clusters/applications",
        "apiVersion": "2015-03-01-preview",
        "dependsOn": [ "[concat('Microsoft.HDInsight/clusters/',parameters('clusterName'))]" ],
        "properties": {
            "marketPlaceIdentifier": "EmptyNode",
            "computeProfile": {
                "roles": [{
                    "name": "edgenode",
                    "targetInstanceCount": 1,
                    "hardwareProfile": {
                        "vmSize": "{}"
                    }
                }]
            },
            "installScriptActions": [{
                "name": "[concat('emptynode','-' ,uniquestring(variables('applicationName')))]",
                "uri": "[parameters('installScriptAction')]",
                "roles": ["edgenode"]
            }],
            "uninstallScriptActions": [],
            "httpsEndpoints": [],
            "applicationType": "CustomApplication"
        }
    }
],

Como se muestra en el ejemplo, opcionalmente, puede llamar a una acción de script para realizar una configuración adicional, por ejemplo, la instalación de Apache Hue en el nodo perimetral. El script de acción de script debe estar accesible públicamente en la web. Por ejemplo, si el script está almacenado en Azure Storage, use contenedores o blobs públicos.

El tamaño de la máquina virtual del nodo perimetral debe cumplir con los requisitos de tamaño para las máquinas virtuales de nodos de trabajador de clústeres de HDInsight. Para conocer los tamaños recomendados para máquinas virtuales de nodos de trabajador, consulte Creación de clústeres de Apache Hadoop en HDInsight.

Después de crear un nodo perimetral, puede conectarse a él mediante SSH y ejecutar herramientas de cliente para acceder al clúster de Hadoop en HDInsight.

Advertencia

Los componentes personalizados que se instalan en el nodo perimetral reciben un soporte técnico de Microsoft comercialmente razonable. Esto podría suponer que disponga de su ayuda en los problemas que pueda encontrar. O bien, puede remitirse a los recursos de la comunidad para obtener más asistencia. Los siguientes son algunos de los sitios más activos donde puede obtener ayuda de la comunidad de usuarios:

Si usa una tecnología de Apache, es posible que encuentre asistencia a través de los sitios de los proyectos de Apache en https://apache.org, por ejemplo, en el sitio de Apache Hadoop.

Importante

Las imágenes de Ubuntu estarán disponibles para la creación del nuevo clúster de HDInsight tres meses después de publicarse. A partir de enero de 2019, la ejecución de clústeres (incluidos los nodos perimetrales) no se revisa automáticamente. Los clientes deben usar acciones de script u otros mecanismos para revisar un clúster en ejecución. Para más información, consulte Aplicación de revisión del SO para HDInsight.

Adición de un nodo perimetral a un clúster existente

En esta sección, usará una plantilla de Resource Manager para agregar un nodo perimetral a un clúster de HDInsight existente. La plantilla de Resource Manager se puede encontrar en GitHub. La plantilla de Resource Manager llama a una acción de script situada en https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.hdinsight/hdinsight-linux-add-edge-node/scripts/EmptyNodeSetup.sh. El script no realiza ninguna acción. Sirve para demostrar la llamada a la acción de un script desde una plantilla de Resource Manager.

Seleccione la imagen siguiente para iniciar sesión en Azure y abrir la plantilla de Azure Resource Manager en Azure Portal.

Configure las siguientes propiedades:

Propiedad	Descripción
Subscription	seleccione la suscripción de Azure usada para crear este clúster.
Resource group	seleccione el grupo de recursos que se usa para el clúster de HDInsight existente.
Location	seleccione la ubicación del clúster de HDInsight existente.
Cluster Name	escriba el nombre de un clúster de HDInsight existente.

Seleccione Acepto los términos y condiciones indicados anteriormente y, después, seleccione Comprar para crear el nodo perimetral.

Importante

Asegúrese de seleccionar el grupo de recursos de Azure para el clúster de HDInsight existente. De lo contrario, obtendrá el mensaje de error "No se puede llevar a cabo la operación solicitada en el recurso anidado. No se encontró el recurso principal "<ClusterName>".

Adición de un nodo perimetral al crear un clúster

En esta sección, usará una plantilla de Resource Manager para crear un clúster de HDInsight con un nodo perimetral. La plantilla de Resource Manager se puede encontrar en la galería Plantillas de inicio rápido de Azure. La plantilla de Resource Manager llama a una acción de script situada en https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.hdinsight/hdinsight-linux-with-edge-node/scripts/EmptyNodeSetup.sh. El script no realiza ninguna acción. Sirve para demostrar la llamada a la acción de un script desde una plantilla de Resource Manager.

Si todavía no tiene uno, cree un clúster de HDInsight. Vea la Introducción al uso de Hadoop en HDInsight.
Seleccione la imagen siguiente para iniciar sesión en Azure y abrir la plantilla de Azure Resource Manager en Azure Portal.

Configure las siguientes propiedades:

Propiedad	Descripción
Subscription	seleccione la suscripción de Azure usada para crear este clúster.
Resource group	cree un nuevo grupo de recursos para el clúster.
Location	Seleccione una ubicación para el grupo de recursos.
Cluster Name	escriba un nombre para el nuevo clúster que se va a crear.
Cluster Login User Name (Nombre de usuario de inicio de sesión del clúster)	escriba el nombre de usuario HTTP de Hadoop. El nombre predeterminado es admin.
Cluster Login Password (Contraseña de inicio de sesión del clúster)	escriba la contraseña de usuario HTTP de Hadoop.
Nombre de usuario de SSH	escriba el nombre de usuario de SSH. El nombre predeterminado es sshuser.
Contraseña de SSH	escriba la contraseña del usuario de SSH.
Instalar acción de script	mantenga el valor predeterminado al realizar las tareas de este artículo.

Algunas propiedades se han codificado de forma rígida en la plantilla: tipo de clúster, número de nodos de trabajo de clúster, tamaño del nodo perimetral y nombre del nodo perimetral.

Seleccione Acepto los términos y condiciones indicados anteriormente y, después, seleccione Comprar para crear el clúster con el nodo perimetral.

Agregar varios nodos perimetrales

Puede agregar varios nodos perimetrales a un clúster de HDInsight. La configuración de varios nodos perimetrales solo se puede realizar mediante plantillas de Azure Resource Manager. Vea la plantilla de ejemplo al principio de este artículo. Actualice targetInstanceCount para reflejar el número de nodos perimetrales que desea crear.

Acceso a un nodo perimetral

El punto de conexión ssh del nodo perimetral es <NombreNodoPerimetral>.<NombreClúster>-ssh.azurehdinsight.net:22. Por ejemplo, new-edgenode.myedgenode0914-ssh.azurehdinsight.net:22.

El nodo perimetral aparece como una aplicación en Azure Portal. El portal le proporciona la información para acceder al nodo perimetral mediante SSH.

Para comprobar el punto de conexión SSH del nodo perimetral

Inicie sesión en Azure Portal.
Abra el clúster de HDInsight con un nodo perimetral.
Seleccione Aplicaciones. Verá el nodo perimetral. El nombre predeterminado es new-edgenode.
Seleccione el nodo perimetral. Verá el punto de conexión SSH.

Para usar Hive en el nodo perimetral

Use SSH para conectarse al nodo perimetral. Para más información, consulte Uso de SSH con HDInsight.
Después de conectarse al nodo perimetral mediante SSH, use el comando siguiente para abrir la consola de Hive:
```
hive
```
Ejecute el siguiente comando para mostrar las tablas de Hive en el clúster:
```
show tables;
```

Eliminación de un nodo perimetral

Puede eliminar un nodo perimetral de Azure Portal.

Inicie sesión en Azure Portal.
Abra el clúster de HDInsight con un nodo perimetral.
Seleccione Aplicaciones. Verá una lista de nodos perimetrales.
Haga clic con el botón derecho en el nodo perimetral que quiere eliminar y luego seleccione Eliminar.
Seleccione Sí para confirmar la acción.

Pasos siguientes

En este artículo, ha aprendido a agregar un nodo perimetral y a acceder a él. Para más información, vea los siguientes artículos:

Instalación de aplicaciones de HDInsight: aprenda a instalar una aplicación de HDInsight en sus clústeres.
Instalación de aplicaciones de HDInsight personalizadas: aprenda a implementar en HDInsight una aplicación de HDInsight no publicada.
Publicación de aplicaciones de HDInsight en Azure Marketplace: aprenda a publicar aplicaciones de HDInsight personalizadas en Azure Marketplace.
MSDN: Instalación de una aplicación HDInsight: Obtenga información sobre cómo definir las aplicaciones de HDInsight.
Personalización de clústeres de HDInsight mediante la acción de scripts (Linux): aprenda a usar acciones de script para instalar otras aplicaciones.
Creación de clústeres de Apache Hadoop basados en Linux en HDInsight con plantillas de Azure Resource Manager: aprenda a llamar a plantillas de Resource Manager para crear clústeres de HDInsight.

Compartir vía