Introducción al uso de la CLI de Azure por parte de Azure Data Lake Analytics

Artículo
12/20/2023

Importante

Ya no se pueden crear nuevas cuentas de Azure Data Lake Analytics a menos que se haya habilitado la suscripción. Si necesita que se habilite la suscripción, póngase en contacto con el soporte técnico y proporcione su escenario empresarial.

Si ya usa Azure Data Lake Analytics, deberá crear un plan de migración a Azure Synapse Analytics para la organización antes del 29 de febrero de 2024.

En este artículo se describe cómo utilizar la interfaz de la línea de comandos de la CLI de Azure para crear cuentas de Azure Data Lake Analytics, enviar trabajos de U-SQL y catálogos. El trabajo lee un archivo de valores separados por tabulaciones (TSV) y lo convierte en un otro de valores separados por comas (CSV).

Requisitos previos

Antes de comenzar, necesita los siguientes elementos:

Una suscripción de Azure. Consulte Obtención de una versión de evaluación gratuita.
En este artículo se requiere que ejecute la VERSIÓN 2.0 o posterior de la CLI de Azure. Si necesita instalarla o actualizarla, vea Instalación de la CLI de Azure.

Para iniciar sesión en la suscripción de Azure:

az login

Se le pedirá que vaya a una dirección URL y escriba un código de autenticación. Y, después, debe seguir las instrucciones para escribir sus credenciales.

Una vez que haya iniciado sesión, el comando login enumera las suscripciones.

Para usar una suscripción concreta:

az account set --subscription <subscription id>

Creación de una cuenta de Análisis de Data Lake

Para poder ejecutar cualquier trabajo es preciso tener una cuenta de Data Lake Analytics. Para crearla, debe especificar los siguientes elementos:

Grupo de recursos de Azure. Se debe crear una cuenta de Data Lake Analytics en un grupo de recursos de Azure. Azure Resource Manager permite trabajar con los recursos de la aplicación como un grupo. Puede implementar, actualizar o eliminar todos los recursos de la aplicación en una operación única coordinada.

Para enumerar los grupos de recursos que contiene su suscripción:

az group list

Para crear un nuevo grupo de recursos:

az group create --name "<Resource Group Name>" --location "<Azure Location>"

Nombre de la cuenta de Data Lake Analytics. Cada cuenta de Data Lake Analytics tiene un nombre.
Ubicación. Use uno de los centros de datos de Azure que admita Data Lake Analytics.
Cuenta predeterminada de Data Lake Store: cada cuenta de Data Lake Analytics tiene una cuenta de Data Lake Store predeterminada.

Para mostrar la cuenta de Data Lake Store existente:

az dls account list

Para crear una nueva cuenta de Data Lake Store:

az dls account create --account "<Data Lake Store Account Name>" --resource-group "<Resource Group Name>"

Use la siguiente sintaxis para crear una cuenta de Data Lake Analytics:

az dla account create --account "<Data Lake Analytics Account Name>" --resource-group "<Resource Group Name>" --location "<Azure location>" --default-data-lake-store "<Default Data Lake Store Account Name>"

Después de crear una cuenta, puede usar los comandos siguientes para enumerar las cuentas y mostrar los detalles de la misma:

az dla account list
az dla account show --account "<Data Lake Analytics Account Name>"

Carga de datos en el Almacén Data Lake

En este tutorial, va a procesar algunos registros de búsqueda. El registro de búsqueda se puede almacenar en el Almacén de Data Lake o en el almacenamiento de blobs de Azure.

Azure Portal proporciona una interfaz de usuario para copiar algunos archivos de datos de ejemplo a la cuenta predeterminada de Data Lake Store, entre los que se incluye un archivo de registro de búsqueda. Consulte Preparar los datos de origen para cargar los datos en la cuenta del Almacén Data Lake.

Para cargar archivos con la CLI de Azure, use el siguiente comando:

az dls fs upload --account "<Data Lake Store Account Name>" --source-path "<Source File Path>" --destination-path "<Destination File Path>"
az dls fs list --account "<Data Lake Store Account Name>" --path "<Path>"

Análisis de Data Lake también puede acceder al almacenamiento de blobs de Azure. Para cargar datos a Azure Blob Storage, consulte Uso de la CLI de Azure con Azure Storage.

Envío de trabajos de Análisis de Data Lake

Los trabajos de Análisis de Data Lake se escriben en el lenguaje U-SQL. Para más información sobre U-SQL, consulte la introducción al lenguaje U-SQL y la referencia del lenguaje U-SQL.

Para crear un script de trabajo de Data Lake Analytics

Cree un archivo de texto con el siguiente script U-SQL y guarde el archivo de texto en la estación de trabajo:

@a  =
    SELECT * FROM
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

Este script de U-SQL lee el archivo de datos de origen mediante Extractors.Tsv() y crea un archivo csv con Outputters.Csv() .

No modifique ninguna de las dos rutas a menos que copie el archivo de origen en una ubicación diferente. Data Lake Analytics creará la carpeta de salida si no existe.

Es más sencillo usar rutas de acceso relativas para los archivos almacenados en cuentas predeterminadas de Data Lake Store. También puede usar rutas de acceso absolutas. Por ejemplo:

adl://<Data LakeStorageAccountName>.azuredatalakestore.net:443/Samples/Data/SearchLog.tsv

Debe usar rutas de acceso absolutas para acceder a los archivos de cuentas de almacenamiento vinculadas. La sintaxis de los archivos almacenados en la cuenta de Azure Storage vinculada es:

wasb://<BlobContainerName>@<StorageAccountName>.blob.core.windows.net/Samples/Data/SearchLog.tsv

Nota

El contenedor de blobs de Azure con blobs públicos no se admite. El contenedor de blobs de Azure con contenedores públicos no se admite.

Para enviar trabajos

Para enviar un trabajo, use la sintaxis siguiente.

az dla job submit --account "<Data Lake Analytics Account Name>" --job-name "<Job Name>" --script "<Script Path and Name>"

Por ejemplo:

az dla job submit --account "myadlaaccount" --job-name "myadlajob" --script @"C:\DLA\myscript.txt"

Para enumerar los trabajos y mostrar los detalles de un trabajo

az dla job list --account "<Data Lake Analytics Account Name>"
az dla job show --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Para cancelar trabajos

az dla job cancel --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Recuperación de los resultados de un trabajo

Una vez que se completa un trabajo, puede usar los siguientes comandos para enumerar los archivos de salida y descargar los archivos:

az dls fs list --account "<Data Lake Store Account Name>" --source-path "/Output" --destination-path "<Destination>"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv" --length 128 --offset 0
az dls fs download --account "<Data Lake Store Account Name>" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "<Destination Path and File Name>"